A
Посмотрите в values.yalm что есть, то и настройте
A
Но он у вас уже должен быть как минимум
cent
Подскажите, где можно почитать как запускать nfs как ReadWriteMany и динамически маппить на statefulset в volumeClaimTemplates ?
cent
в документации кубера?
А где конкретно? Я какой вариант не найду - все не работают
cent
А можно ли в мэни?
В смысле? Ну, я nfs и прикручиваю только для того, чтобы в many
Andor
БД не забудь туда сложить
cent
БД не забудь туда сложить
Не, ну серьезно. Мне лог туда nats streaming нужно положить
cent
Не оч вариант для мэни
А какая альтернатива?
Andor
а зачем нфс для натс-то?
Andor
оно же вроде умеет кластеризоваться
cent
оно же вроде умеет кластеризоваться
Есть пример nats streaming без nfs?
Andor
ага, у них в официальной доке сказано что надо шаред сторейж
Andor
нет, я только что узнал что nats streaming это что-то отдельное
cent
Rook glusterfs
Блин, ну nfs то поднять не проблема. И все работает. Один pod nats streaming даже маппится на pvc по storageClass. Остальные - ни в какую
cent
https://github.com/wallyqs/nats-streaming-cluster-chart - вот это чарт юзаю
Vadim
с NFS всё и правда работает, пока данные не начнет терять - ну или тормозить если включить sync чтобы не теряло данные
Vadim
у @kvaps вроде есть магия чтобы оба сразу
cent
у @kvaps вроде есть магия чтобы оба сразу
Дык..... Мне бы хотя бы один nfs. Мне просто many для подов нужно
cent
А как это поднять я так и не вкурил. Пол дня над этим бился
Andor
кажется натс стриминг умеет юзать sql бд для шаред сторейжа
𝚔𝚟𝚊𝚙𝚜
а стоп, ты про async
cent
https://github.com/wallyqs/nats-streaming-cluster-chart/blob/master/templates/statefulset.yaml#L244 - а вообще в кубере можно делать несколько pv на один storageClass ?
𝚔𝚟𝚊𝚙𝚜
@cent_ru а ты чего добиться то пытаешься?
cent
@cent_ru а ты чего добиться то пытаешься?
Просто поднять этот чарт))) И больше ничего) nats streaming в кластере
𝚔𝚟𝚊𝚙𝚜
сделай пару pvc/pv для nfs
𝚔𝚟𝚊𝚙𝚜
затем этот pvc можно будет использовать как обычно с readWriteMany
cent
сделай пару pvc/pv для nfs
Сделал. Перепробовал разные варианты. Последний, вроде, этот https://docs.okd.io/latest/install_config/persistent_storage/persistent_storage_nfs.html#nfs-reclaiming-resources
cent
Не маппятся по storageClass volumeClaimTemplates
cent
затем этот pvc можно будет использовать как обычно с readWriteMany
Или я не так делаю? Есть пример какой-нибудь?
cent
А вообще, кто-то nats streaming в кубере юзает?
𝚔𝚟𝚊𝚙𝚜
у тебя statefulset pvc должен создавать, проверь их, почему они с твоими pv не мапятся
𝚔𝚟𝚊𝚙𝚜
используй kubectl describe pvc <pvc>
𝚔𝚟𝚊𝚙𝚜
кстати в чарте генератор для ReadWriteOnce волумов, не для ReadWriteMany
𝚔𝚟𝚊𝚙𝚜
так что nfs в принципе не обязателен
cent
кстати в чарте генератор для ReadWriteOnce волумов, не для ReadWriteMany
В смысле? У меня же должны ReadWriteOnce все ходить на ReadWriteMany, правильно? Чарт создает для каждого пода ReadWriteOnce, которые ходят в один nfs
cent
используй kubectl describe pvc <pvc>
Кстати, да. Я еще продебажить не могу. describe ничего не показывает. Ошибок нигде нет. Но pv вечно Available
𝚔𝚟𝚊𝚙𝚜
смотри, ты создаешь свой чарт с репликой 3, он генерит StatefulSet, который генерит 3 пода и 3 persistentVolumeClaim: https://github.com/wallyqs/nats-streaming-cluster-chart/blob/master/templates/statefulset.yaml#L232-L246
Dmytro
Есть кто настраивал alertmanager для slack-a. Я хочу чтобы в text мне отображало description моего alerta
Dmytro
Написал в config
Dmytro
text: "description: {{ .Annotations.description }}\nsummary: {{ .Annotations.summary }}"
Dmytro
Такая проблема
Dmytro
𝚔𝚟𝚊𝚙𝚜
эти три persistenVolumeClaim должны найти три подходящих persistentVolumes и забиндиться на них
Dmytro
@metrics_ru
спасибо! я искал!
cent
эти три persistenVolumeClaim должны найти три подходящих persistentVolumes и забиндиться на них
Да, а как они их найдут? Будут рандомный брать по storageClass ?
𝚔𝚟𝚊𝚙𝚜
Да, а как они их найдут? Будут рандомный брать по storageClass ?
искать они будут persistentVolume с таким же storageClass, таким же accessModes: [ "ReadWriteOnce" ] и подходящим size
𝚔𝚟𝚊𝚙𝚜
на каждый из трех pvc должен забиндиться отдельный pv с ReadWriteOnce
𝚔𝚟𝚊𝚙𝚜
да, должно
cent
Умеет, я юзал
А в чем профит перед файлами?
Rainbow
А в чем профит перед файлами?
База у всех есть, а nfs не у всех
cent
База у всех есть, а nfs не у всех
Ну, а замеры какие-то есть? Какие нагрузки все это держит? И сколько отжирает ресурсов?
Rainbow
Ну, а замеры какие-то есть? Какие нагрузки все это держит? И сколько отжирает ресурсов?
У меня нет кучи рпс. Я съехал вообще на pgq на фоне выкидывания лишней херни из проекта 😬 он же не пишет все в файл/бд , только простои
Rainbow
И кубер я тоже собираюсь выпилить в след году 😂
Anton
Не забудь поделиться историей успеха. Типа бизнесу не нужно в кубеня
cent
И кубер я тоже собираюсь выпилить в след году 😂
Правильно. Жизнь одна. Нужно все извращения попробовать и свой деплой на bash, в том числе)
Rainbow
Мы уже почти полностью распилили свой монолит на кучу мелких SPA+api. Сейчас попробовали gatsby и будет переводить на него все клиентские сайты (это статический генератор сайта, раз в пол часа просто каталог на 2к товаров пересобирается и все, ничего кроме nginx и апишки небольшой не нужно). Bashем пускать апишки неудобно, поэтому буду запускать через nomad, но с условием, что если падает кластер, то можно было поднять по минимуму за 10-20 минут, а не как сейчас падает кластер и от мысли, что нужно 20 критических и 50 остальных деплойментов поднять... становится не по себе. Схема простая. Nginx, который проксит статику с S3 и апишки, которые держит nomad + отдельный инстанс с клиентскими аpi, на которые все SPA могут переключаться, если вдруг основное API сдохло. Это скорее всего чисто наш кейс, мне крайне сильно нравилось, что раз-два и выкатили сервис + всякие le из коробки + мониторинг и в принципе куб вправляет мозг как должно быть. Но меня не радует стабильность кластера моих кривых руках, а nginx и api на го стабильней некуда (про базы не говорю, 0 проблем за 5 лет).
Andor
Мы уже почти полностью распилили свой монолит на кучу мелких SPA+api. Сейчас попробовали gatsby и будет переводить на него все клиентские сайты (это статический генератор сайта, раз в пол часа просто каталог на 2к товаров пересобирается и все, ничего кроме nginx и апишки небольшой не нужно). Bashем пускать апишки неудобно, поэтому буду запускать через nomad, но с условием, что если падает кластер, то можно было поднять по минимуму за 10-20 минут, а не как сейчас падает кластер и от мысли, что нужно 20 критических и 50 остальных деплойментов поднять... становится не по себе. Схема простая. Nginx, который проксит статику с S3 и апишки, которые держит nomad + отдельный инстанс с клиентскими аpi, на которые все SPA могут переключаться, если вдруг основное API сдохло. Это скорее всего чисто наш кейс, мне крайне сильно нравилось, что раз-два и выкатили сервис + всякие le из коробки + мониторинг и в принципе куб вправляет мозг как должно быть. Но меня не радует стабильность кластера моих кривых руках, а nginx и api на го стабильней некуда (про базы не говорю, 0 проблем за 5 лет).
звучит как будто вы не хипстеры и у вас есть архитектор в команде
Rainbow
звучит как будто вы не хипстеры и у вас есть архитектор в команде
Путь через боль. капистроно, docker, swarm, k8s. И до, надеюсь, светлого будущего с «давайте проще». Nomad умеет даже raw скачивать и запускать бинарники, а с go у нас большая часть апишек один бинарник. И тут даже докер то не особо нужен.
Rainbow
nomad подбирает порт, кидает в env и задача бинарника по указанному порту стартануть. Куча реплик на хосте не проблема. И fabio сверху работает как service+ingress. Consul гоняет приватный трафик через прокси мастеры, если нужно. И это на порядок проще, чем копаться в calico, хотя может и не так быстро.
Rainbow
Для чего consul используется?...
https://www.consul.io/docs/connect/index.html
Rainbow
Для чего consul используется?...
Или это в принципе вопрос? service discovery, healthcheck, service mesh, key-value (как etcd).
A
Делал запрет доступа от сервиса к сервису
A
А енкрипт не делал
A
Енвой прокси делал на кубе кстати, но там без енкрипта и авторизации было...
G72K
Мы уже почти полностью распилили свой монолит на кучу мелких SPA+api. Сейчас попробовали gatsby и будет переводить на него все клиентские сайты (это статический генератор сайта, раз в пол часа просто каталог на 2к товаров пересобирается и все, ничего кроме nginx и апишки небольшой не нужно). Bashем пускать апишки неудобно, поэтому буду запускать через nomad, но с условием, что если падает кластер, то можно было поднять по минимуму за 10-20 минут, а не как сейчас падает кластер и от мысли, что нужно 20 критических и 50 остальных деплойментов поднять... становится не по себе. Схема простая. Nginx, который проксит статику с S3 и апишки, которые держит nomad + отдельный инстанс с клиентскими аpi, на которые все SPA могут переключаться, если вдруг основное API сдохло. Это скорее всего чисто наш кейс, мне крайне сильно нравилось, что раз-два и выкатили сервис + всякие le из коробки + мониторинг и в принципе куб вправляет мозг как должно быть. Но меня не радует стабильность кластера моих кривых руках, а nginx и api на го стабильней некуда (про базы не говорю, 0 проблем за 5 лет).
А чего все в одном nginx не сделаете и за CDN его. Можно хоть с домашнего компа :)