Кстати, насчёт защищенности etcd, насколько легко перевести кластер на tls без даунтайма? А то не очень надежно только правилами фаервола его защищать)

Кстати, насчёт защищенности etcd, насколько легко перевести кластер на tls без даунтайма? А то не очень надежно только правилами фаервола его защищать)

в принципе реально

да я знаю, что реально, можно даже кластер etcd отключить - запущенные сервисы и контейнеры кубернетеса продолжат работать, но вот замечал, что когда etcd возвращается - кубернетес начинает пересоздавать контейнеры... А у меня там кластер rabbitmq и если все ноды рестартанут разом - всё что в очереди очистится, ведь кубернетес в отличии от просто докера по каждому чиху создаёт новый контейнер, а не перезапускает старый

Есть ли возможность сделать так, чтобы новые ноды сами не входили в кластер? (Окромя меток на все деплои)

Только после ручной операции разрешения.

Ну или взлетали с дизейблом на шедулинг

раньше был флаг для кубелета —register-schedulable=false но с какой-то 1,7,х она деприкейтед (ну на coreos пока работает) ещё kubectl drain $NODENAME делает аншедулабл сейчас наверное так делается: https://kubernetes.io/docs/concepts/configuration/taint-and-toleration/

всем привет, кто как справляется с distributed cronjob?

когда в логике джобы какой-то пул селекторов или N подов

Всем привет

Всем привет :) ▫️Изучаю инструменты devops'а ▫️Пока ничем ▫️Интересно изучение инструмента kubernetes ▫️Россия ▫️В другом чате #whois

а ктонибудь делал сайдконтейнеры для интеграционного тестирования? типа запускается тест, отрабатывает, а зайдконтейнер забирает результаты теста и пулит куда-нить

а ктонибудь делал сайдконтейнеры для интеграционного тестирования? типа запускается тест, отрабатывает, а зайдконтейнер забирает результаты теста и пулит куда-нить

initContainers? И заюзать один и тот же волум

А что подразумевается под результатами теста?

А что подразумевается под результатами теста?

файлы например

есть проблема, что надо следить как то за состоянием "основного" контейнера. если он упал то нужно что то тоже сделать и завершить работу сайдкара чтобы под убился (при условии что юзаем джоб например)

а что за файлы-то?

просто как по мне тот клиент, что проводит тестирование, и должен их собирать

да я знаю, что реально, можно даже кластер etcd отключить - запущенные сервисы и контейнеры кубернетеса продолжат работать, но вот замечал, что когда etcd возвращается - кубернетес начинает пересоздавать контейнеры... А у меня там кластер rabbitmq и если все ноды рестартанут разом - всё что в очереди очистится, ведь кубернетес в отличии от просто докера по каждому чиху создаёт новый контейнер, а не перезапускает старый

Почему все что в очереди чистится если у тебя персистент сторедж за пределами контейнера?

а есть какие-нибудь рецепты если я хочу определять переменные на уровне неймспейса и инжектить в поды?

(ну кроме через конфигмап)

Сикреты есть

--from-env-file сгенерит сикрет объект, через рефы можно подставлять в поды

Либо маунтить волум с ними, но тогда файл будет называться кей, а содержимое велью

> (ну кроме через конфигмап)

это и имел ввиду... ок ладно (я тоже доку порыл че-то не нашел такой фичи... жалко, куча бесполезной хрени есть а единого места для переменных _из коробки_ нет ?

коллеги, добрый день!

а постят ли сюда вакансии?

а постят ли сюда вакансии?

@devops_jobs

там я был уже

Сюда нет.

(и там я админ)

О, Вы были на РИТе в этом году вроде?

Даниель от туда и пришел =) я ему этот канал посоветовал, как канал серьезных кубер-админов

ну, хорошо. а что делает человек, который хочет нанять именно кубернетис-умельца?

Ищет куберадмина в спб

О, Вы были на РИТе в этом году вроде?

и на hl буду

Много вакансий для куберадминов в Спб?

у меня именно под кубер - одна

есть отдельный чат кубероводов в спб, @onokonem

но вообще у нас очень маленький мирок, мы все друг друга знаем чуть ли не лично

:)

Мир тесен)

@onokonem отметился много где

skipping pod synchronization - [Failed to start ContainerManager Failed to enforce Kube Reserved Cgroup Limits on "/kubereserved.slice": failed to set supported cgroup subsystems for cgroup /kubereserved.slice: Failed to set config for supported subsystems : failed to write 6442450944 to memory.limit_in_bytes: write /sys/fs/cgroup/memory/kubereserved.slice/memory.limit_in_bytes: device or resource busy] коллеги, что посоветуете?:)

kubelet крутил эту ошибку, а поды обрабатывать не хотел

kubereserved.slice - вручную созданная cgroup для —runtime-cgroups, но это давно работает

Мир тесен)

прнивет!

Привет! Подскажите какой способ установки использовать для прода? Дока для CentOS ссылается kubeadm, коорый в свою очередь в бете и это сильно путает

kubeadm не умеет создавать кластер etcd, это самый большой минус у него

kubeadm не умеет создавать кластер etcd, это самый большой минус у него

мультимастер он тоже не умеет

Привет! Подскажите какой способ установки использовать для прода? Дока для CentOS ссылается kubeadm, коорый в свою очередь в бете и это сильно путает

еще скажи что ты хочешь что бы всё стабильно работало и без вопросов

и CNI не поставит =))

kubespray пока что для своего железа похоже более менее результат дает, но его тоже еще понять нужно

еще скажи что ты хочешь что бы всё стабильно работало и без вопросов

Еще рано, я кажется еще на стадии понять доку)

Чем плох ручной способ? https://kubernetes.io/docs/getting-started-guides/centos/centos_manual_config/

rancher

Привет! Подскажите какой способ установки использовать для прода? Дока для CentOS ссылается kubeadm, коорый в свою очередь в бете и это сильно путает

Я паппетом

Чем плох ручной способ? https://kubernetes.io/docs/getting-started-guides/centos/centos_manual_config/

придется самому думать о секурности etcd и кластеризовать его

кластеризовать?!

А в чем проблема апнуть 3, 5 инстансов етсд и заджойнить их?

Вообще проблема яйца выеденного не стоит

Операция тривиальная и описана в доке етсд

народ, а как правильно модули яда подгружать на хост в случае с кубернетесом?

ядра* }:-]

modprobe [имя_модуля] ? :)

что значит правильно в случае с кубером? )

можно ingress задать без host?

что значит правильно в случае с кубером? )

Есть какая то фигня, имеется привелегированный контейнер, внутри контейнера есть некий скрипт который рулит iptables, подозреваю что какие-то правила могут автоматически подгружать модули ядра, из-за чего, если убить контейнер, нетворк неймспейс не убивается а продолжает жить своей какой-то жизнью

Слышал что good way грузить все модули на хосте, есть ли рекомендации по организации этого на kubernetes, или только ручками/скриптом?

https://azure.microsoft.com/en-us/blog/introducing-azure-container-service-aks-managed-kubernetes-and-azure-container-registry-geo-replication/?cdn=disable

Слышал что good way грузить все модули на хосте, есть ли рекомендации по организации этого на kubernetes, или только ручками/скриптом?

Это плохая идея из контейнера дёргать что-то на прямую на хост системе

Вы сами себя лишаете изоляции

Знаю, но здесь по прежнему хочется иметь изолированный netns, но разрешить контейнеру делать все что угодно внутри него, но если контейнер убить должен и netns умереть.

Потому и думаю, может ли это быть связанно с тем, что iptables что-то догружает внутри контейнера из за чего netns не умирает а остаётся жить

Сорян за оффтоп: а по прометеусам и графанам есть каналы?

церковь метрик же

Да церковь меток

https://t.me/metrics_ru

Спасиб

А в чем проблема апнуть 3, 5 инстансов етсд и заджойнить их?

это еще набор отдельных действий. после kubeadm, например, нужно и tls добавлять, и каждого нового мембера добавлять в два шага - добавить мембера в кластер + запуск мембера. возня же