George
Да, вроде куьюблет это делает
The
а как быть, если у меня воркер нода умирает? как мастерам понять, что контейнер умер вместе с подом и нодой? только по статусу ноды?
Валентин
а как быть, если у меня воркер нода умирает? как мастерам понять, что контейнер умер вместе с подом и нодой? только по статусу ноды?
А пока воркер не поднимется обратно - статус неизвестен у пода. Так что там будет running сначала, а как кто-то на под подействует - станет unknown
Валентин
а ендпоинты у сервиса как обновить?
Вот этого не знаю. У меня воркеры быстро перезагружаются и просто так не падают, так что я глубже не интересовался этим
George
смотри
George
все просто
George
у тебя нода ушла - и там начинаются спецэффекты. Кластер о ней ничего не знает, но сама нода может остаться запущенной со всеми нагрузками (пока там что-нибудь не отвалиться по оом или кто-то не ребутнется)
George
логика в том, что кьюблет, если не может достучаться до "центра" не будет вносить изменений - это важно, в случае, если у тебя стейтфул там
The
в текущей реализации, статус нод трекается каждую секунду, через ещё секунду принимается решение, что нода умерла. поды маркаются как терминейтед, но апдейт ендпоинтов у сервисов (15 сервисов) занимает до 10 секунд
George
касательно сервиса - у тебя по идее через какое-то время заданное таймаутами мастер прочухает, что нода отъехала, поды NotReady и выкинет из балансировки.
George
или Terminated - тут я уже не скажу
George
т.е. eventually у тебя все начнет работать, вопрос в том, что тебе все равно надо ретраить свои запросы.
George
и это уже вопрос к дизайну приложения....
The
логика в том, что кьюблет, если не может достучаться до "центра" не будет вносить изменений - это важно, в случае, если у тебя стейтфул там
у меня сценарий, когда хост с нодой умирает. надо прочухать как можно быстрее и трафик на умершие контейнеры не роутить
George
трафик внешний или внутренний?
The
по сути, внутренний
The
но ингрес пода, тоже может умереть
George
по сути, внутренний
ну, тут ты попал
George
у тебя все равно будет период времени, хотя бы между хелсчеками, в который запрос может потеряться
George
насколько?
The
сейчас 10 сек, хотя бы вдвое
The
для полноты картины, я бы сказал, что у меня все на бареметал
George
tcp?
The
3 мастера + 3 воркера
The
tcp?
да
Just a baka
ингресс апстримы не перебирает штоле?
George
ну, я не думаю, что пускать внутренний кластерный трафик через ингресс - бест пректис
George
ингрес от истио
у тебя сервис меш внутри?
Solyar
ингресс апстримы не перебирает штоле?
Так апстрим у тебя на сервис смотрит
Solyar
нет?
The
у тебя сервис меш внутри?
да. внешний идет через ингрес
George
да. внешний идет через ингрес
ты не на тот вопрос ответил )
The
ты не на тот вопрос ответил )
сервис меш внутри, трафик падает на три инстанса истио ингресс
The
один из них может отвалится вместе с нодой.
George
> трафик падает на три инстанса истио ингресс roundrobin ?
George
ты чего?
George
или что там спереди за балансировка перед кластером?
George
кек
Nurlan
Добавляю strategy rollingUpdate, readinessProbe, livenessProbe поды не стартуют. в чем может быть проблема?
The
кек
это понятно. как быть то?
George
это понятно. как быть то?
я себе так представляю, что а) выкручивать хелсчеки вниз, чтоб максимально быстро отрабатывали с минимальным периодом б) сделать нормальную точку входа в кластер с LB в) пустить весь трафик внутри кластера через сетку - она сама должна детектить живость подов
George
и роутить
Nurlan
в дескрайб что?
Warning Unhealthy 12m (x3 over 12m) kubelet, k8s-1 Liveness probe failed: Get http://10.244.65.244:8080/hello: net/http: request canceled (Client. Timeout exceeded while awaiting headers)
George
насчет service (clusterip) vs service mesh ничего не скажу, по идее второе первое отчасти заменяет
Nurlan
а у тебя ливнес проба то рабочая?
конечно. метод /hello работает локально
George
что значит локально?
George
может он у тебя на 127.0.0.1 слушает
Just a baka
Так апстрим у тебя на сервис смотрит
если ingress-nginx, то он пихает в конфиг все эндпоинты, а не clusterip
Nurlan
что значит локально?
без докера метод работает
George
NM
без докера метод работает
Какая версия докера ?
Nurlan
не в докере проблема я думаю, одим проект запустился в кубе. другие не запускаются
George
я б предположил, что эндпойнт для хелсчека не работает или доступен по 127.0.0.1
Anonymous
Привет Кто-нибудь интегрировал эврику и траефик на кубере?
G72K
ибо осознания разницы между namespaced и нодовыми sysctl нет
Дискуссия была про прибитую базу к ноде, когда namespaced/не namespaced не играет роли. И можно мне не говорить, что я знаю, а что нет пожалуйста.
Nurlan
Nurlan
а с хелсчеками?
ну вот добавляю хелсчек в деплоймент, под не стартует
G72K
В слуае дополнительных разрешений в psp, namespace это необходимость. Иначе все кто имеют доступ к этому namespace, будут иметь доступ, который ты разрешил в этом psp. Окей hostPath нам не нжуен, но либо нам придется разрешать securityContext.sysctls всем пользователям которые имеют доступ в namespace либо если мы этого не хотим, опять придется делать отдельный namespace. А давать доступ к настройкам sysctl всем кто может деплоется в namespace это норм? Если да, окей.
Судя по вашему подходу к тотальному огораживанию, у вас и так уже psp есть , добавить в него правила systctl или добавить psp в новый namespace дело для вас уже привычное. Мой аргумент в том,чт для запуска БД прибитой к ноде не так уж и много надо сделать. Если вы уже запрещаете privileged поды через psp , то разрешить systctl дело нескольких строк, если же у вас psp нет и вы вдруг решили его завести для баз, то это нечестное сравнение, так как помимо прибивания базы к ноде вы ещё под шумок другие плюшки получаете ,но тогда и трудозатраты напрямую сравнивать нельзя
George
ну вот добавляю хелсчек в деплоймент, под не стартует
т.е. дело в хелсчеке. Еще раз повторю - проверьте на отдельной машине (вне кубера) работоспособность хелсчек эндпойнта по сети
George
в докере
G72K
"Тоже самое про лимиты/ресурсы" - Нет не тоже самое, в случае лимитов/ресурсов. Если у вас бест практики, то у вас есть лимиты и ресурсы по умолчанию и настроен limitrange, и вряд-ли у вас там будет стоять разрешение, что один под может забрать всю память ноды . Таким образом вам опять придется либо держать базу в отдельном namespace, либо сильно заморочиться с PriorityClass и scopeSelector. Я повторю, что я не против баз в кубере, я говорю что все зависит от конкретных случаев. Я не согласен с тем, что это всего навсего вопрос десяти доп. строчек ямла, и что в абсолютно любых случаях имеет смысл тащить базу в кубер.
Я не понял мысль про limitrange. Независимо от того, в каком неймспейсе у вас база, если у вас уже есть limitrange, то заранее известно, что надо прибавить к лимитам и реквестам фиксированное значение - размер ноды к которой прибиваем базу. Если limitrange до этого не было , то опять же это сравнение разных фич. В любом случае, модификация всех этих ямлов это несравнимо меньше "кода", чем писать плейбуки ансибла для управления хостами с базами.
Dmitry
Судя по вашему подходу к тотальному огораживанию, у вас и так уже psp есть , добавить в него правила systctl или добавить psp в новый namespace дело для вас уже привычное. Мой аргумент в том,чт для запуска БД прибитой к ноде не так уж и много надо сделать. Если вы уже запрещаете privileged поды через psp , то разрешить systctl дело нескольких строк, если же у вас psp нет и вы вдруг решили его завести для баз, то это нечестное сравнение, так как помимо прибивания базы к ноде вы ещё под шумок другие плюшки получаете ,но тогда и трудозатраты напрямую сравнивать нельзя
Не вижу смысла давать лишних разрешений, особенно которые влияют на стабильность всей системы. И мой аргумент в том, что запускать БД прибитую к ноде, не во всех случаях дело нескольких строк. И есть случаи когда это требует большего обслуживания, чем бд которая деплоется обычным образом.
Andrey
работает эндпойнт. доступен и без куба
как проверяешь, что работает?
Dmitry
Я не понял мысль про limitrange. Независимо от того, в каком неймспейсе у вас база, если у вас уже есть limitrange, то заранее известно, что надо прибавить к лимитам и реквестам фиксированное значение - размер ноды к которой прибиваем базу. Если limitrange до этого не было , то опять же это сравнение разных фич. В любом случае, модификация всех этих ямлов это несравнимо меньше "кода", чем писать плейбуки ансибла для управления хостами с базами.
Ну если вы говорите, что отдельный namespace не нужен, то вы предполагаете что ваш под с базой, будет использовать limitrange текущего namespace. Соотвесвтенно, вам в текущем namespace придется повысить максимальное количество памяти. Был например раньше у вас max = 1GiB, вам придется сделать max = вся память ноды, куда деплоется база.
George
я бы рассматривал неймспейс не только как единицу доверия
George
но и как единицу ограничения ресурсов