похоже что с PV/PVC таже история

но среди них есть поды которые не используют PVC

видел на гитхабе кто-то еще жаловался 16ч назад. Эх, пошел писать багрепорт

привет! Как достать логи из свалившегося деплоймента? Уточняю 1) делаю деплоймент через set image 2) жду rollout status 3) если свалилось, делаю rollout undo вот между 2 и 3 мне надо программно (ну то есть не руками буду kubectl запускать) взять логи свалившегося пода (describe+logs). Проблема в том, что я не знаю, как мне определить какой под смотреть

kubectl logs --previous ... если под крешится но ещё не удалён

видел на гитхабе кто-то еще жаловался 16ч назад. Эх, пошел писать багрепорт

У меня был трабл такой из за PVC. Удалил их и под умер.Долго тогда шаманил

а если оба ВПС шэрят 1 Hosted zones в route53 , сам route53 ни как не заюзать

route53 глобальный на весь аккаунт, не привязан к vpc

кстати про наружу-если он деплоится в интернал сабнетах , наружу опять таки через ELB?

либо через сервис NodePort если есть ноды кластера в публичных подсетях

@denyasmail у меня PVC тоже в Terminating зависли, подозреваю как раз из-за этих подов

@denyasmail у меня PVC тоже в Terminating зависли, подозреваю как раз из-за этих подов

Пошамань с PVC

kubectl logs --previous ... если под крешится но ещё не удалён

мне нужно id пода найти

@denyasmail не понимаю что там можно нашаманить кроме удаления с --force --grace-period=0, читал в 1.11 защиту сделали от удаления PVC пока поды еще не завершились, подозреваю это она и есть

@SinTeZoiD С последнего митапа не оставляет меня вопрос про эти 110 подов на ноду. У меня есть ощущение, что это какая-то legacy фигня. Вот иша, в которой долго и безрезультатно идет обсуждение того, есть ли проблема по факту https://github.com/kubernetes/kubernetes/issues/23349 При этом, для кубелета есть опция увеличить лимит подов. Ты или кто-то еще пробовал стресс тестить это дело после увеличения лимита? У меня есть подозрение, что тут страху больше чем реальных проблем (ну и плюс плохая работа sig-scalability или как она там)

мне нужно id пода найти

хмм а в чем проблема? kubectl get pods | grep <deployment name> ...

нету грепа, к сожалению есть только kubectl

гуглить пробовал? миллион вариантов же https://stackoverflow.com/questions/35797906/kubernetes-list-all-running-pods-name

@SinTeZoiD С последнего митапа не оставляет меня вопрос про эти 110 подов на ноду. У меня есть ощущение, что это какая-то legacy фигня. Вот иша, в которой долго и безрезультатно идет обсуждение того, есть ли проблема по факту https://github.com/kubernetes/kubernetes/issues/23349 При этом, для кубелета есть опция увеличить лимит подов. Ты или кто-то еще пробовал стресс тестить это дело после увеличения лимита? У меня есть подозрение, что тут страху больше чем реальных проблем (ну и плюс плохая работа sig-scalability или как она там)

@vrutkovs говорил, что у него 250

но вообще похоже что народ ссыт несколько

@vrutkovs говорил, что у него 250

У нас до 250 в саппорте, да. Насколько я понял все эти 100 и 110 времен версии 1.2

гуглить пробовал? миллион вариантов же https://stackoverflow.com/questions/35797906/kubernetes-list-all-running-pods-name

разумеется пробовал. что я, дурак чтоли, часами в чатике ответа дожидаться

так не работает ни один из вариантов, с jsonpath например (у меня самого такой в одном из скриптов)?

У нас до 250 в саппорте, да. Насколько я понял все эти 100 и 110 времен версии 1.2

ну и я пришел к тому же выводу после чтения топиков. Вопрос в том, где реальный предел для k8s 1.11+containerd

но вообще похоже что народ ссыт несколько

оно ж ещё сильно зависит от ноды, на какой-нибудь виртуалки с 8 процами и 110 сильно много

ещё была статья от страйпа - они замеряли сколько времени занимает запуск одного пода (но там старая статья c кубом 1.5 или 1.6 и докер а не containerd)

оно ж ещё сильно зависит от ноды, на какой-нибудь виртуалки с 8 процами и 110 сильно много

assumption: у нас очень большая нода на которую влезет большое число подов и мы хотим понять именно боттлнеки кублета

врядли именно у куба будут проблемы, он просто дергает докер апи

ну и я пришел к тому же выводу после чтения топиков. Вопрос в том, где реальный предел для k8s 1.11+containerd

Так это от машины, iptables, ведра зависит. Думаю 500 выжать можно

ну и я пришел к тому же выводу после чтения топиков. Вопрос в том, где реальный предел для k8s 1.11+containerd

а че containerd?

а вот у докера и линукса (куча network namespaces, cgroups и прочее - тут надо пробовать)

пачки правил в iptables если много траффика тоже наверное может быть проблемой

У меня на больших нодах были проблемы с кронджобами, два десятка джобов с расписанием "*/3" - через неделю аптайма не мог запустить sandbox/приаттачить сетку. Но это на 1.9.0/17.03, сейчас обновился на 1.10.5/18.03 вроде проблем не наблюдаю.

о, точно такие же результаты были у страйпа

У меня на больших нодах были проблемы с кронджобами, два десятка джобов с расписанием "*/3" - через неделю аптайма не мог запустить sandbox/приаттачить сетку. Но это на 1.9.0/17.03, сейчас обновился на 1.10.5/18.03 вроде проблем не наблюдаю.

кронджобы это вообще весело

врядли именно у куба будут проблемы, он просто дергает докер апи

ну так проблемы были именно с докер

а че containerd?

тут где-то была статься про то что containerd вроде как прилично быстрее

тут где-то была статься про то что containerd вроде как прилично быстрее

была

она? https://habr.com/company/flant/blog/414875/

не думаю, что инженеры докера спасая свое наследие запихали в контейнерд полный говнокод

она? https://habr.com/company/flant/blog/414875/

она. Что не верит русское сообщество в это?

ну так проблемы были именно с докер

тогда надо идти в канал по докеру имхо и там спрашивать - больше шансов что подскажут (или в вообще в канал containerd но там наверное и людей нету если вообще есть канал)

не думаю, что инженеры докера спасая свое наследие запихали в контейнерд полный говнокод

да даже если запихали есть CRI-O

так не работает ни один из вариантов, с jsonpath например (у меня самого такой в одном из скриптов)?

да, таки доковырял с jsonpath

не думаю, что инженеры докера спасая свое наследие запихали в контейнерд полный говнокод

Докер уже давно на основе containerd, не?

фильктрую поды по image

kubectl get pods -o jsonpath='{.items[?(@.spec.containers[0].image=="....")].metadata.name}'

Докер уже давно на основе containerd, не?

да, я на сколько помню там историю (не помню откуда и кто мне ее втирал на докерконе так что без пруфов), когда инженеры докера почувствовали, что запахло жареным с точки зрения бизнеса, то они чтобы не потерять свое кодовое наследие под анальными лицензионными карами потенциального покупателя решили выпилить самое дорогое своему сердцу в контейнерд под железобетонный опенсурс

Все так, да. Только я сомневаюсь что чистый containerd будет работать - оно само умеет пуллить имаджи, аутентификацию в регистри, билдить?

Если нет, то особого смысла в переходе не вижу (ну кроме перехода на crictl)

Все так, да. Только я сомневаюсь что чистый containerd будет работать - оно само умеет пуллить имаджи, аутентификацию в регистри, билдить?

Да

Билды не проверял

Хмм, ну тогда должно хватить для начала

билдить то зачем на проде?

билдить то зачем на проде?

не на проде а в раннерах гитлаба настроенных как k8s executor

билдить то зачем на проде?

Чтобы весь пайплайн мог проверить на стейдже/деве и не получить "а, это докер криво билдит, у меня все правильно работает"

хммм ну ок билди на дев кластере а на стейджинге держи containerd как на проде

да, я на сколько помню там историю (не помню откуда и кто мне ее втирал на докерконе так что без пруфов), когда инженеры докера почувствовали, что запахло жареным с точки зрения бизнеса, то они чтобы не потерять свое кодовое наследие под анальными лицензионными карами потенциального покупателя решили выпилить самое дорогое своему сердцу в контейнерд под железобетонный опенсурс

тогда CRI-O?

ну перспектива есть

хотя в отличие от openstack мне как-то сложно оценить уровень влияния шляпников на код и community. У кого тут какие по этому поводу ощущения?

Интересно, а есть полный отчот?

хотя в отличие от openstack мне как-то сложно оценить уровень влияния шляпников на код и community. У кого тут какие по этому поводу ощущения?

в отличии от OpenStack тут своих влиятелей хватает)

хотя в отличие от openstack мне как-то сложно оценить уровень влияния шляпников на код и community. У кого тут какие по этому поводу ощущения?

Сторонних участников довольно мало, разве что ребята из Suse

Интересно, а есть полный отчот?

там же в статье ссылка была на презу https://schd.ws/hosted_files/ossalsjp18/95/OSSJP_KubernetesRuntimes.pdf

Интересно, может убунтушный кернел так влияет?

c-groups не крещенные, неймспейсы не кошерные ?

https://thenewstack.io/ci-cd-with-kubernetes-ebook-free-download-on-the-new-stack/

Опять про спиннакер

Друзья, подскажите... ВРоде была уже здесь эта тема. Можно каким-нибуть образом организовать сбор логов с подов в k8s к примеру с помощью graylog, но дежать его вне кластера k8s

ERROR: S client not available

Можно

Можно

И как это лучше осущевствить?

Берёшь и осуществляешь

Будут проблемы - спрашивай тут

Крутое сообщевство)

Берёшь и осуществляешь

Я прошу поделится практикой)

Да там ваще не должно быть проблем

Да там ваще не должно быть проблем

Типа filebeat юзать не хочется. Может уже что другое придумали

Юзай fluentd

https://github.com/vmware/kube-fluentd-operator гениальное, правда немного недоделанное изобретение

https://containerjournal.com/2018/07/03/top-9-kubernetes-settings-you-should-check-to-optimize-security/

Привет. Как посмотреть почему поды трафика висят в container creating?

в блогпосте гугла к релизу 1.11 прочитал про https://github.com/kubernetes-sigs/kustomize я думаю что это прекрасно. Осталось придумать красивый способ менять тэг имеджа в джобе.

И как это лучше осущевствить?

Ставишь datadog за минуту, платишь $15 за сервер и все круто

datadog собирает логи?

да

ого, давно?

я хз, видел на каком-то из ивентов как они показывали

больше года точно

Привет. Как посмотреть почему поды трафика висят в container creating?

Descibe?

только нидайбох удалить тебе хоть одну ноду из датадога

менеджеры заебут насмерть. мне два года писали.

Почему?

Descibe?

Дескрайб чего? Пода? Так его нет ещё.

Поды есть и контейнеры в creating

Хм. Действительно.

Спасибо

Теперь бы понять почему он ругается на CNI

network: failed to set bridge addr: "cni0" already has an IP address different from 10.244.2.1/24 Что это может быть?

Кластер поднят с flannel

datadog собирает логи?

только там отдельный прайс за логи, $1.27 за 1кк ивентов. Пользоваться удобно