ENI - была идея, но оставил это на крайний случай

@hatemosphere еще если не секрет, у вас кластер большой? Я не смог собрать кластер более 100 нод, вив сказал, что требуется доп настройка (типа рефлектора в калико)

Еще раз прошу Вашего совета по поводу cbr0 интерфейса ? все ли его создают ? и меняют параметр запуска сервиса докера на —bridge=cbr0 ??? или кто то использует дефолтный docker0 ??

У нас докер 17.12.1, calico в daemonset без flannel, никаких параметров докеру на задаем кажется, чистый дефолт из CoreOS (но там дефолт может быть заточен под куб), так что врят ли помогу

у нас много маленьких кластеров с жирными нодами, и вот ни одной из ваших проблем у нас нет)

У нас докер 17.12.1, calico в daemonset без flannel, никаких параметров докеру на задаем кажется, чистый дефолт из CoreOS (но там дефолт может быть заточен под куб), так что врят ли помогу

docker-ce=17.03.2 По оф рекомендации.

но weave encryption пробовали для соединения нод в разных регионах и оно лагало дико

docker-ce=17.03.2 По оф рекомендации.

Использую flanned daemnset без calico

для энкрипшна из коробки лучше какой-нибудь сервис меш юзать и по TLS гонять трафик

но weave encryption пробовали для соединения нод в разных регионах и оно лагало дико

У нам в одном регионе, 3 зоны, работает ок, но в сливе :( т.е вив жрет кучу цпу и ограничен по сети

Да, я тоже склоняюсь к мысли с тлс

Даже без меша пока может

ну тогда же в каждый под придется проксю совать как сайдкар? (если не хотите в код пихать)

У нас можно проще включить тлс, каждый сервис конфигурится в принципе, в коде это уже есть так или иначе

На будущее - меш

Меш в принципе тот же сайдкар

ага, но конфигурации меньше и другие фичи бесплатно

Да, я тоже склоняюсь к мысли с тлс

Я б навесил WireGuard на все сетевые интерфейсы на ноде и конфигурил куб поверх него

ага, но конфигурации меньше и другие фичи бесплатно

Согласен

Я б навесил WireGuard на все сетевые интерфейсы на ноде и конфигурил куб поверх него

Это интересная идея, надо попробовать. Вы так делали?

Нет, но если б сказали шифровать всю сеть, делал бы так

вы предлагаете гонять весь трафик по vpn?

да

это какой-то bare metal подход)

зато один раз сделал и забыл

Ну нормально, вив подобное пытается сделать

у вива на бумаге должно быть быстрее vpn, особенно udp

Ipsec + vxlan

хотяя, ядерный vpn - это заявка на скорость)

А wireduard - надо смотреть

Я не помню так

формат <причина>:<Effect>, причина может быть любая, например "debug-in-progress-see-ticket-6999:NoSchedule"

Так меня причины и интересуют. Как сделать ее кастомной ибо все что я вижу в интернетах это причины по-умолчанию

Так меня причины и интересуют. Как сделать ее кастомной ибо все что я вижу в интернетах это причины по-умолчанию

пишите что хотите, обычно туда ставят источник/причину taint, т.е. в вашем случае скажем "FSError:NoExecute"

пишите что хотите, обычно туда ставят источник/причину taint, т.е. в вашем случае скажем "FSError:NoExecute"

Окей, откуда куб узнает про статус?)

не понял вопроса

ваш мониторинг навешивает taint на ноду с нужным эффектом

Понял, получается мне надо заставить прометеус вешать тэинт

не, такого он не может

не, такого он не может

Ну а как тогда? Я же ищу ответ на вопрос «как заставить куб понимать кастомные ключи?»

Ну а как тогда? Я же ищу ответ на вопрос «как заставить куб понимать кастомные ключи?»

я про то что prometheus сам тейнты на ноды вешать не может

вам надо будет самому кусок кода который по значениям из мониторинга развешивает тейнты

Надо будет самому кусок кода что? (Я случайно два литра Колы.)

Спасибо, теперь все ясно

Я до последнего надеялся, что самому не придётся балалаек писать никаких :)

это блочный. А если файлы?

GlusterFS же

это блочный. А если файлы?

Object storage to the rescue!

Всем привет. Покажите плиз где смотреть версии зависимостей для релиза кубера? Например хочу знать какую версию etcd и flannel поддерживает kub 1.10 или любой другой релиз.

Всем привет. Покажите плиз где смотреть версии зависимостей для релиза кубера? Например хочу знать какую версию etcd и flannel поддерживает kub 1.10 или любой другой релиз.

Ставьте последний etcd 3.2.X для 1.10 не прогадаете. Версию клиента для etcd можно посмотреть в коде, но клиент совместим со всеми 3.х.х etcd

Я до последнего надеялся, что самому не придётся балалаек писать никаких :)

Alertmanager может вебхук дергать, по которому вы запустите kubectl taint. Много писать не придется :)

https://github.com/imgix/prometheus-am-executor

Но такие вещи я бы локально проверял и запускал kubectl taint с ноды же . node-problem-detector скажем уже проверяет что докер жив

Неплохо, даже проще чем думал. Спасибо!

Коллеги, а подскажите, что делать, если под крашится, а мне нужно зайти в него и починить. Ситуация такая - есть redis с pvc, в нем поломался aof. Надо зайти, сказать —fix и ситуация улучшится (но это неточно). Вопрос - можно ли это сделать, временно запустив под с command не по умолчанию, а потом перезапустить заново? Или мне надо идти, ставить где-то новый редис, тащить туда aof, фиксить, тащить его назад?

Коллеги, а подскажите, что делать, если под крашится, а мне нужно зайти в него и починить. Ситуация такая - есть redis с pvc, в нем поломался aof. Надо зайти, сказать —fix и ситуация улучшится (но это неточно). Вопрос - можно ли это сделать, временно запустив под с command не по умолчанию, а потом перезапустить заново? Или мне надо идти, ставить где-то новый редис, тащить туда aof, фиксить, тащить его назад?

чинить собираетесь модифицируя файлы на PVC? Можете стартануть c /bin/sleep infinity и зайти по kubectl exec туда.

чинить собираетесь модифицируя файлы на PVC? Можете стартануть c /bin/sleep infinity и зайти по kubectl exec туда.

Да, надо по факту просто файл на pvc починить. > Можете стартануть c /bin/sleep infinity вот вопрос в том, как это сделать, собственно. Там не просто под, там полноценный деплоймент, меня это немного смущает.

Ну деплоймент, поправьте его, поправьте файлы, поправьте деплоймент обратно. Но это если срочно. По уму фикс должен быть в entry point контейнера, чтобы рукам не лазить

На будущее можете завести еще один контейнер в том же поде. В этом контейнере положите все нужные утилиты, подмонтируйте нужные PVC и запускайте с /bin/sleep infinity

Есть еще альфа фича debug container чтобы стартовать их не прописывая заранее, но я не пользовался,

?

можно через sysdig падение отдебажить

@rossmohax, спасибо большое. Руками поправил деплой, пофиксил, поправил назад - все взлетело.

@ga_rus у меня сам факт, почему сломано, уже был отдебажен

всем привет. кто нибудь сталкивался с проблемами кубернетес в плане его garbage collector. в выходные на сервере он увидел, что объем свободного места меньше 85% процентов и удалил один большой контейнер. я его начал заново скачивать и как только скачал то проверил поды и кубер удалил вообще все. и системные контейнеры и даже имэджи. можно ли как то отключить этот garbage collecotr ?

удалились и образы и кэш и имэджи

k8s следит за местом и может удалять имейджи устаревшие, если есть такая возможность

это все настраивается, но реально нужно запас свободного места иметь

странно что он удалил даже из kube-system все образы с днс, апи и прочее. ща нет ни 1 контейнера

и gc нельзя отключить, он за здоровье ноды отвечает

ну пробил уровень, noschedule ноде выставил и эвакуировал поды оттуда

всем привет. кто нибудь сталкивался с проблемами кубернетес в плане его garbage collector. в выходные на сервере он увидел, что объем свободного места меньше 85% процентов и удалил один большой контейнер. я его начал заново скачивать и как только скачал то проверил поды и кубер удалил вообще все. и системные контейнеры и даже имэджи. можно ли как то отключить этот garbage collecotr ?

https://kubernetes.io/docs/tasks/administer-cluster/out-of-resource/ если правильно понял, то это про настройку --eviction-hard и --eviction-minimum-reclaim

а что за опция с првоеркой этого свободного места? просто на диске есть около 1тб но это меньше чем 15% от всего имеющеегося объема дисков

там можно в абсолютных единицах указать, если я помню

Господа у меня есть проблема и я надеюсь, что кто-то из вас поможет мне в ее решении или хотя бы пнет в нужном направлении - вы же в этом специалисты. Итак у нас есть приложение, которое обрабатывает HTTP траффик. Запросы и ответы маленькие (порядка килобайта), время запроса маленькое (порядка 50 мс), число запросов в секунду большое. Сервер асинхронный - java + netty - когда запущен как отдельное приложение, то держит QPS порядка 30к если время запроса 50мс и порядка 60-65к если время ответов для половины запросов 50мс, а на вторую половину отвечает сразу. Число соединений можно прикинуть - порядка 640. Клиент - java асинхронное приложение использующее async-http-client - внутри использует netty. Казалось бы живи и радуйся, но нет. Когда я запустил сервер в docker контейнере, то максимально я его могу нагрузить в районе 18к. Запускаю сервер через кубернетис и даже настроил его на использование сетевых интерфейсов хоста - то есть к сети сервер "как бы" напрямую рубится без всяких бриджей и прочего гомна. И вот при 18к QPS сеть периодически замирает секунд на 7. Вся сеть хоста - это заметно на ssh соединениях, везде. CPU load сервера где-то в районе нуля. Как думаете что бы это такое могло быть и как можно понять что именно. Может буфера какие переполняются. Может какую статистику с ядра можно собрать?

Товарищи, я хотел бы порекламить немного митап по куберу в СПБ. 12 апреля с 19 до 22 в офисе компании Селектел(м. Московские ворота, ул. Цветочная 21) будет проходить kubernetes spb meetup. Темы * Современная архитектура и инфраструктура на примере Last.Backend(докладчик Александр Калошин, Last.Backend) * Kubernetes на bare metal и CNI на примере weave (докладчик Максим Филатов, EvilMartians) Запасной доклад * Особенности разработки софта в k8s(Афонинский Андрей, FullDive) Timepad https://selectel.timepad.ru/event/695549/ Meetup https://www.meetup.com/St-Petersburg-Kubernetes-Meetup/events/249348270/ Трансляция будет как начнется мероприятие. Запись так же будет.

Господа у меня есть проблема и я надеюсь, что кто-то из вас поможет мне в ее решении или хотя бы пнет в нужном направлении - вы же в этом специалисты. Итак у нас есть приложение, которое обрабатывает HTTP траффик. Запросы и ответы маленькие (порядка килобайта), время запроса маленькое (порядка 50 мс), число запросов в секунду большое. Сервер асинхронный - java + netty - когда запущен как отдельное приложение, то держит QPS порядка 30к если время запроса 50мс и порядка 60-65к если время ответов для половины запросов 50мс, а на вторую половину отвечает сразу. Число соединений можно прикинуть - порядка 640. Клиент - java асинхронное приложение использующее async-http-client - внутри использует netty. Казалось бы живи и радуйся, но нет. Когда я запустил сервер в docker контейнере, то максимально я его могу нагрузить в районе 18к. Запускаю сервер через кубернетис и даже настроил его на использование сетевых интерфейсов хоста - то есть к сети сервер "как бы" напрямую рубится без всяких бриджей и прочего гомна. И вот при 18к QPS сеть периодически замирает секунд на 7. Вся сеть хоста - это заметно на ssh соединениях, везде. CPU load сервера где-то в районе нуля. Как думаете что бы это такое могло быть и как можно понять что именно. Может буфера какие переполняются. Может какую статистику с ядра можно собрать?

в dmesg нет ничего?

Господа у меня есть проблема и я надеюсь, что кто-то из вас поможет мне в ее решении или хотя бы пнет в нужном направлении - вы же в этом специалисты. Итак у нас есть приложение, которое обрабатывает HTTP траффик. Запросы и ответы маленькие (порядка килобайта), время запроса маленькое (порядка 50 мс), число запросов в секунду большое. Сервер асинхронный - java + netty - когда запущен как отдельное приложение, то держит QPS порядка 30к если время запроса 50мс и порядка 60-65к если время ответов для половины запросов 50мс, а на вторую половину отвечает сразу. Число соединений можно прикинуть - порядка 640. Клиент - java асинхронное приложение использующее async-http-client - внутри использует netty. Казалось бы живи и радуйся, но нет. Когда я запустил сервер в docker контейнере, то максимально я его могу нагрузить в районе 18к. Запускаю сервер через кубернетис и даже настроил его на использование сетевых интерфейсов хоста - то есть к сети сервер "как бы" напрямую рубится без всяких бриджей и прочего гомна. И вот при 18к QPS сеть периодически замирает секунд на 7. Вся сеть хоста - это заметно на ssh соединениях, везде. CPU load сервера где-то в районе нуля. Как думаете что бы это такое могло быть и как можно понять что именно. Может буфера какие переполняются. Может какую статистику с ядра можно собрать?

В голову сразу приходит net.core.somaxconn

Товарищи, я хотел бы порекламить немного митап по куберу в СПБ. 12 апреля с 19 до 22 в офисе компании Селектел(м. Московские ворота, ул. Цветочная 21) будет проходить kubernetes spb meetup. Темы * Современная архитектура и инфраструктура на примере Last.Backend(докладчик Александр Калошин, Last.Backend) * Kubernetes на bare metal и CNI на примере weave (докладчик Максим Филатов, EvilMartians) Запасной доклад * Особенности разработки софта в k8s(Афонинский Андрей, FullDive) Timepad https://selectel.timepad.ru/event/695549/ Meetup https://www.meetup.com/St-Petersburg-Kubernetes-Meetup/events/249348270/ Трансляция будет как начнется мероприятие. Запись так же будет.

жалко что без анонса managed k8s локального...

В голову сразу приходит net.core.somaxconn

Сильно смущает, что на том же хосте все хорошо работает когда запускаемся без всяких контейнеров

Сильно смущает, что на том же хосте все хорошо работает когда запускаемся без всяких контейнеров

так сравните значения sysctl _в_ контейнере и _вне_ контейнера

так сравните значения sysctl _в_ контейнере и _вне_ контейнера

кстати это подстава

неочевидная

так сравните значения sysctl _в_ контейнере и _вне_ контейнера

Если запускают как net=host то все сетевые sysctl будут одинаковые

Господа у меня есть проблема и я надеюсь, что кто-то из вас поможет мне в ее решении или хотя бы пнет в нужном направлении - вы же в этом специалисты. Итак у нас есть приложение, которое обрабатывает HTTP траффик. Запросы и ответы маленькие (порядка килобайта), время запроса маленькое (порядка 50 мс), число запросов в секунду большое. Сервер асинхронный - java + netty - когда запущен как отдельное приложение, то держит QPS порядка 30к если время запроса 50мс и порядка 60-65к если время ответов для половины запросов 50мс, а на вторую половину отвечает сразу. Число соединений можно прикинуть - порядка 640. Клиент - java асинхронное приложение использующее async-http-client - внутри использует netty. Казалось бы живи и радуйся, но нет. Когда я запустил сервер в docker контейнере, то максимально я его могу нагрузить в районе 18к. Запускаю сервер через кубернетис и даже настроил его на использование сетевых интерфейсов хоста - то есть к сети сервер "как бы" напрямую рубится без всяких бриджей и прочего гомна. И вот при 18к QPS сеть периодически замирает секунд на 7. Вся сеть хоста - это заметно на ssh соединениях, везде. CPU load сервера где-то в районе нуля. Как думаете что бы это такое могло быть и как можно понять что именно. Может буфера какие переполняются. Может какую статистику с ядра можно собрать?

Приложение ходит куда-нибудь еще? java, jar и опции на хосте и в докере 100% одинаковые ?

Господа у меня есть проблема и я надеюсь, что кто-то из вас поможет мне в ее решении или хотя бы пнет в нужном направлении - вы же в этом специалисты. Итак у нас есть приложение, которое обрабатывает HTTP траффик. Запросы и ответы маленькие (порядка килобайта), время запроса маленькое (порядка 50 мс), число запросов в секунду большое. Сервер асинхронный - java + netty - когда запущен как отдельное приложение, то держит QPS порядка 30к если время запроса 50мс и порядка 60-65к если время ответов для половины запросов 50мс, а на вторую половину отвечает сразу. Число соединений можно прикинуть - порядка 640. Клиент - java асинхронное приложение использующее async-http-client - внутри использует netty. Казалось бы живи и радуйся, но нет. Когда я запустил сервер в docker контейнере, то максимально я его могу нагрузить в районе 18к. Запускаю сервер через кубернетис и даже настроил его на использование сетевых интерфейсов хоста - то есть к сети сервер "как бы" напрямую рубится без всяких бриджей и прочего гомна. И вот при 18к QPS сеть периодически замирает секунд на 7. Вся сеть хоста - это заметно на ssh соединениях, везде. CPU load сервера где-то в районе нуля. Как думаете что бы это такое могло быть и как можно понять что именно. Может буфера какие переполняются. Может какую статистику с ядра можно собрать?

https://engineering.linkedin.com/blog/2016/11/application-pauses-when-running-jvm-inside-linux-control-groups оно?

Всем доброе утро. Возник вопрос. После инициализации первого мастера в кластере мастеров, если посмотреть на некоторые гайды, видно, что нужно сделать копию всех сертификатов /kubernetes/pki/* на другие мастера и там производить init уже с этими данными ? Вопрос в следующем в связи с чем такая необходимость так как по сути kubelet делает самоподписанные сертификаты и на других хостах они не подойдут по причине разных записей SAN, ?

(в любом случае хотелось бы услышать комментарий по поводу количества выданных приложению ресурсов)

жалко что без анонса managed k8s локального...

Не понял фразы. Что значит локального? Что в bare metal не так?

локального - в рашке

Ну дык это, можно запустить локально в рашке на своем железе. Об этом Максим расскажет

Всем доброе утро. Возник вопрос. После инициализации первого мастера в кластере мастеров, если посмотреть на некоторые гайды, видно, что нужно сделать копию всех сертификатов /kubernetes/pki/* на другие мастера и там производить init уже с этими данными ? Вопрос в следующем в связи с чем такая необходимость так как по сути kubelet делает самоподписанные сертификаты и на других хостах они не подойдут по причине разных записей SAN, ?

Сертификатов много , вы про какие?

Ну дык это, можно запустить локально в рашке на своем железе. Об этом Максим расскажет

я не хочу ничего запускать, я хочу как GKE, но в рашке