Привет всем, есть ли здесь пользователи, которым было бы интересно начать перевод документации Kubernetes на русский язык? Не стесняйтесь связаться со мной (на английском или французском, я не говорю по-русски), чтобы начать, если вы заинтересованы 🙂

ну как, создаешь набор подов с coredns с network: host, в списке апстримов указываешь свои сервера можешь подглядеть сюда https://github.com/kubernetes/kubernetes/tree/master/cluster/addons/dns/nodelocaldns

ох фик пойми, надо coredns тож переподнимать другой?

ох фик пойми, надо coredns тож переподнимать другой?

зависит от того, какой путь реализации ты в итоге придумаешь

подскажите. есть какая-то штука для куба, которая мне при создании нового неймспейса закинет в него нужные мне манифесты(например resource qoutas, role/rolebinding) и тп? я хотел написать это на флантовском шелл операторе, но думаю это велосипедостроение и что-то похожее уже кто-то запилил.

лучше на ansible operator

Спасибо, посмотрю

Добрый вечер всем! Новый доклад! Про request и limit подробно и на пальцах, и не только про них. Надеюсь, будет полезно: https://youtu.be/10ZR-fbyuSY?t=400 . Сокращенная версия текстом: https://habr.com/ru/company/flant/blog/459326/ .

спасибо, Дмитрий!

Добрый вечер всем! Новый доклад! Про request и limit подробно и на пальцах, и не только про них. Надеюсь, будет полезно: https://youtu.be/10ZR-fbyuSY?t=400 . Сокращенная версия текстом: https://habr.com/ru/company/flant/blog/459326/ .

А про это там есть? https://kubernetes.io/docs/tasks/administer-cluster/reserve-compute-resources/

Нет.

Нет.

Это зря - имхо, одна из наиболее полезных фичей в плане борьбы с resource starvation на нодах в условиях, когда не на все проставлены лимиты. Ну, чисто так мое мнение.

Вы гляньте, потом скажете, было ли полезно.

еще неплохо было бы осветить https://kubernetes.io/docs/concepts/configuration/pod-priority-preemption/

Вы гляньте, потом скажете, было ли полезно.

Я текстовую версию прочитал - ничего нового не узнал, но объективно очень хорошая вводная статья для начинающих. Я просто дополнительные идеи подкидываю.

Мне всегда хочется осветить в несколько раз больше, чем возможно упихать в один доклад. Не знаю, что с этим делать.

Я текстовую версию прочитал - ничего нового не узнал, но объективно очень хорошая вводная статья для начинающих. Я просто дополнительные идеи подкидываю.

согласен, может наконец боги смилуются и позволят нам открепить сообщение про РИТ - и добавить какой-то FAQ

Я текстовую версию прочитал - ничего нового не узнал, но объективно очень хорошая вводная статья для начинающих. Я просто дополнительные идеи подкидываю.

Спасибо.

картиночки красивые, а тут недавно писали что лимиты на цпу нельзя ставить

Добрый вечер всем! Новый доклад! Про request и limit подробно и на пальцах, и не только про них. Надеюсь, будет полезно: https://youtu.be/10ZR-fbyuSY?t=400 . Сокращенная версия текстом: https://habr.com/ru/company/flant/blog/459326/ .

спасиб, интересно

Да сделайте два доклада, первый Уде есть, второй - расширенная версия

согласен, может наконец боги смилуются и позволят нам открепить сообщение про РИТ - и добавить какой-то FAQ

Я исходники кубеней вдоль и поперек обтрахал, но пока хз, о чем писать. А так надо бы

Хм, а может статья с подробным описанием принципов работы kube-proxy будет полезна?

Я исходники кубеней вдоль и поперек обтрахал, но пока хз, о чем писать. А так надо бы

Прям все 5 бинарей)

Хм, а может статья с подробным описанием принципов работы kube-proxy будет полезна?

Любая статья кому-нибудь да будет полезна

Прям все 5 бинарей)

Я исходники кубеней вдоль и поперек обтрахал, но пока хз, о чем писать. А так надо бы

про сертификаты, зачем их столько и как с этим жить?

про сертификаты, зачем их столько и как с этим жить?

это могу

но разве еще такого нет?

судя по частым "шэф, все пропало ровно через год, буду переустанавливать" в этом чате - то есть, но мало

Я исходники кубеней вдоль и поперек обтрахал, но пока хз, о чем писать. А так надо бы

Я бы прочитал про новые сервис аккаунт токены и (кажется) уникальные токены на каждый под и как всё это подружить с кейклоак чтобы один сервис аккаунт мог запрашивать токены для обращения к другому приложению у кейклоака. Вообщем рассказать как в опеншифте сделано :)

Я бы прочитал про новые сервис аккаунт токены и (кажется) уникальные токены на каждый под и как всё это подружить с кейклоак чтобы один сервис аккаунт мог запрашивать токены для обращения к другому приложению у кейклоака. Вообщем рассказать как в опеншифте сделано :)

С опеншифтом я дела и близко не имел

Но придумать реализацию для ванильных кубеней - это интересно

С опеншифтом я дела и близко не имел

А они там реальные проблемы из коробки решают. Вон оператор как селфхостед аписервер запускать на статик подах вообще красивый

Так, ладно. Я тут достаточно пиздел, давайте по порядку - начну с релиза оператора для rabbitmq. https://github.com/tekliner/rabbitmq-operator вот он красавец. Надо щас настроить пуш имаджа на публичный реп, но собрать и сами можете без проблем. Ремарка: на текущий момент там захардкожен пуш сообщений об ошибках в нашу sentry, выпилю как только так сразу. Оператор используется у нас в продакшене, но ничего не обещаю и караулить у подъезда в случае чего бессмысленно.

Так, ладно. Я тут достаточно пиздел, давайте по порядку - начну с релиза оператора для rabbitmq. https://github.com/tekliner/rabbitmq-operator вот он красавец. Надо щас настроить пуш имаджа на публичный реп, но собрать и сами можете без проблем. Ремарка: на текущий момент там захардкожен пуш сообщений об ошибках в нашу sentry, выпилю как только так сразу. Оператор используется у нас в продакшене, но ничего не обещаю и караулить у подъезда в случае чего бессмысленно.

годно! Не желаешь засабмитить его на https://operatorhub.io/?

А они там реальные проблемы из коробки решают. Вон оператор как селфхостед аписервер запускать на статик подах вообще красивый

годно! Не желаешь засабмитить его на https://operatorhub.io/?

обязательно, но там есть требования, которым оператор пока не соответствует

На подходе ещё оператор для nginx ingress контроллера. Если надо, то опенсорсну. У нас просто несколько ингресс контроллеров, нам полезно + я не люблю хелм.

Чем хелм не угодил?

Чем хелм не угодил?

Всем

Абсолютно

https://zoom.us/w/934296256?tk=cppLkff4u23YXW2iEAznWVRoDKj6c-St2BT3lf9sVi4.DQEAAAAAN7A6wBZQOUVHeXFGRVJHbTJVcm5pM1QwVzVRAA&uuid=WN_gP9-PnN7QKG_Rzqo7ppkgQ Никто не хочет случайно послушать как Vitess в Kubernetes запускают?

Чем хелм не угодил?

1) Бажный 2) Мало-мальски сложные случаи не покрывает

3)

Генерация yaml из темплейтов - это слишком жесткое извращение даже в наш век после сексуальной революции и с распространением толерантности

https://zoom.us/w/934296256?tk=cppLkff4u23YXW2iEAznWVRoDKj6c-St2BT3lf9sVi4.DQEAAAAAN7A6wBZQOUVHeXFGRVJHbTJVcm5pM1QwVzVRAA&uuid=WN_gP9-PnN7QKG_Rzqo7ppkgQ Никто не хочет случайно послушать как Vitess в Kubernetes запускают?

Эт зум над ставить?

Эт зум над ставить?

;))) ну стандарт дефакто сейчас увы, может потом на ютюб куда нибудь выложат но не факт

Генерация yaml из темплейтов - это слишком жесткое извращение даже в наш век после сексуальной революции и с распространением толерантности

это вы, поди, батенька, джинджей еще его не генерили :D

это вы, поди, батенька, джинджей еще его не генерили :D

Генерил, но см. мое сообщение

Генерил, но см. мое сообщение

уровень боли: максимальный а по поводу ямлов согласен)

;))) ну стандарт дефакто сейчас увы, может потом на ютюб куда нибудь выложат но не факт

жду на ютубе👨🏻‍💻

жду на ютубе👨🏻‍💻

там Индус "co-creator", Английский тот еще ;)

оо, тогда не нужно, лучше почитать посмотреть отдельно что-то про Vitess

Если кто-то имеет экспертизу, милости прошу помочь https://stackoverflow.com/questions/57053436/priorityclass-doesnt-populate-its-value-to-podspec

сначала посмотреть на metacotroller и подобные, может ничего сложно не нужно.

Столкнулся с проблеммой: Если у меня есть 500 Custom Resources, то при перезапуске контроллера operator-sdk отпроцессит их все. А Metacontroller умеет подобный кейс отрабатывать?

Столкнулся с проблеммой: Если у меня есть 500 Custom Resources, то при перезапуске контроллера operator-sdk отпроцессит их все. А Metacontroller умеет подобный кейс отрабатывать?

собственно kopf сейчас так устроен что не будет их процессить.

https://zoom.us/w/934296256?tk=cppLkff4u23YXW2iEAznWVRoDKj6c-St2BT3lf9sVi4.DQEAAAAAN7A6wBZQOUVHeXFGRVJHbTJVcm5pM1QwVzVRAA&uuid=WN_gP9-PnN7QKG_Rzqo7ppkgQ Никто не хочет случайно послушать как Vitess в Kubernetes запускают?

а кто там?)

собственно kopf сейчас так устроен что не будет их процессить.

почему?

а! в смысле как раз и надо чтоб _не_ процессил? ну, Kopf их таки отпроцессит, но по-быстрому, внутренне, без погружения в обработчики (потому что не найдёт причины что-то вызывать).

а! в смысле как раз и надо чтоб _не_ процессил? ну, Kopf их таки отпроцессит, но по-быстрому, внутренне, без погружения в обработчики (потому что не найдёт причины что-то вызывать).

а как именно он стейт сохраняет?

а как именно он стейт сохраняет?

в metadata.annotations.blahblahblah/last-handled-state.

в metadata.annotations.blahblahblah/last-handled-state.

А внутри что? - json?

На operator-sdk я просто .metadata.generation сохранял в status.generation и при зпуске проверял, но на ansible - всё равно долго

да, json без мусорных и системных полей. документация: https://kopf.readthedocs.io/en/latest/continuity/ работа с полями: https://github.com/zalando-incubator/kopf/blob/master/kopf/structs/lastseen.py

вообще, я не знаю, как правильнее: логично бы последнее состояние хранить в status где-нибудь чтоб не замусоривать сам объект. но вот kubectl хранит свои данные для своего apply и диффов в аннотациях в виде json. вроде как "официальный" способ.

да, json без мусорных и системных полей. документация: https://kopf.readthedocs.io/en/latest/continuity/ работа с полями: https://github.com/zalando-incubator/kopf/blob/master/kopf/structs/lastseen.py

Ок благодарю

вообще, я не знаю, как правильнее: логично бы последнее состояние хранить в status где-нибудь чтоб не замусоривать сам объект. но вот kubectl хранит свои данные для своего apply и диффов в аннотациях в виде json. вроде как "официальный" способ.

дать возможность выбирать это поле разработчикам? ;)

дать возможность выбирать это поле разработчикам? ;)

Ну если last-applied то лучше в аннотациях, как вы уже заметили так любой тул по умолчанию делает: будь то kubectl, ksonnet, qbec, хельм вроде тоже

дать возможность выбирать это поле разработчикам? ;)

да. видимо, так. но до конфигов поведения потом как-нибудь доберусь.

Ребят, есть проблемка при RollingUpdate, специфичная для нашего юзкейса. Используем nginx ingress controller. Есть replicaset из N подов, на которые балансится http трафик через nginx. Клиенты — websocket. Когда выкатываем новую версию деплоймента, некоторые клиенты переподключаются аж 3-4 раза, что для нас очень критично. То есть куб удаляет под, websocket-клиент, который был подключен к этому поду, переподключается еще раз, но не факт что к новому поду, а к старому, который куб также прибивает и клиент рано или поздно подключается к новому поду

Есть ли способы это обойти?

Есть ли способы это обойти?

через ci делать b/g релиз с переключением сервиса на другие селекторы?

canary?

blue/green?

если честно, никогда это не делал. в gitlab изи делается?

через ci делать b/g релиз с переключением сервиса на другие селекторы?

в тоже время хотелось бы сохранить всю фишку rolling upgrade — добавляем один-два пода, удаляем столько же

а не добавили 50 подов, на которые нам кластера не хватит

а потом только удалили 50 старых)

в тоже время хотелось бы сохранить всю фишку rolling upgrade — добавляем один-два пода, удаляем столько же

Деплойте новую версию в новый сервис с новым хостом или префиксом ингреса, в вебсокет протокол добавить сообщение "мы закрываемся идите воон туда за обслуживанием" и постепенно переливайте трафик между версиями

Пока переливается, скейлим ап новую версию, скейлим вниз старую. Можно весёлый оператор написать и убить пару недель