No1
Надо ехать?
Daniil
Привет, хочу задать несколько вопросов тем кто рпзовачивал k8s кластер на своём железе Как выглядит ваша архитектура k8s кластера? Как обеспечивается отказоустойчиаость? Сколько etcd нод? Отдельная установка или в виде подов? Почему остановись на таком варианте? Сколько мастер нод? Какие узкие места класиера? Как выглядит маштабирование кластера? Что машташтабируется сложнее всего? С какими сложностями столкнулись при маштабирование кластера?
Daniil
В каком месте?
Denis
звучит как "сделайте за меня"
Аналогичное было ощущение) Всегда забавляло это
Daniil
Вопрос на какой архитектуре кластера остановился реальный проект. Как обеспечивается ha, маштабирование в реальности и про подводные камни
Denis
В каком месте?
Вам наверное на СЛЕРМ нужно записаться, а не сюда писать
Daniil
Одна на openshift вторая на доку
Daniil
Ни в одной нет реального опыта
Виктор
поцоны, в хелме post-install хуки когда исполняются?
Виктор
когда все ямлы применились или когда все поднялось?
Dmitrii
на мастерах не в докере.
Виктор
и еще вопрос там есть вес хука, скажем есть джобы, -5, -6 первую он начнет исполнять когда вторая будет complete?
Daniil
на мастерах не в докере.
При росте на нагрузки на кластер сталкивались с узким местом?
Dmitrii
Нет. Смысл опроса вообще, если архитектура кластера зависит только от ваших нужд и того что вы будете с ним делать?
Denis
При росте на нагрузки на кластер сталкивались с узким местом?
Диски для etcd критичны очень. Нужны очень быстрые диски и рекомендуемые системные требования в доке по k8s. Проблем не разу не встречал, когда все эти условия выполнены.
Daniil
Диски для etcd критичны очень. Нужны очень быстрые диски и рекомендуемые системные требования в доке по k8s. Проблем не разу не встречал, когда все эти условия выполнены.
Я правильно понимаю что просто при работе кластер активно использует ercd? Даже если я не меняю состояние кластера?
Mikhail
3x master. etcd на них же в подах. за vrrp. 2x infra. ingress/registry. за vrrp все требования из док шифта выполнены. таких кластеров несколько. проблемы обычно в ресурсах compute узлов. запрещаем overcommit по памяти. в разумных пределах разрешаем по cpu. хранилища нет, некоторые сервисы используют ephemeral - его надо ограничивать, но не делали. заявляем что не даем диск(но его все равно используют).
Denis
Я правильно понимаю что просто при работе кластер активно использует ercd? Даже если я не меняю состояние кластера?
За такими вопросами в документацию и учебными материалами, которых в тырнете валом. Etcd это основная база данных, в которой образно говоря хранится состояние кластера
Mikhail
Спасибо!
https://docs.okd.io/3.11/install/prerequisites.html
Mikhail
сеть на calico. без ip in ip. с политиками
Валентин
Я знаю зачем нужен etcd, но я не знаю как растёт профиль нагрузки при реальной эксплуатации кластера.
так в разных кластерах по-разному растет. В etcd куба ж может писать и че-то еще, что ты сам в свой кластер поставишь.
Mikhail
Спасибо!
prometheus вынесен из кластеров. полностью внешнии. встроенные метрики очень сильно ограничены по ресурсам.
Отделение Bereke Bank
Привет, хочу задать несколько вопросов тем кто рпзовачивал k8s кластер на своём железе Как выглядит ваша архитектура k8s кластера? Как обеспечивается отказоустойчиаость? Сколько etcd нод? Отдельная установка или в виде подов? Почему остановись на таком варианте? Сколько мастер нод? Какие узкие места класиера? Как выглядит маштабирование кластера? Что машташтабируется сложнее всего? С какими сложностями столкнулись при маштабирование кластера?
3 мастера (etcd там же, не в контейнерах) Перед мастерами 2 TCP балансировщика. Kubelet-ы воркеров подключаются к ним Масштабирование - добавил ноду в инвентори и запустил плейбук (свой на основе hard way) Ни разу не масштабировал мастера и etcd. И думаю тут будет сложность, поскольку IP и FQDN вшит в сертификаты etcd и kubeapi.
Отделение Bereke Bank
А по работе мастеров наблюдается перспектива того что может потребоваться их маштабирование?
нет, там 4 CPU и 8 Gb. нагрузка на CPU нулевая, оперативы кушает процентов 30-40. Это в кластере с ~800 подов и 23 воркер нодами
Lucky SB
Mikhail
Я правильно понимаю что k8s на своём железе честно готов в большой прод?
команда 4 человека. okd 3.11 кластера суммарно на 2000 cpu, 7TB ram. отказов "из-за k8s" не было. были из-за провайдеров для vm. сетей. проблем с кодом приложений/настроек healthcheck.
Валентин
Я правильно понимаю что k8s на своём железе честно готов в большой прод?
Вопрос в том, готов ли ты к кубу в проде? Т.е. надо понимать, как диагностировать проблемы, как мониторинг настроить... Это всё надо выяснить ДО запуска на прод, иначе потом будет больно
Mikhail
Благодарю, 4 человека команда оьсудиващая k8s или весь проект?
k8s. кластера и помощь по ci/cd инструментам. подсказки разработчикам.
Dmitry
​​Почему девочкам – розовое, а мальчикам – голубое? Наверняка многие родители совершенно не задумывались, почему мальчика забирают из роддома в голубом конвертике, а маленькую принцессу гордо несут в розовом. Однако данным стереотипам предшествовали исторические факты. В 1797 году император Павел I издал очередной указ, исходя из которого, каждый великий князь, у которого только что родился ребенок, становится кавалером знаменитого ордена Андрея Первозванного, а вот его любимая великая княжна получает орден Святой Екатерины. Непосредственно после таинства крещения, который проводили при дворе, новорожденных мальчиков сразу же «перепоясывали» голубой Андреевской лентой, а красавиц-дочек — красной лентой Екатерининского ордена.
Валентин
Готовлюсь, собираю информацию, собираю демостнды, изучаю вопрос переноса текущих практик под k8s/docker
ну вот собери у своих коллег и сам повспоминай, какие проблемы решали в текущем проде за последний год, и представь, че бы ты делал в кубе с аналогичной проблемой.
Sergey
А кубер тут причём?
радфемки теперь и за кубер взялись
Sergey
Валентин
Потому что обычно куб = "более сложная сеть"
Валентин
Коллег это больше 200 человек разработки, огромный отдел сетевиков и больше 15 лет практик. Не насобираешся
ну за 15 лет и не надо, коли так много коллег - так наоборот, каждый вспомнит 1-2 случая быстро, а тебе этого будет выше крыши, чтоб поразбираться
Daniil
Вот именно, это можно до второго пришествия требования разгребать
Daniil
Поэтому я ищу работающие решения от которых можно отталкиваться
Марат
как найдешь сюда скинь, будем на такие запросы скидывать
Валентин
Да причем тут требования? Я ж не про требования. Вот окей, вот тебе навскидку то, что у меня случалось в кубе, а без куба даже и не думал, что так бывает: медленные DNS ответы (по несколько секунд), трафик не доходит, хотя по моей схеме сети у меня в голове - ему там вообще ничего не мешает. Ну а проблем, связанных конкретно с нашим софтом вообще дофига было, но они у каждого - свои
Ivan
Поэтому я ищу работающие решения от которых можно отталкиваться
вы удивитесь, но куб это такой занятный конструктор, что у всех по-разному, но почему-то работает
Валентин
Коллег это больше 200 человек разработки, огромный отдел сетевиков и больше 15 лет практик. Не насобираешся
так-то если огромный отдел сетевиков есть - то выбор сети для куба уже становится нескучным занятием :)
Ivan
где-то одно не стреляет, потому что уровни нагрузки не те, где-то не стреляет другое, потому что в функцию X код никогда не заходил
Влад 🇺🇦
Всем привет, где лучше развернуть grafana, в кластере или за кластером?
Валентин
Всем привет, где лучше развернуть grafana, в кластере или за кластером?
prometheus-operator возьми, там всё сразу, и графана, и дашборды
Ivan
так-то если огромный отдел сетевиков есть - то выбор сети для куба уже становится нескучным занятием :)
там возможны крики «они взяли наш любимый БиДжиПи и исковеркали идею!»
Валентин
там возможны крики «они взяли наш любимый БиДжиПи и исковеркали идею!»
Ну, или "нафига че-то куда-то инкапсулировать в локальной сети". Да вообще куча таких вот разрывов шаблонов будет :)
Ivan
а потом «то есть как это или bgp или инкапсуляция» ты чё про два стула нам втираешь, щенопс!?
Влад 🇺🇦
prometheus-operator возьми, там всё сразу, и графана, и дашборды
не вижу что бы он включал в себя графану
Ivan
речь про helm-chart шла
Ivan
в нём графана сабчартом подключается
Валентин
не вижу что бы он включал в себя графану
ну вот https://github.com/coreos/kube-prometheus отсюда начинай
Daniil
Я правило понял что при росте кластера нагрузка на мастера растёт очень слабо и маштабирование мастеров это скорее исключение чем правило Нагрузка на воркер ноды предсказуема и зависит от сервиса развёрнутого в кластер, условно сколько ресурсов потребляли сервисы в легаси в кубе на оверхед не нужно закладывать доп ресурсы Нагрузка на etcd непредсказуемая и выяснить понять её раньше выхода в прод никак?
Отделение Bereke Bank
Я правильно понимаю что k8s на своём железе честно готов в большой прод?
в первую очередь ваши прил-я должны быть готовы к k8s (12 factor app). Сразу отметете всякий геморой с волюмами и с тем, что для деплоя прил-я А прил-е Б должно быть ранее задеплоено в день, когда луна находится в созвездии водолея
Валентин
Ivan
Ну вопрос логичный и правильный.
вопорс действительно логичный, мы просто в такой ироничной форме подошли к мысли, что к нему нужно быть готовым
Отделение Bereke Bank