rambling
тут не круг. просто надо правильно реализовывать комбинации практик, иногда свои вводить
Sn00part
Оба работают, надо выбрать как проще реализовать.
rambling
видимо придётся пробовать оба варианта
сервис мэш есть? он еще может влиять на лейблообразование
rambling
Оба работают, надо выбрать как проще реализовать.
мб не проще а понятнее для человека
Oleh
Привет, есть здесь люди использующие rabbitmq внутри k8s?
Марат
есть
Oleh
есть
через ClusterIP? Нет проблемы с тем что ребит то скидывает то наоборот не закрывает конекты для клиентов без хартбита?
Марат
чарт stable/rabbitmq, ClusterIP такая проблема есть, как раз боремся
Oleh
значит я не один, это радует, в какую сторону смотрите? у вас iptables 1.8 c --random-fully?
Nariman
Vsem Privet
Nariman
Moqu li ya ispolzovat https://hyperledger-fabric-ca.readthedocs.io/
Nariman
Kak korparativnii CA ?
Dmitrii
Vault чем-то не подходит?
Nariman
Ili je pls posovetuyte "corporate CA" kotorii xorosho jivet vnutri Kuber-a !! + est helm chart !!!
Nariman
Vault чем-то не подходит?
Ya daje pro neqo ne sliwal !!! Sovetuyete ?
Nariman
Eto polnotsenii "corporate CA" ?
Oleh
пока тесты по причинам нет
сейчас попробую завернуть через metallb l2 посмотрим как будет в такой конфигурации
Dmitrii
Eto polnotsenii "corporate CA" ?
Не знаю какие у вас требования, но можете изучать https://learn.hashicorp.com/vault/secrets-management/sm-pki-engine
Maxim
А werf пробовали ведь уже?
нет, не пробовал. только читал о нем. так и не понял в каком месте werf реализует концепцию GitOps. с таким же успехом можно helm3 с дженкинса запускать. или я что-то упускаю?
Oleh
а какой сетап рэббита?
stable/rabbitmq на 3 пода с ha2 политикой
Марат
stable/rabbitmq на 3 пода с ha2 политикой
вот то же самое... может он кривой))
Oleh
вот то же самое... может он кривой))
тут дело не в чарте, проблема на уровне сети
G72K
Про skaffold писали недавно на русском: https://habr.com/ru/company/flant/blog/474692/ А в начале месяца у них как раз первый GA-релиз случился.
Это ж надо все микросервисы разом описывать. В реальной жизни у них есть зависимости, который хочется просто взять и использовать, при этом брать их надо разные в зависимости от того куда деплоим
Saiton
Подскажите, кто как мониторит pvc?
Марат
тут дело не в чарте, проблема на уровне сети
получилось с metallb? у меня проверять сложно, кейс "медленный", дней пять может нормально работать и потом отвалиться
Konstantine
Никому не приходилось кластер переконфигурировать? Возникла необходимость переместить мастера на другие сервера, вот думаю, как это правильно сделать, не разбирая кластер. И ещё - ингрессы на мастерах нормально живут?
Solyar
У меня были проблемы с лайвнесс пробами а потом я посмотрел на аптайм нод
Konstantine
Просто лобавляете новые,удаляет старые. Не забыть etcdctl remove member
Ок, спасибо. Соответственно, если хочу из старых мастеров сделать ноды - то проще добавить их потом как ноды, после удаления, так?
Konstantine
да
Понял, спасибо.
Max
Кто-нибудь пользуется cpu-manager в kubernetes? Он у меня прибивает под с QoS guaranteed и cpu limit 1 к одному ядру/потоку, но почему-то дает шедулится другим процессам на то же самое ядро/поток, тем самым ухудшая производительность приложения
Max
Подскажите плиз куда копать
Vadim
народ можно както права ограничить какой-то сущность чуть выше неймспейса, чтобы команды могли создавать неймспейсы, но на другие не имели права
David
нет, не пробовал. только читал о нем. так и не понял в каком месте werf реализует концепцию GitOps. с таким же успехом можно helm3 с дженкинса запускать. или я что-то упускаю?
Основная идея и основной смысл GitOps, как мы это понимаем, это то что git является signgle source of truth. То есть в git у нас лежит вся-вся информация: код приложения, все зависимости, информация как собирать контейнеры, информация как деплоить в кубернетес и пр. И дальше у нас есть “нечто”, которое делает так, чтобы реальность изменялась в соответствии с изменениями в git. Мы считаем, что этот подход может быть реализован НЕ только установкой “некоторого оператора” в кубернетис, который будет следить за гитом, но и с помощью консольной тулы, которую можно дергать из любого CI. Более того, с нашей точки зрения подход с CLI тулой НЕ накладывает лишние ограничения – мы можем делать CI любым инструментом и с любым количеством нюансов, дергая CLI тулу, которая “синкает git с реальностью” (с кубом). Что касается helm – нет, werf делает гораздо больше: 1. werf собирает образы (с помощью docker или своим сборщиком, с расширенными возможностями) 2. werf тэгирует образы так, чтобы они были связаны с коммитами в git (там разные стратегии, много деталей) 3. werf “просовывает” информацию о собранных образах в helm 4. в werf используется дополненная версия helm, в которой решины вопросы ожидания (https://github.com/flant/kubedog), 3 way mege (https://werf.io/documentation/reference/deploy_process/experimental_three_way_merge.html), вывода логов и многого другого (https://werf.io/documentation/reference/deploy_process/deploy_into_kubernetes.html) Кроме этого, там много “дополнительных” штук, типа механизма очистки образов в registry, удобной интеграции с CI (пока только с gitlab, но скоро будут другие) и пр. И да, КОНЕЧНО ВСЕ ЭТО МОЖНО СДЕЛАТЬ НА СКРИПТАХ, вопрос в том, что в werf уже решена куча вопросов out of the box! Подробное видео с кучей подробностей: https://www.youtube.com/watch?v=cK3ackGUTLw .
Vadim
чуть выше неймспейса -кластер
ага, вот жаль между ними еще ничего нет, типо группа с неймспейсами
Oleh
Просто лобавляете новые,удаляет старые. Не забыть etcdctl remove member
и балансирощик, так как в случае с локальным балансировщиком который идет в комплекте kubespray прийдется пройтись по всем воркер нодам
George
Основная идея и основной смысл GitOps, как мы это понимаем, это то что git является signgle source of truth. То есть в git у нас лежит вся-вся информация: код приложения, все зависимости, информация как собирать контейнеры, информация как деплоить в кубернетес и пр. И дальше у нас есть “нечто”, которое делает так, чтобы реальность изменялась в соответствии с изменениями в git. Мы считаем, что этот подход может быть реализован НЕ только установкой “некоторого оператора” в кубернетис, который будет следить за гитом, но и с помощью консольной тулы, которую можно дергать из любого CI. Более того, с нашей точки зрения подход с CLI тулой НЕ накладывает лишние ограничения – мы можем делать CI любым инструментом и с любым количеством нюансов, дергая CLI тулу, которая “синкает git с реальностью” (с кубом). Что касается helm – нет, werf делает гораздо больше: 1. werf собирает образы (с помощью docker или своим сборщиком, с расширенными возможностями) 2. werf тэгирует образы так, чтобы они были связаны с коммитами в git (там разные стратегии, много деталей) 3. werf “просовывает” информацию о собранных образах в helm 4. в werf используется дополненная версия helm, в которой решины вопросы ожидания (https://github.com/flant/kubedog), 3 way mege (https://werf.io/documentation/reference/deploy_process/experimental_three_way_merge.html), вывода логов и многого другого (https://werf.io/documentation/reference/deploy_process/deploy_into_kubernetes.html) Кроме этого, там много “дополнительных” штук, типа механизма очистки образов в registry, удобной интеграции с CI (пока только с gitlab, но скоро будут другие) и пр. И да, КОНЕЧНО ВСЕ ЭТО МОЖНО СДЕЛАТЬ НА СКРИПТАХ, вопрос в том, что в werf уже решена куча вопросов out of the box! Подробное видео с кучей подробностей: https://www.youtube.com/watch?v=cK3ackGUTLw .
Небольшой комментарий. Если это утилита, то нет гарантий, что гит в какой-то момент перестанет быть единым источником правды. Это та вещь, по которой больно прошлись все системы управления конфигурацией. Приходит админ или другая конкурирующая система, вносит изменения и в результате мы имеем гонку. А скрипты - да, все задолбались их уже писать. Каждый раз, как в новый. Факт. Это больно. Неприятно. И потом их ещё нужно отлаживать. И поддерживать
Maxim
Основная идея и основной смысл GitOps, как мы это понимаем, это то что git является signgle source of truth. То есть в git у нас лежит вся-вся информация: код приложения, все зависимости, информация как собирать контейнеры, информация как деплоить в кубернетес и пр. И дальше у нас есть “нечто”, которое делает так, чтобы реальность изменялась в соответствии с изменениями в git. Мы считаем, что этот подход может быть реализован НЕ только установкой “некоторого оператора” в кубернетис, который будет следить за гитом, но и с помощью консольной тулы, которую можно дергать из любого CI. Более того, с нашей точки зрения подход с CLI тулой НЕ накладывает лишние ограничения – мы можем делать CI любым инструментом и с любым количеством нюансов, дергая CLI тулу, которая “синкает git с реальностью” (с кубом). Что касается helm – нет, werf делает гораздо больше: 1. werf собирает образы (с помощью docker или своим сборщиком, с расширенными возможностями) 2. werf тэгирует образы так, чтобы они были связаны с коммитами в git (там разные стратегии, много деталей) 3. werf “просовывает” информацию о собранных образах в helm 4. в werf используется дополненная версия helm, в которой решины вопросы ожидания (https://github.com/flant/kubedog), 3 way mege (https://werf.io/documentation/reference/deploy_process/experimental_three_way_merge.html), вывода логов и многого другого (https://werf.io/documentation/reference/deploy_process/deploy_into_kubernetes.html) Кроме этого, там много “дополнительных” штук, типа механизма очистки образов в registry, удобной интеграции с CI (пока только с gitlab, но скоро будут другие) и пр. И да, КОНЕЧНО ВСЕ ЭТО МОЖНО СДЕЛАТЬ НА СКРИПТАХ, вопрос в том, что в werf уже решена куча вопросов out of the box! Подробное видео с кучей подробностей: https://www.youtube.com/watch?v=cK3ackGUTLw .
спасибо за развернутое описание. звучит все круто и логично. Но есть ряд случаев, когда наличие некоторого кубернетис оператора предпочтительнее, чем вызов cli тулы. Например, при наличии множества сервисов, которые имеют разный подход к CI/разные CI системы/etc и деплоятся в один кубернетис кластер. То есть, я предпочту описать несколько yaml-файлов для центрального оператора, который будет потом пулить последнюю версию манифестов с гита для всех сервисов, согласно этой конфигурации. Но я не готов сказать какой подход действительно лучше, будем на практике проверять. Как по мне, pull-mode выглядит перспективнее чем push.
George
Пулл перспективнее, если у тебя более одного кластера. Пуш замучаешься тогда настраивать
George
Хотя в целом равноценно )
Vadim
можно как то сделать, чтобы лимиты цпу,памяти на поды, на все новые неймспейсы проставлялись
Alex Sharov
народ, а подскажите как в случае динамических нод говорить k8s, что мне нужно поды по возоможности раскидывать на разные ноды?
Alex Sharov
нагуглил про podAntiAffinity & requiredDuringSchedulingIgnoredDuringExecution, но оно странно выглядит
Mikhail [azalio]
народ, а подскажите как в случае динамических нод говорить k8s, что мне нужно поды по возоможности раскидывать на разные ноды?
https://kubernetes.io/docs/reference/kubernetes-api/labels-annotations-taints/#failure-domain-beta-kubernetes-io-region размечайте ноды на зоны и регионы.
Oleh
нагуглил про podAntiAffinity & requiredDuringSchedulingIgnoredDuringExecution, но оно странно выглядит
антиафинити по хосту работает прекрасно spec: affinity: podAntiAffinity: requiredDuringSchedulingIgnoredDuringExecution: - labelSelector: matchExpressions: - key: app operator: In values: - store topologyKey: "kubernetes.io/hostname"
Oleh
только вам нужно preferredDuringSchedulingIgnoredDuringExecution
Nickolay
а оно по-другому пишется емнип
G72K
Основная идея и основной смысл GitOps, как мы это понимаем, это то что git является signgle source of truth. То есть в git у нас лежит вся-вся информация: код приложения, все зависимости, информация как собирать контейнеры, информация как деплоить в кубернетес и пр. И дальше у нас есть “нечто”, которое делает так, чтобы реальность изменялась в соответствии с изменениями в git. Мы считаем, что этот подход может быть реализован НЕ только установкой “некоторого оператора” в кубернетис, который будет следить за гитом, но и с помощью консольной тулы, которую можно дергать из любого CI. Более того, с нашей точки зрения подход с CLI тулой НЕ накладывает лишние ограничения – мы можем делать CI любым инструментом и с любым количеством нюансов, дергая CLI тулу, которая “синкает git с реальностью” (с кубом). Что касается helm – нет, werf делает гораздо больше: 1. werf собирает образы (с помощью docker или своим сборщиком, с расширенными возможностями) 2. werf тэгирует образы так, чтобы они были связаны с коммитами в git (там разные стратегии, много деталей) 3. werf “просовывает” информацию о собранных образах в helm 4. в werf используется дополненная версия helm, в которой решины вопросы ожидания (https://github.com/flant/kubedog), 3 way mege (https://werf.io/documentation/reference/deploy_process/experimental_three_way_merge.html), вывода логов и многого другого (https://werf.io/documentation/reference/deploy_process/deploy_into_kubernetes.html) Кроме этого, там много “дополнительных” штук, типа механизма очистки образов в registry, удобной интеграции с CI (пока только с gitlab, но скоро будут другие) и пр. И да, КОНЕЧНО ВСЕ ЭТО МОЖНО СДЕЛАТЬ НА СКРИПТАХ, вопрос в том, что в werf уже решена куча вопросов out of the box! Подробное видео с кучей подробностей: https://www.youtube.com/watch?v=cK3ackGUTLw .
Как вы чистите регистри, мы написали внутренний чистильщик который кучу деталей учитывает не найдя ничего подходящего на гитхабе
Eduard
Дропаем (:
G72K
Пулл перспективнее, если у тебя более одного кластера. Пуш замучаешься тогда настраивать
Пуш модель вообще не скейлится. Я все системы строю всегда вокруг пулл
Eduard
Раз в 3 месяца всю, перепшиваем имажди из куба
G72K
Раз в 3 месяца всю, перепшиваем имажди из куба
Проблема в том,что не все нужные образы крутятся в кубе, часто есть FROM , который сам по себе нигде не запущен, но используется при сборках
David
спасибо за развернутое описание. звучит все круто и логично. Но есть ряд случаев, когда наличие некоторого кубернетис оператора предпочтительнее, чем вызов cli тулы. Например, при наличии множества сервисов, которые имеют разный подход к CI/разные CI системы/etc и деплоятся в один кубернетис кластер. То есть, я предпочту описать несколько yaml-файлов для центрального оператора, который будет потом пулить последнюю версию манифестов с гита для всех сервисов, согласно этой конфигурации. Но я не готов сказать какой подход действительно лучше, будем на практике проверять. Как по мне, pull-mode выглядит перспективнее чем push.
Мы планируем сделать и pull режим тоже. И еще хочется SSH-интерфейс (heroku like), когда в git добавляешь remote и делаешь push в этот remote. Самое сложное во всем этом это некоторое ядро, которое как раз и делает консистивную синхронизацию между гитом и кубом. Вот это ядро у нас сейчас развито достаточно, чтобы его рекомендовать. А интерфейс пока только CLI, но он же и самый универсальный.
George
Раз в 3 месяца всю, перепшиваем имажди из куба
+ если регулярно пересобирать, то проблемы с pollution и unused images не возникает
David
Как вы чистите регистри, мы написали внутренний чистильщик который кучу деталей учитывает не найдя ничего подходящего на гитхабе
Чистить можно все, что не используется. Значит проще всего ответить на обратный вопрос – что сохранять? И ответ следующий: 1. Сохранять все то, что в head’ах гита (как минимум в последнем комите любого из бранчей, с тегами имеет смысл настраивать срок жизни). 2. Сохранять нужно все то, что сейчас выкачено в кубе (или в кубах) Нужно сканить deployment/replicaset/pod/statefulset/… и находить актуальные релизы. Там же лежат и “последние Н релизов”, что может быть полезно для ролбека. 3. Имеет смысл сохранять все то, что собрано в последние N часов (скажем 24 часа). Могут быть комит-реверт-комит, чтобы быстро собиралось. Вот это и сделали.
David
Подробней в видео https://www.youtube.com/watch?v=cK3ackGUTLw и в доке https://werf.io/documentation/reference/cleaning_process.html .
George
Мне сложно прокомментировать насколько это правильный сценарий, но выглядит как не очень. Объяснять долго, но если кратко - да, в случае какого-то маленького веб-проекта такая очистка будет работать, но в условиях "кровавого" Энтерпрайза - точно нет. Надо обдумать юзкейсы и все прочее. Но меня удивляет другое - никто, подчеркну - никто не озабачивается созданием регистри внутри самого куб кластера. А я вижу в этом перспективу, т.к. именно таким образом мы можем снизить зависимость кластера от внешнего регистри. И там же проводить его наполнение и очистку.
George
Т.е. у нас может быть централизованный репозиторий для артефактов и маленькие в кластерах. Такую реализацию (регистри внутри) я видел только у опеншифта. Выгоды тоже понятны.
Dmitry ☮️
Групповое добавление
Sеmyon
Народ со Слёрма
Dmitry ☮️
Мм
Anonymous
ребята а кто вкурсе что в послденей версии kubesprey c генерацией сертификатов для ETCD накатываю на три ноды etcd /etc/ssl/etcd/openssl.conf [alt_names] DNS.1 = localhost DNS.2 = node1 DNS.3 = node2 DNS.4 = node3 DNS.5 = lb-apiserver.kubernetes.local DNS.6 = etcd.kube-system.svc.cluster.local DNS.7 = etcd.kube-system.svc DNS.8 = etcd.kube-system DNS.9 = etcd IP.1 = 192.168.101.183 IP.2 = 192.168.101.183 IP.3 = 192.168.101.182 IP.4 = 192.168.101.182 IP.5 = 192.168.101.181 IP.6 = 192.168.101.181 IP.7 = 127.0.0.1 /etc/hosts 192.168.101.183 node1.cluster.local node1 192.168.101.182 node2.cluster.local node2 192.168.101.181 node3.cluster.local node3 inventory hosts: node1: ansible_port: 22 ansible_host: 192.168.101.183 ip: 192.168.101.183 access_ip: 192.168.101.183 node2: ansible_port: 22 ansible_host: 192.168.101.182 ip: 192.168.101.182 access_ip: 192.168.101.182 node3: ansible_port: 22 ansible_host: 192.168.101.181 ip: 192.168.101.181 access_ip: 192.168.101.181 children: kube-master: hosts: node1: node2: kube-node: hosts: node1: node2: node3: etcd: hosts: node1: node2: node3: k8s-cluster: children: kube-master: kube-node: calico-rr: hosts: {} по их доке у них заложены 3 тега etcd Configuring etcd cluster etcd-pre-upgrade Upgrading etcd cluster etcd-secrets Configuring etcd certs/keys перепробовал уже все получаю ошибку embed: rejected connection from "192.168.101.181:36768" (error "open /etc/ssl/etcd/ssl/node-node1.pem: no such file or directory", ServerName "")
Anonymous
поправлюсь ошибка embed: rejected connection from "192.168.101.182:44694" (error "remote error: tls: bad certificate", ServerName "")
Tadeusz
а многие пользуют helm-prometheus ?
George
Зачем он нужен, расскажи нам, о, великий ?
Сергей
https://github.com/helm/charts/tree/master/stable/prometheus-operator это не лучше?