Just a baka
Это твой кубернетес мастер?
Отделение Bereke Bank
Девопс по телефону
Andrey
я свой кластер сейчас целиком через argocd разворачиваю. Вначале только kubeadm и bootstrap основных рескурсов с kubectl - а дальше оно всё синкает с гита
Andrey
проблемы есть, за где-то две недели нашёл два бага, один уже поправили
Andrey
секреты вбиваю руками ещё
Andrey
flux тоже смотрел, но отказался по озвученной выше причине: невозможно использовать много реп. Ну и нет поддержки всяких helm и кастомных тулов
Andrey
ну и ui норм у argocd - можно через github авторизоваться
Andrey
а, ещё ему тиллер не нужен
Maxim
ну и ui норм у argocd - можно через github авторизоваться
круто, спасибо за развернутый ответ! будем пробовать внедрять не спеша
Andrey
кстати доклад от тинькова - у меня почти такая же история, я те же варианты перебирал
Grisha
Ребят как у вас реализовано, деливери управляет env vars для приложения или девопс?
NM
А как надо ? :-)
Slach
https://github.com/squat/kilo
Sergei
кластера поверх vpn, то еще говно
Slach
кластера поверх vpn, то еще говно
IMHO, это могут быть разные кластера, а VPN может быть для того чтобы внутрь кластеров пролазить
Slach
хотя глядя на описание проекта можно подумать что kg == am ;))
Just a baka
кластера поверх vpn, то еще говно
а с доп.зависимостью в виде левого модуля ядра, так и говно в квадрате
G72K
Нет, это не так.
Ничего про parent в самом слое нет: https://github.com/opencontainers/image-spec/blob/master/layer.md
David
Ничего про parent в самом слое нет: https://github.com/opencontainers/image-spec/blob/master/layer.md
Окей. В слое нет, в имедже есть. Но слоя, как такогвого, не существует. Существуют только имеджи.
Solyar
Коллеги кто с hyperledger fabric имел дело в K8s ? Может чатик тематический есть?
George
Ищи. Ребята подскажут
George
В общем - это много боли
Solyar
Имел
Мои соболезнования
G72K
Окей. В слое нет, в имедже есть. Но слоя, как такогвого, не существует. Существуют только имеджи.
Имадж это список слоев и их метадат. Это киллер фича "нового" формата докера: при обновлении базового слоя, достаточно пересобирать image manifest заменив один блоб. То что докер скажем инвалидирует все последующие слои это ограничения докера, формат на самом деле позволяет дёшево переиспользовать слои, т.к. они независимы
Solyar
Да в целом ищу способ избавиться от кучи однотипных джоб для установки и инстанцирования чейнкода
Solyar
Может есть мысли какие-нибудь или решали эту проблему уже?
G72K
Ого. Я, видимо, отстал) Спасибо.
Раньше, до 1.6 кажется, каждый слой действительно ссылался на предыдущий, затем они заменили на текущий формата ,где слои просто описывают дельту : добавить эти файлы, убрать вот эти .
G72K
Твоюж... А давно это сделали?
Ну году в 2015 кажется :))
Solyar
Ну и дела
Solyar
То есть де факто я могу тем же kaniko имеджи собирать переиспользуя слои?
G72K
Просто этого не видно в докере, т.к. он инвалидирует все нафиг
G72K
То есть де факто я могу тем же kaniko имеджи собирать переиспользуя слои?
Да, просто аплоадите блобы , аплоадите новый манифест с нужным порядком блобов
G72K
(позволяет ли kaniko так я не знаю)
Solyar
Но сам containerd умеет это с 2015 года
Solyar
Живём и не знаем
Solyar
@distol а в werf вы используете Docker или отказались от него?
G72K
Ребята из докера изобрели язык для вот этого всего, назвали Buildkit , там что то типа байт-кода как я понял . Затем написали транслятор из Dockerfile в этот язык . Если писать сборку не докерыфайлом, а вот прямо этим "байтокодом" там чудеса творить можно кмк
George
Вот, интересную проблему подняли
G72K
Вот команды дизкоуровнего языка buildkit LLB (может и получше ссылка/официальная спека где-то есть) : https://godoc.org/github.com/moby/buildkit/client/llb
G72K
С другой стороны формат образов довольно простой и может можно его чуть ли не руками собирать, кажется buildah / umoci так и делают
Евгений
Не хватает нормального тулчейна распространенного для сборки образов
G72K
А какие чудеса можно творить? Оверлейфс и в Африке оверлейфс. Линейно-упорядоченный набор данных, в котором upper wins
Ну не инвалидировать последующие слои при обновлении базового образа вроде как за чудо считается пока. Или можно упороться и делать по слою на файл (отсортировав для лучшей компрессии) , тогда вообще даже части "классических" слоев переиспользовать можно
Евгений
Не хватает нормального тулчейна распространенного для сборки образов
Часто приходится класть докер-композ только ради docker-compose build
Roman
у меня тут клиент просит ip дать c которых запросы будут приходить и вот не знаю как это зделать. Вроде нашел что нужно externalTrafficPolicy: Local выставить но тогда могут healthcheck'и зафэйлить если нод пустой окажется исправляется вроде этим specify a pod anti-affinity to not locate on the same node. использую digital ocean k8s
Roman
через контейнера по ssh походил на свой сервер
Roman
из под каждого пода показывает что разного ип зашел
Andrey
так, ладно, запросы откуда куда?
Roman
из пода в интернет
Andrey
тогда externalTrafficPolicy и прочее тут вообще ни при чем
Отделение Bereke Bank
из под каждого пода показывает что разного ип зашел
Ну да. Он показывает адрес ноды на которой запущен под
Andrey
у нас в aws для сервисов, которые долбятся куда-то, где подразумевается вайтлист, есть отдельная подсеть с nat gateway
Отделение Bereke Bank
Или адрес через который он натится
Roman
https://github.com/digitalocean/digitalocean-cloud-controller-manager/blob/master/docs/controllers/services/examples/http-with-sticky-sessions.yml вроде вот как это делается
Roman
буду пробывать
Roman
только что под на один нод - как то тут не очень но нету выбора походу
Roman
ну позволяет через тот же ЛБ уйти по тому же ИП,
Отделение Bereke Bank
Эмм нет 🤔
Roman
ну тогда на этом гугление и закончилось
Andrey
ну я за тебя погуглил
Roman
и что нашел?
Andrey
https://github.com/digitalocean/DOKS/issues/9 тебя ждут увлекательные приключения либо с костыленьем nat gw из дроплета и настройкой маршрутизации в худшем случае и при больших масштабах, либо прибитие подов гвоздями к дроплетам, что лишает использование кубеней лютой доли смысла и применимо только при сверхмалых инсталляциях