Ну только у kubeadm cli-интерфейс стал beta (в отдельности от всего остального!) и появился kargo

должен напомнить, что куб - это вообще не сервис. Это клей, интегратор самых разных штук в единое рабочее решение. Разные типы контейнеров (это пока в альфе из-за crio). Разные типы оверлейной сети (weave, calico), разные типы балансировщиков, разые типы томов. каждый собирает велосипед таким, какой он им нужен

из-за этого разобраться в клубке – непросто, постоянно нужно думать о том, где кончается сфера ответственности куба и начинается сфера ответственности чего-то другого. тот же калико живет и здравствует сам по себе

Да я понимаю. Но велосипед должен собираться и ехать. А когда много разных людей собирают один и тот же велосипед - все вообще должно идеально собираться

из-за этого разобраться в клубке – непросто, постоянно нужно думать о том, где кончается сфера ответственности куба и начинается сфера ответственности чего-то другого. тот же калико живет и здравствует сам по себе

В том то и дело. Гугл развивает k8s в рамках своего облачного сервиса

А на остальных ему параллельно: отдали в opensource и пусть возятся

В том то и дело. Гугл развивает k8s в рамках своего облачного сервиса

нет. Это порт гугловского внутреннего сервиса borg

нет. Это порт гугловского внутреннего сервиса borg

Я сейчас про GCE

Или я что-то путаю и у них нет hosted-версии k8s (не верю)?

Да я понимаю. Но велосипед должен собираться и ехать. А когда много разных людей собирают один и тот же велосипед - все вообще должно идеально собираться

это opensource. тут никто никому ничего не должен. Мир опенсорца живет на энтузиастах. Кстати, я бы не назвал swarm прекрасным (даже если оставить за рамками цену). А остальные оркестраторы – еще хуже

это opensource. тут никто никому ничего не должен. Мир опенсорца живет на энтузиастах. Кстати, я бы не назвал swarm прекрасным (даже если оставить за рамками цену). А остальные оркестраторы – еще хуже

Вы давно его видели?

Вы давно его видели?

в начале этого года.

Его буквально за последние полгода допилили до очень хорошего состояния

Его буквально за последние полгода допилили до очень хорошего состояния

верится с трудом, если честно. Особенно на фоне проблем с самим докером

Ну а почему нет? Что вам в нем не нравилось?

compose-файлы теперь умеют всю функциональность

Фич хватает, работает из коробки, довольно интуитивно

Ну а почему нет? Что вам в нем не нравилось?

неработоспособность (критические баги) и цена. Я предпочел работать с кубом. Если вы планируете рассказать кубоводам, что куб - плохой и надо переходить на swarm - боюсь, у вас будет мало шансов

Да у меня нет цели кому-то что-то доказать. Работает - и ладно

неработоспособность (критические баги) и цена. Я предпочел работать с кубом. Если вы планируете рассказать кубоводам, что куб - плохой и надо переходить на swarm - боюсь, у вас будет мало шансов

я бы послушал, с упором на "swarm хороший"

Может начнем со "swarm плохой"?

Я бы тоже послушал, чем сейчас swarm хорош и что умеет

Лично меня в нем радует как минимум наличие довольно полной вменяемой доки

мне нравится система объектов в Kube, swarm так умеет? Такие штуки как prometheus-operator, etcd-operator там возможны? нэймспейсы есть? RBAC?

вот только сегодня задачка: надо по щелчку из выбранных подов начать зеркалить трафик, и по щелчку прекращать. Такое в swarm как-нибудь организовать можно?

Ты бы еще рассказал, как это сделать в k8s

вот только сегодня задачка: надо по щелчку из выбранных подов начать зеркалить трафик, и по щелчку прекращать. Такое в swarm как-нибудь организовать можно?

Ну есть типичный ingress - выставить наружу порт определенного сервиса на всех нодах

Если по шелчку прекращать - то reverse proxy в помощь

Неймспейсы есть, зовутся stack'ами

С авторизацией, насколько я понимаю, не все гладко, но наткнулся вот на https://docs.docker.com/engine/extend/plugins_authorization/

вот только сегодня задачка: надо по щелчку из выбранных подов начать зеркалить трафик, и по щелчку прекращать. Такое в swarm как-нибудь организовать можно?

Или зеркалить в смысле сливать на сторону? Но тоже без разницы, через proxy

Ты бы еще рассказал, как это сделать в k8s

ну придумали так, не реализовали пока, может какие-нибудь подводные камни есть, но план такой: в каждом поде есть контейнер, который смотрит на label пода (самого себя), появилась label -> запускаем что-то там (забыл название) на pcap, оно начинает лить. убрался label -> убиваем. в итоге разработчики, если хотят получить трафик с конкретнго пода, просто ему метку присваивают

ну придумали так, не реализовали пока, может какие-нибудь подводные камни есть, но план такой: в каждом поде есть контейнер, который смотрит на label пода (самого себя), появилась label -> запускаем что-то там (забыл название) на pcap, оно начинает лить. убрался label -> убиваем. в итоге разработчики, если хотят получить трафик с конкретнго пода, просто ему метку присваивают

А. Это типа про несколько рядом бегущих контейнеров в поде?

Sidecar'ы, кажется?

Хотя в общем случае можно то же самое заимплементить и со свармом: брать ip нужного контейнера, деплоить перехватчик трафика на нужные ноды и писать что хочется

API есть и там и там

Да, возможно у k8s больше готовых решений. Ну точнее сказать полуготовых, в alpha-alpha-not-for-production

В общем хз. Просто у меня пригорело. Концептуально к самому k8s у меня претензий никаких. Но с точки зрения заботливо разложенных граблей...

ОК, ну давай менее экзотическое что-нибудь. скажем безопасное обновление кластера. в kube есть PodDistruptionBudget, и если твой деплой кластера делает kubectl node drain (как у нас kube-aws скажем), то оно завершится успехом только если поды на ноде могут быть прибиты, не привышая заранее заданное количество. В итоге некоторые ноды уходять на перезагрузку, а некоторые в цикле крутят kubectl node drain, пока оно не завершится успехом, что случится, когда ноды перезагрузятся и подбирут прибитые поды (если за это время им некуда было пойти скажем)

как итог - можно перезагрузить весб кластер без даунтайма приложений, даже если они stateful

Ну согласен, ладно. У сварма такого нет (пока?). Он еще слишком молод

Аналог node drain есть, но не PodDistruptionBudget

куб может быть не сильно user friendly, но в нем какие-то мелочи продуманы часто, которые на игрушечных задачах не всплывут

читаешь github issues и диву даешься, какие тонкие материи обсуждают (и решают)

куб может быть не сильно user friendly, но в нем какие-то мелочи продуманы часто, которые на игрушечных задачах не всплывут

С user friendly как раз проблем никаких. А вот admin friendly - это да

В общем ладно. Собственно для меня самая большая боль была - это сеть. Жить придется в public cloud'е и без ipsec никак

Получается кроме weave альтернатив нет?

Кто-нибудь его использует? Как он?

Судя по отзывам в интернете (да и по собственным экспериментам) он любит жрать CPU и существенно снижать bandwidth

Притом я его тестил даже без шифрования

Но у меня он почему-то не смог использовать fastdp

Судя по логам. Как понять причину - непонятно. В документацией швах: там написано, что weave и без наших рук слишком умный и сам решит, когда и что использовать

Народ, а если я половины слов не знаю - это норм, или начать комплексовать? )

Народ, а если я половины слов не знаю - это норм, или начать комплексовать? )

Да я блин скоро на латыни заговорю с этим дурдомом

Народ, а если я половины слов не знаю - это норм, или начать комплексовать? )

https://pp.userapi.com/c841221/v841221756/23d5/kzyXB7fLxKY.jpg

мда, сначала подумал что в тему будет, ну ладно теперь уж

кто-нить разворачивал zookeeper на kubernetes?

я могу как-то уложиться в одного агента с 1 ядерным процессором и 2гб ram? 😢

а то как-то не хочется платить по 10к+ в месяц за то что играюсь с кластерами

vscale.io

ничеси, почему там дешевле чем на azure?

ничеси, почему там дешевле чем на azure?

есть еще https://simplecloud.ru но они периодически в ауте бывают

и говорят скорость на ядро нищенская. зато бюджетно

ничеси, почему там дешевле чем на azure?

Посмотрите ещё на scaleway.com

За саппорт не ручаюсь, продом бы не рисковал, но в целом работает более чем сносно

а что делать, если helm delete виснет и ничего не делает? 🤔

тогда openshift https://docs.openshift.com/enterprise/3.1/install_config/syncing_groups_with_ldap.html

вообще я думаю раздачу токенов устроить, если надо авторизовать конечных юзеров

https://pp.userapi.com/c841221/v841221756/23d5/kzyXB7fLxKY.jpg

настраивал кто jenkins? создал ingress с доменом, теперь думаю как пробросить порт для jnlp slave: - через ingress: эта штука норм работает? https://github.com/kubernetes/ingress/blob/master/examples/tcp/nginx/README.md - создать еще один сервис с type=LoadBalancer и указать там порт кто как сделал?

@

настраивал кто jenkins? создал ingress с доменом, теперь думаю как пробросить порт для jnlp slave: - через ingress: эта штука норм работает? https://github.com/kubernetes/ingress/blob/master/examples/tcp/nginx/README.md - создать еще один сервис с type=LoadBalancer и указать там порт кто как сделал?

в чем проблема то?

@vkfont Да, настраивал. Все работает

jnlp коннектится к мастеру по http. nginx отлично с proxypass справляется

ну.. по-крайней мере мы воркеры динамически поднимаем как поды

По первому варианту?

ну.. по-крайней мере мы воркеры динамически поднимаем как поды

а как вы secrets определяете? по умолчанию jenkins генерирует token'ы для каждой новой ноды

@kay_rus не понимаю тебя. Какие secrets? Для чего?

https://wiki.jenkins-ci.org/display/JENKINS/Kubernetes+Plugin

Вот плагин