сварм не хочу

етцд - это боль, но есть пропоузал по внедрению консула

коммерческая поддержка пока не требовалась

Коммерческая поддержка это как страховка, если что-то пошло не так, а времени в обрез, например ночью что-то не работает и понятно что займет неделю анализ, чтобы было к кому обратиться и в течении оплаченного SLA получить помощь эксперта. Как например от RHEL support.

лучше эти деньги отдать толковому админу. время реакции всяко меньше будет

+1

если займёт неделю анализ, значит вы не готовы к продакшену с этим решением.

> Читал в интернете, что с выходом Docker Swarm mode (который интегрирован в Docker) по функционалу приблизился к kubernetes. Swarm очень хочет считать себя менеджером кластера машин, но является только менеджером кластера dockerd. Когда у него будет менеджмент секретов, service discovery не в формате "укажи адрес консула", решение проблемы постоянного хранилища - тогда можно будет о чем-то говорить, но сохранить эту идею с портированием API управления одним контейнером на весь кластер у них никогда не получится.

ясно

в swarm mode я вообще не нашел способа указать sd хоть какой-нибудь, использует что-то внутри себя и никак не конфигурируется

в swarm mode я вообще не нашел способа указать sd хоть какой-нибудь, использует что-то внутри себя и никак не конфигурируется

там можно указать consul, etcd и еще что-то, зукипер вроде

https://docs.docker.com/swarm/discovery/ я правда так и не понял, он только себя регистрирует, или все контейнеры

в доке, которые ты показал, сверху есть приписка: "Only refer to the Docker Swarm documents below for information on the standalone Swarm product."

в стэндэлон сворме можно, в сворм мод - нет

понял

> я юзаю @pipopolam а ты юзаешь конкретно про микросервисы и все это? можешь вкратце описать свой CI/CD воркфлоу если он не затрагивает NDA? вообще очень интерестен опыт продакшна, оффтоп: употребляешь ли ты по жизни алкоголь, и тянет ли тебя на "поговорить" при распитии? :)

я клоню к тому что предлагаю в питере митап организовать

вопрос "юзаешь ли ты микросервисы" очень непрост для ответа это примерно как HR-ы девопсов ищут - ни один пока не смог сформулировать ответ на вопрос: "что такое девопс?" с микросервисами все как-то так же

@pipopolam ну если бы я отвечал эйчару я бы примерно так же и сказал, но тут-то все свои

если юзаешь - ты знаешь что ты их юзаешь (и готов обсудить попаболь) :)

я готов обсудить волны попаболи

просто спазмы ебаные

в основном касательно запуска всего этого на bare metal

я готов предоставить для этого чистую сухую жилетку :)

у меня нету ни ELB, ни его гуглоаналога, как его там

например

GCE

то есть я беру NGINX, запущенный прямо на железе говорю ему: resolver <kube-dns-addr-here>; и шарашу апстримы с вхостами типа вот так: upstream kube-blog-app { server blog.blog.svc.kubernetes.local:4000; } server { ... server_name blog.amplifr.com; ... location / { ... proxy_pass http://kube-blog-app; } }

вот так у меня выглядит лоад_балансер

но зато, я могу эти балансеры хоть на всех железках разом запустить

и DNS round-robin бабахнуть

балансер-то где?

в облаках

а у меня их нет

да фиг с ним, с фронендом... контент доставляется и ладно

деплоишь-то как

ну вообще у меня там скрипт на руби (щас хейтеры повылезут, смари, у них там оповещение по слову ruby) но в итоге все сводится к: 1. пуш в гитхаб 1.1 квай по хуку начинает билдить образ 2. обновить манифест 3. сделать kubectl apply -f ... как только квай закончить билдить, кубернетес скачает новый образ, запустит поды, прибъет старые

квай?

quay.io

а как ты манифест обновляешь, только image перезаписываешь? у тебя там <image>:<somever> или <image>:latest ?

somever

а предположим у тебя образ не поменялся но поменялся configmap, как ты передеплоишь?

пока что просто под пристрелю

deployment его сам поднимет взад

сразу все или есть скрипт пристреливания по одному? если сразу все пинги отвалятся жеж?

сразу все нельзя, конечно

по очереди

руками?

извиняюсь, отвлекался на работу

да, сейчас руками

а кто-нибудь контейнерные хуки юзал?

я про http://kubernetes.io/docs/user-guide/container-environment/#hook-details

етцд - это боль, но есть пропоузал по внедрению консула

Проводили тестирование консула и етсд?

да там пока только proposal

да там пока только proposal

Если вдруг, хайлайтни меня. Ну и если мы всё же ресёрч проведем, могу поделиться

а так у меня есть большая куча консулов с ними все хорошо а вот етцд я даже забыкапить не могу

а так у меня есть большая куча консулов с ними все хорошо а вот етцд я даже забыкапить не могу

Насколько хайлоад?

а в каких единицах это меряется?..

в рпсах обычно. И в ГБ

это как "насколько вы девопс", не?

Ну есть разница между 10 рпс и 10к рпс. Между 9 инстансов и 99.

Если у тебя консул на один полрпса и пять инстансов, то положительный отзыв ни о чем не говорит. Негативный - возможно, но положительный - нет. Может, ты просто не нашёл, чем его сломать?)

сколько там рпс конкретно на консул приходит, я не знаю как-то не было нужды посчитать а так - есть кластер из тридцати железок в селектеле и много маленьких инсталляций по два-четыре хоста

сколько там рпс конкретно на консул приходит, я не знаю как-то не было нужды посчитать а так - есть кластер из тридцати железок в селектеле и много маленьких инсталляций по два-четыре хоста

Длина ключа какая в среднем?

в консуле дискаверинг всех сервисов, немного темплейтинга, к нему ходит прометей и несколько сервисов держат там K/V

ERROR: S client not available

ясно. А etcd на это не работает? Или единственная пробелма - бэкап?

а зачем?

а зачем?

Я не о том, чтобы поменять консул на етсд. Я о том, что какие проблемы с етсд на твоей текущей нагрузке. Чем он тебя не устравиает, кроме как странными бэкапами, которые не работают

Иными словами, на что обратить внимание при тестировании.

во-первых в етцд очень люто с отношениями мембер/прокси и если добавлять проксей вроде просто, то добавить мембера уже более заморочно а на вопрос "как запромоутить прокси до мембера?" кореосовцы открыто косплеят джобса: "ты не должен этого хотеть"

Они ж должны релизы выпускать, это будет киллерфича etcdv6

сейчас пока в3

долго ждать до в6

<шутка-про-golang-2.0>

ооооо

ты смотри-ка

@i_cant_use_4_symbol_nick https://github.com/kubernetes/kubernetes/pull/31622

давно уже)

11 дней

я уже месяц где-то не интересовался

тогда только пропоузал был

ну, я такой ишью находил давно, с полгода, наверное. Окей, а что во-вторых?

а, не, это я просто растекся тут

работа отвлекает просто

короче, я не любил хашикорп за то, что у них все тулзы слишком конкретно заточены под что-то одно (ну там терраформ бесполезен в bare metal среде, etc)

и поэтому, когда пришло время прометея и прочих модных штук, то вопрос дискавери я начал решать через жопу^W етцд

и когда у меня в один прекрасный день остался кластер из одних прокси (мемберы потихоньку вымерли), я плюнул и взялся за консул

и ни разу не пожалел

кубе2консул закрылись :(

https://github.com/kubernetes/kubernetes/pull/26310

в каждый issue/pr про консул приходит xiang90 (один из авторов etcd) и говорит: "я не разбираюсь в этом вашем консуле, но он говно, а етцд клеви. проходите, не задерживайтесь"

зато вот прекрасное: https://github.com/kubernetes/kubernetes/pull/24455

при том что бэкенд еще не готов

но зато ключи для командной строки уже вмержили

даже без комментария про то, что они ведут к неработоспособному аписерверу

зато xiang90 всех на уши поднял и заставил принять