Sergey
нет единого "саппорта гугла"
Egor
нет единого "саппорта гугла"
ясно...я просто кинул запрос, но сутки прошло и тишина. даже на почту не пришло отписки типа: чувак твое обращение номер такой-то
Sergey
ясно...я просто кинул запрос, но сутки прошло и тишина. даже на почту не пришло отписки типа: чувак твое обращение номер такой-то
так в том и речь, в зависимости под какой сервис ты тикет писал а так за день обычно мне ответы давали
Egor
так в том и речь, в зависимости под какой сервис ты тикет писал а так за день обычно мне ответы давали
ясно, да просто у меня почтовик в черный список попал. временно как я понял. но это временно уже третьи сутки...поменял ип адрес, НО все равно уже по домену.
Sergey
а есть линк. где можно спросить?
вопросы не связанные с кубом, в чаты где нет узкой направленности на куб?
Евгений
У гугла самый "лучший" саппорт в мире
Я удивился, когда узнал, что он вообще есть
Евгений
А, не прочитал изначальный пост. На саппорт можно надеяться только в клауде и немного в андроид маркете, почта, поиск и т.д. -- там всё тщетно
G72K
Бареметал не автоскейлится, сколько на него прайвет-клауд не ставь
Виртуалки это хорошо. Скажем если железка жирная, лучше ее нарезать на виртуалки и добавить как несколько нод, чтобы подов на каждом кублете и докере меньше было
Евгений
Сколько их? 10 тысяч?
G72K
У тебя докер прогибается от количества контейнеров?
Софт не идеален, что-то где то всегда искрит, лучше подвесить из-за бага в ядре/докере/кублете 10 контейнеров чем 100 .
Vadim
если привязываться к конкретным цифрам, то скорее "лучше 100 контейнеров чем 200" - и тогда уже речь идет о том чтобы ставить побольше менее жирных воркеров
Евгений
Зато ты ещё баги qemu/kvm огребаешь (это если менеджишь виртуалки руками). В худшем случае у тебя огромный бажный опенстек
Sergey
Товарищи, а кто как подходит к организации резервного кластера куба? (интересует не железная составляющая) поддержка актуального состояния задеплоеных приложух, работа кронов и т д
𝚔𝚟𝚊𝚙𝚜
если привязываться к конкретным цифрам, то скорее "лучше 100 контейнеров чем 200" - и тогда уже речь идет о том чтобы ставить побольше менее жирных воркеров
Вот дельный совет, жирные ноды вообще в концепцию куба не оч вписываются. Нужно больше маленьких, в идеале вообще блейдов.
Nikita
Зато когда у тебя одна система на все контейнеры, будет дикая конкуренция за syscalls, ядро отожрет приличную часть CPU и все контейнеры начнут нехило тормозить
Etki
подходите, последний сисколл остался, открытый аукцион
G72K
>конкуренция за syscalls Что?
Ну когда в ядре глобальные локи берутся. Если ядер много, то локов больше можно взять. За последний десяток лет много локов распилили на более мелкие, но намерить общее ускорение от работы на нескольких ядрах мне кажется можно если постараться
Andrey
Просто я с perf record регулярно хожу по нодам, но не смог чего-то опасного, кроме THP углядеть. Возможно, я просто не занимаюсь High performance computing'ом и не замечаю таких деталей.
Andrey
Ах да, вот ещё минус множества виртуалок. Все планировщики (особенно CFS) на гипервизоре - они не workload aware становятся.
Andrey
А с контейнерами мы это поточнее можем сделать.
Евгений
Мне кажется, что это очень умозрительное заключение, что с виртуалками отказоустойчивее и быстрее. Никто в действительности не мерял, а на каждый аргумент есть контраргумент
Nikita
>конкуренция за syscalls Что?
https://sysdig.com/blog/container-isolation-gone-wrong/
G72K
С множеством виртуалок гипервизор ещё ресурсы жрать будет, да и глобал-локи в хост-ядре никто не отменял
У корабля вес тоже увеличивается от перегородок, но ведь ставят же чтобы от одной дырки все судно ко дну не пошло :)
Andrey
https://sysdig.com/blog/container-isolation-gone-wrong/
Спасибо! >The presented use case could be easily considered “kernel abuse” and it’s not common at all Вот поэтому я и не сталкивался с этим. Очень синтетический кейс, но проблему подчёркивает хорошо.
Andrey
ИМХО, обуять мониторингом и трейсингом всё — лучше, чем сходу мигрировать на виртуалки, опасаясь странностей в ядре. Scale-out, horizontal scaling, commodity hardware. Все дела...
G72K
Не знаю, мне спокойнее и обновлять и эксперементировать наживую . Ноду можно закардонить, проверить новый сборщик логов, обновить компоненты и погонять пару дней перед раскаткой на остальной кластер. Моя жизнь точно бы усложнилась если бы мой кластер был 3 жирные ноде, а не 12 помельче
Andrey
И нужен ли нам так сильно live migration и прочие вкусности, ибо Куб сильно упростил это.
G72K
Это да. Но что лучше, 12 дешёвых железных нод или 3 ноды железных с 12 виртуалками?
Конечно 12 железных нод :) но кто их даст. Дают монстров
Andrey
Конечно 12 железных нод :) но кто их даст. Дают монстров
Мы клиентам как раз диктуем дешёвые железные (или VM'ки небольшие в облаках). И получается, вроде, лучше.
Евгений
Надеюсь не опенстек ради 12 виртуалок
Vadim
если грамотно подпиливать из KVM можно больше выжать
G72K
А чем ты qemu менеджишь?
Я не менеджу. Все VMware делает и проблем не видел :)
Евгений
меряли уже кучу раз, что докер что KVM могут ~200 виртуалок\контейнеров создать
Я подозреваю, что 200 виртуалок это от 50% стила и выше
Alexey
Господа, подскажите, есть какое-то рациональное объяснение ограничению по умолчанию в 110 подов на ноду?
Andor
historical reasons
Lucky SB
"тут так принято"
Andor
по факту сейчас можно делать и больше, но есть особенности
Валентин
Мы клиентам как раз диктуем дешёвые железные (или VM'ки небольшие в облаках). И получается, вроде, лучше.
Чисто логически толстый сервер дешевле кучки тонких (если тонкие - со своими корпусами и т.д., а не блейды). Откуда выгода?
Alexey
по факту сейчас можно делать и больше, но есть особенности
Какие? при max-pods > 254 упрусь в нехватку адресов для подов, вероятно?
Andrey
Какие? при max-pods > 254 упрусь в нехватку адресов для подов, вероятно?
Можно выделять другую маску на ноду. Флаг в controller-manager.
Andor
Какие? при max-pods > 254 упрусь в нехватку адресов для подов, вероятно?
если у тебя /24 на хост, то да, но есть и другие особенности у фланта на хабре была статья про баги и особенности кубеней
Lucky SB
Какие? при max-pods > 254 упрусь в нехватку адресов для подов, вероятно?
от CNI зависит. калика автоматом еще одну сеть выделит
Andor
недавняя статья
Andrey
Чисто логически толстый сервер дешевле кучки тонких (если тонкие - со своими корпусами и т.д., а не блейды). Откуда выгода?
Потому что есть ещё операционные затраты. И размещать куб сразу, чем городить VM абстракцию во многих наших кейсах получается проще.
Alexey
недавняя статья
поищу, спасибо
Lucky SB
у меня докер загнулся, когда на машине образовалось 4000 НЕЗАПУЩЕННЫХ контейнеров. cron-jobы раз в минуту - с сохранением всех ранее запущенных подов.
Etki
Девопсы ахнули! Докер ЗАГНУЛСЯ, когда на машине ОБРАЗОВАЛОСЬ 4000...
Валентин
Потому что есть ещё операционные затраты. И размещать куб сразу, чем городить VM абстракцию во многих наших кейсах получается проще.
Так уменьшение таких затрат основная фишка аутсорса же, нет? 1 раз скрипты написали - многим клиентам продали, выгодно. Тот же rhevm разворачивается ансиблом полностью
Andor
Это та, где в багах был OOM killer?
возможно да или нет
Rainbow
и avito в докладе говорили, что kubelet нестабильно себя ведет на 110+. Им пришлось резать железные сервера на виртуалки.
Rainbow
avito неасилили, понятно
Валентин
Однозначно. Тем и занимаемся. :3
Ну вот и получается: клиент берет жирные 2-4 башковые серверы, вы туда ансиблом выкатываете виртуалки, в них каким-то, какой у вас там наверняка уже наработан, инструментом куб. Для клиента 1 ядро выходит дешевле, чем по вашей текущей схеме "много мелких железных серверов"
Валентин
Scale out! Деньги смешные получаются, отказоустойчивость у 12 маленько-средних серверов при должно настроенных приложениях гораздо выше.
"Должно настроенные приложения" это хорошо, но обычно бизнесу фичи подавай, а на качество кода и должную настройку не находится времени
Валентин
А если приложения тяп-ляп - то падение даже 1 сервера выходит боком
Andrey
"Должно настроенные приложения" это хорошо, но обычно бизнесу фичи подавай, а на качество кода и должную настройку не находится времени
К счастью, stateless, который и пишут клиенты, без проблем ложится без каких-либо глубоких особенностей. А за stateful базы и прочее, — это уже не клиент, экспертизы больше.
𝚔𝚟𝚊𝚙𝚜
Надеюсь не опенстек ради 12 виртуалок
Так речь о том, что 12 нод не нужно на виртуалки нарезать, не?
G72K
ЫНТЫРПРАЙЗ
Если б делал сам, гонял бы виртуалки с http://www.ganeti.org/