разумеется

Как? Сейчас, к примеру, 6 нод с нужной меткой и replicaCount == 6. Но если удалить два пода, то они легко меняются местами

Affinity

+ метки НОД. Если не зачто зацепиться

Эм, сейчас они с topologyKey hostname

А можно ткнуть в пример как pod-3 привязать к node-3?

Интересный пример. Домой приеду, поищу рншение

Вот ишью https://github.com/kubernetes/kubernetes/issues/65267 Я надеялся на смекалку нашего брата)

Влоб и не универсально: добавить метку pod-3 на хост node-3 и по не й сделать афинити

Влоб и не универсально: добавить метку pod-3 на хост node-3 и по не й сделать афинити

Это как? Мы же говорим о поде из StatefulSet Мне в голову приходит только кастомный шедулер

Метки у хостов ест?

В афинити говорим что запускаться только на узле у которой есть метка

Есть, и? Да, допустим у нас 6 хостов с метками, nodeSelector натравлен на них и replicaCount == 6. Теперь мы удаляем 2 пода и они перезапускаются, к примеру, 5 на ноде где был 6 и наоборот.

Метки node-1: pod-1, node-2: pod-2. В афинити вы указывает что выборка идёт по метками и там где метка равна имени рода, можно запустить под.

Всем привет. Контейнер ушёл в рестарт и теперь пишет в статусе restarting

Что можно сделать?

Docker restart

Посмотреть логи?

kubectl describe

Чистый докер

Не курьер

Кубер

Метки node-1: pod-1, node-2: pod-2. В афинити вы указывает что выборка идёт по метками и там где метка равна имени рода, можно запустить под.

Я Ваш посыл услышал, но как указать свой affinity для каждого пода в отдельности или подставить POD_NAME хотя бы. Разве это поддерживается?

Да

а разве стейтфулсет не будет запускаться на том же хосте где его клайм выделил волюм?

Хм или нет... Сейчас дойду проверю

иначем зачем вот эти все локалволюмы

а разве стейтфулсет не будет запускаться на том же хосте где его клайм выделил волюм?

Нет(

ты точно нигде не ошибся?

Да где там можно ошибиться. Тут вопрос не в перезапуске пода/ноды с подом. А трабл когда две ноды перезапускаются: поды могут легко перепрыгнуть

Т.е. при RollingUpdate c maxUnavailable 1, все ок Я там ишью выше скинул, говорят пока не завезли такого функционала (хотя там немного о другом) В общем, нужно лепить шедулер

Т.е. при RollingUpdate c maxUnavailable 1, все ок Я там ишью выше скинул, говорят пока не завезли такого функционала (хотя там немного о другом) В общем, нужно лепить шедулер

Глупый вопрос: в StatefullSet поды могут содержать разную "начинку"? Например, в виде разных открытых портрв, или версии образа, и т. д.

И нет и да

partitiion позволяет оставлять часть подов в repicaset со старой версией

ты точно нигде не ошибся?

Если снести ноду, информация о поде тоже снесется

И нет и да

Да - это в каких случаях? Если не секрет :)

Правильное решение - это проставить nodeAffinity для каждого local volume

partitiion позволяет оставлять часть подов в repicaset со старой версией

Пнятненько. Это я знал, может быть, есть еще возможные варианты?

Правильное решение - это проставить nodeAffinity для каждого local volume

Опять же, каждый под в наборе должен иметь свой аффинити

Нет

Аффинити нужно не для подов добавлять а для president volume

Ведь если, в общем случае, между pod в StatefullSet нет разницы, кроме, пожалуй, имени, то не имеет значения, по всей видимости, где какой pod запущен. Или имеет?

Если это кластер clickhouse, то имеет) Живет прекрасно, но вот это не дает мне покоя

Аффинити нужно не для подов добавлять а для president volume

А можно пример? Ведь каждый под должен выбрать свой local-volume

А каждый под в StatefulSet должен иметь свой pvc слинкованный с этим pv

А можно пример? Ведь каждый под должен выбрать свой local-volume

Сча

А каждый под в StatefulSet должен иметь свой pvc слинкованный с этим pv

Но там же pvc template …

https://github.com/kvaps/docker-linstor#complex-solution-with-postgresql-database

может есть просто оператор для кх?

Если это кластер clickhouse, то имеет) Живет прекрасно, но вот это не дает мне покоя

Наверное, это не оно? https://clickhouse.yandex/docs/ru/

оно

о других кликхаусах лично я не слышал

https://github.com/kvaps/docker-linstor#complex-solution-with-postgresql-database

не, это что-то не туда совсем

В общем, завтра кастомный шедулер запилю, велосепидить так до конца

Просто кто-то тут хвалился монгой в кубе, а там же теже проблемы всплывают

что-то не гуглится оператор, да

для монги сходу можно найти штуки три

Я про вариант на StatefulSet, а операторов, да, хватает

а зачем руками делать стейтфулсет если есть оператор?

не, это что-то не туда совсем

с чего это? вот nodeAfinity для PV: https://github.com/kvaps/docker-linstor/blob/master/examples/linstordb-volume.tpl#L21-L28

а statefulset герерит PVC на них, ака myapplication-0 myapplication-1 myapplication-2 ...

@shursh если будет возможность, расскажите, пож-ста, в каком сценарии понадобилась такая необычная задача по привязке pods

linstor это ж drbd

@shursh если будет возможность, расскажите, пож-ста, в каком сценарии понадобилась такая необычная задача по привязке pods

он же рассказал уже

linstor это ж drbd

блин ну меня пример попросили

а statefulset герерит PVC на них, ака myapplication-0 myapplication-1 myapplication-2 ...

Так, это уже любопытнее, завтра проверю, спасибо!

Раз уж… посоветуйте адекватный чарт для rabbitmq. Дефолтный stable/rabbitmq надо форкать ибо там привязка к kubedns с их зашитым cluster.local, от bitname stable/rabbitmq-ha вообще деревянный, тоже форкать

да туда же

возьми оператор

linstor - это такое-же приложение как и любое другое, ему требуется база данных, база данных запускается как StatefulSet с репликой 3, каждый под использует свой localvolume с nodeaffinity

возьми оператор

Я бы рад под все его взять, но есть линк на нормальный?

честно говоря я ни один не юзал

Я бы рад под все его взять, но есть линк на нормальный?

https://github.com/operator-framework/awesome-operators

Эм, список то я видел, а где там для rabbitmq?

сорри, я не видел что тебе для rabbitmq :)

хммм

и правда, что-то нету :/

Ок, зайду с другого бока: на github есть kubernetes/charts и там есть stable/rabbitmq, наверняка разработку ведут в других репах а сюда вмерживают изменения. просто при таком кол-ве форков взять и посмотреть карту форков чтобы найти что-то допиленное не выходит

опять фигню сказал

но есть автокластер

Есть, и он даже работает у bitnami из коробки ибо можно менять имя кластера куба, но сам чарт деревянный: там даже доп порты нельзя открыть, мониторинга нет. понятно что допилить можно, но времени это все съедает…

Ладно, всем спасибо. На крайняк все это выпилю и раскатаю шефом напрямую)

Была статья недавно на хабре про деплой рэббита в кубер

Там правда готовые yaml в статье

Кстати, это нормально что ansible в рецептах kubespray при сборе фактов отжирает 7 гигов оперативы?

А не helm чарт

Там правда готовые yaml в статье

Ага до сих пор на стене висит руки не дойдут

А можно ткнуть в пример как pod-3 привязать к node-3?

(прочитав весь тред). У вас локальные диски? Пометьте каждую ноду лейблом kubernetes.io/failure-domain=имя ноды, тогда PV тоже будут с тем же лейблом и тогда куб сам запустит что где надо

(прочитав весь тред). У вас локальные диски? Пометьте каждую ноду лейблом kubernetes.io/failure-domain=имя ноды, тогда PV тоже будут с тем же лейблом и тогда куб сам запустит что где надо

Есть пример? Правильно понимаю, что это оно? https://kubernetes.io/docs/reference/kubernetes-api/labels-annotations-taints/#failure-domainbetakubernetesiozone

Да. Вот строчка которая ему не даст запуститься не там: glog.V(10).Infof("Won't schedule pod %q onto node %q due to volume. Ищите в https://github.com/kubernetes/kubernetes/blob/b4c7d190cd9a6770ea39c6b99a799e45aed1c5ce/pkg/scheduler/algorithm/predicates/predicates.go

(не могу ссылку на строчку с мобильного отправить почему-то)

Спасибо. Я не знал о таком применении этих меток

Ещё пилят фичу, когда топология дисков отличается от топологии нод, но даже если доделают к 1.12 то все равно альфой будет пару релизов уж точно

Спасибо. Я не знал о таком применении этих меток

Блин и без них local volume должен правильный находиться. Точно был спец случай где то, когда их ввели

может версия старая

Да уже накидали версий, буду пробовать

может версия старая

1.11.2