Ну вот и получается: клиент берет жирные 2-4 башковые серверы, вы туда ансиблом выкатываете виртуалки, в них каким-то, какой у вас там наверняка уже наработан, инструментом куб. Для клиента 1 ядро выходит дешевле, чем по вашей текущей схеме "много мелких железных серверов"

К счастью, stateless, который и пишут клиенты, без проблем ложится без каких-либо глубоких особенностей. А за stateful базы и прочее, — это уже не клиент, экспертизы больше.

А как же "архитектор сказал, что будем хранить файлы в uploads папке и делайте ReadWriteMany!!!"?

Если б делал сам, гонял бы виртуалки с http://www.ganeti.org/

Если б делал сам, гонял бы виртуалки с http://www.ganeti.org/

И какой с базами кейс? Их - в виртуалки? А если что-тл в виртуалках все равно есть - значит все равно для них поднимать надежную инфраструктуру

в начале - да, а потом за сопровождение rhevm платит дополнительно

А в чем разница что сопровождать? Оно когда настроено и работает - там с одинаковой вероятностью падает (виртуалки падают из-за проблем с железками также или чуть меньше, чем совсем baremetall)

Да, но уже более половины баз, которые интересны клиентам, не работают на одной-двух нодах и растут строго вверх.

его как минимум мониторить и обновлять надо, а для этого нужен Специально Обученный Интерн в худшем случае

Если б делал сам, гонял бы виртуалки с http://www.ganeti.org/

Так, ну т.е раз ответ "да, в виртуалках", получается вы загоняете своих клиентов сразу в обе инфраструктуры - и в кластер виртуалок, и в кластер куба, но не смешиваете их, чтобы получить удобства обоих миров? Странно...

там есть опции которые возвращают стабильность

Долго описывать, готов на конференциях поговорить и поспорить, подходи к обладателям фиолетовых поло, потрём за жизнь.

Долго описывать, готов на конференциях поговорить и поспорить, подходи к обладателям фиолетовых поло, потрём за жизнь.

Я изначально почему об этом заговорил: конкретно в селектеле с их ценами получается примерно то на то, но это исключение. А так чем выше плотность - тем дешевле, вот и приходится уходить на толстые серверы и делить их на виртуалки.

секрет

--секрет

--return-stability --no-bugs --best-performance

пишет, что только в платной версии доступно

А почему ganeti? - потому что от гугла?

автоскейлер сам ставил?

В этом случае я бы советовал MetalLB

Сейчас потестил работу сети. Если мы объявляем для сервиса Ingress External-IP, то кубер объявляет и на мастерах и на воркерах этот IP. Таким образом, пока жива хоть одна нода кластера - этот IP доступен (у меня L2 сеть). Вопрос - для чего мне тогда нужен Metal LB / keepalived Чтобы управлять через какой хост будет виден этот IP ?

metallb вешает IP на worker ноды? или на себя и пропускает трафик через себя?

Для доступа из-вне, metallb всегда вешает external ip на туже ноду где и запущенный workload

У меня он вешать ничего не желает, работает только если вручную айпишник повесить

На worker ноды

Подскажите пожалуйста, как мне проанализировать состояние сети в кластере и на виртуалках в целом. У меня куб 1.10.5 на виртуалках с калико calico-etcd coreos/etcd:v3.1.10 calico/node:v3.0.8 calico/cni:v2.0.6 Есть несколько моих сервисов, rabbitmq в качестве шины для них, через nginx-ingress ко мне ходят клиенты и системы источники мне данные шлют через него же. Всё замечательно, кроме одной вещи, которую я не могу вычислить. Есть проблема, что время от времени в приложении возникают ошибки типа service unreachable (когда приложение пытается в rabbitmq сходить, но с таймаутом отваливается), таймауты и 499 статусы в nginx (когда мне система источник пытается послать данные, но разрывает соединение, потому что от меня не дожидается ответа). По логам nginx видно, что запросы обрабатываются то очень быстро, то очень медленно. Время обработки не плавающее, а резко меняется, например то 200 0.053 ms, а потом 499 20.043 ms И я пытаюсь вычислить, то ли это у меня в сетапе лагает, то ли какие-то инфраструктурные косяки. Кто может, подскажите мне направление, а то я не знаю, куда копать дальше и в какой последовательности.

Чем можно запускать паралельно несколько скриптов/баш функций и нормально группировать вывод ? Навроде make -O , но может по-современнее что-нибудь есть

а они закончатся? Так, понимаю мой вопрос наверное тупой. Надо переформулировать. У меня вот ксть инсталяция elk в k8s, и там дата ноды с pv я заметил что там лишние ноды (не утилизируем), пытаюсь ужать. Как бы вы грамотно это делали без потери данных? Что смотреть?