А kubelet сам не умеет подчищать мусор и старые имейджы? Давно интересовался этим вопросом

https://kubernetes.io/docs/concepts/cluster-administration/kubelet-garbage-collection/

https://kubernetes.io/docs/concepts/cluster-administration/kubelet-garbage-collection/

Точняк спасибо

ну вы выведите worker, но ноду с osd не тушите, добавьте новую

Какой то сложный путь чтобы почистить имэйджы =)

Какой то сложный путь чтобы почистить имэйджы =)

зато экспертиза появится, если что-то в будущем пойдет не так ?

Удалять старые baremetal и заводить новые

Я так и делаю на baremethal, очень удобно https://kubernetes.io/blog/2018/10/02/building-a-network-bootable-server-farm-for-kubernetes-with-ltsp/

Я так и делаю на baremethal, очень удобно https://kubernetes.io/blog/2018/10/02/building-a-network-bootable-server-farm-for-kubernetes-with-ltsp/

? У меня только MAAS

? У меня только MAAS

О, расскажи и как тебе MAAS?

Он умеет diskless?

? У меня только MAAS

да в принципе норм. прикрутил его к CI/CD который сделан вокруг kubernetes при изменении, тестируется на gcp/aws/azure, и заодно проверяется на baremetal пришлось написать свой power management для железок без ipmi и вообще remote power control, железки бутаются по wake on lan, и ребутаются через ssh врпинципе оно работает уже 2 года, но переодически, раз в сезон MAAS нужно перезагружать, в нем как-то ОЧЕНЬ сильно ломается iscsid который раздает диски. diskless не пробовал и вообще туда не копал, из CI хожу к MAAS через rest, все ок, плоская модель прав :/

да в принципе норм. прикрутил его к CI/CD который сделан вокруг kubernetes при изменении, тестируется на gcp/aws/azure, и заодно проверяется на baremetal пришлось написать свой power management для железок без ipmi и вообще remote power control, железки бутаются по wake on lan, и ребутаются через ssh врпинципе оно работает уже 2 года, но переодически, раз в сезон MAAS нужно перезагружать, в нем как-то ОЧЕНЬ сильно ломается iscsid который раздает диски. diskless не пробовал и вообще туда не копал, из CI хожу к MAAS через rest, все ок, плоская модель прав :/

О_о

? У меня только MAAS

Фига ты модный

я тут решил дома собрать k8s из говна и палок поставил maas и запровижинил 3 ноды на baremetal и kubespray развернул k8s

по этой же схеме поднял домашний кластер.

коллеги, подкиньте идею, есть задача - разворачивать большую и толстую(20гб) субд(постгре) на тесты в кол-ве N экземпляров за максимально короткое время. При этом данные чтобы хранились в PV на ceph. Про снапшоты читал, но пока слишком сырое это добро. Есть шальная мысль предподготавливать PV (в кол-ве N штук) и потом монтировать в нужные поды, но это тот еще костыль

там где-то вверху по ключевым словам "из говна и палок" есть подробности

коллеги, подкиньте идею, есть задача - разворачивать большую и толстую(20гб) субд(постгре) на тесты в кол-ве N экземпляров за максимально короткое время. При этом данные чтобы хранились в PV на ceph. Про снапшоты читал, но пока слишком сырое это добро. Есть шальная мысль предподготавливать PV (в кол-ве N штук) и потом монтировать в нужные поды, но это тот еще костыль

20гб можно и копернуть

20гб можно и копернуть

можно, но долго, в идеале не больше пары минут должно занимать

коллеги, подкиньте идею, есть задача - разворачивать большую и толстую(20гб) субд(постгре) на тесты в кол-ве N экземпляров за максимально короткое время. При этом данные чтобы хранились в PV на ceph. Про снапшоты читал, но пока слишком сырое это добро. Есть шальная мысль предподготавливать PV (в кол-ве N штук) и потом монтировать в нужные поды, но это тот еще костыль

А поменьше её сделать никак?

Если никак, то pgloader в помощь

можно, но долго, в идеале не больше пары минут должно занимать

Сделай просто имадж на 20гб

Сделай просто имадж на 20гб

щас так и есть, но если под удаляется - данные идут лесом

ну сделайте так, что-бы pvc не удалялся...

А поменьше её сделать никак?

увы никак

ну сделайте так, что-бы pvc не удалялся...

пока просто имадж заливается без pvc, мы ж не можем директорию из контейнера запихать в pv в процессе старта

пока просто имадж заливается без pvc, мы ж не можем директорию из контейнера запихать в pv в процессе старта

видимо я задачи до конца вашей не понимаю, хранить эталонный образ с дампом от живой psql? и подсовывать разным подам, что-бы они быстрее поднимались? после тестов, удалить pod, но что-бы pvc оставалась?

видимо я задачи до конца вашей не понимаю, хранить эталонный образ с дампом от живой psql? и подсовывать разным подам, что-бы они быстрее поднимались? после тестов, удалить pod, но что-бы pvc оставалась?

Да все просто, есть задача делать EaaS, на данный момент их 12, нужно чтобы среда поднималась с подготовленной базой, и жила столько - сколько нужно, не теряя данные при пересоздании подов

А сколько у вас заливается 20гб дамп базы?

одна из идей - это как раз делать заранее подготавливать пул PV с данными и монтировать его при старте пода с базой

на все про все минут 10-12 уходит

Да все просто, есть задача делать EaaS, на данный момент их 12, нужно чтобы среда поднималась с подготовленной базой, и жила столько - сколько нужно, не теряя данные при пересоздании подов

это сделать возможно. например такое умеет helm из коробки. при деплойменете вашего вокрлоада, можно указать что-бы PVC были переиспользованы (и при удалении workload'a) они не удалялись. Можно это сделать и руками. Тут скорее вопрос, ваши тесты меняют саму базу? и если да, то для следующих тестов она уже не пригодна?

одна из идей - это как раз делать заранее подготавливать пул PV с данными и монтировать его при старте пода с базой

если стороджа хватает, отлично мне кажется

на все про все минут 10-12 уходит

Предлагаю забить

Предлагаю забить

с радостью бы забил, руководство не дает))

Попробуй более быстрые способы загрузки дампа

Но к куберу это мало отношения имеет

щас так и есть, но если под удаляется - данные идут лесом

В смысле идут лесом, если они в образ вшиты?

это сделать возможно. например такое умеет helm из коробки. при деплойменете вашего вокрлоада, можно указать что-бы PVC были переиспользованы (и при удалении workload'a) они не удалялись. Можно это сделать и руками. Тут скорее вопрос, ваши тесты меняют саму базу? и если да, то для следующих тестов она уже не пригодна?

да, меняют, поэтому одна база применима только в рамках одной среды, и то ее могут дропнуть в любой момент

В смысле идут лесом, если они в образ вшиты?

имеется в виду данные, которые были внесены уже после старта пода (добавили данные к примеру в продукт для теста)

Ну то есть ты конечно можешь готовить pv заранее и монтировать уже их, а новые готовить в бэкграунде Но я б сначала попробовал тупо раскатывать дампы быстрее

да, меняют, поэтому одна база применима только в рамках одной среды, и то ее могут дропнуть в любой момент

прикрутите к вашему процессу автоматику, которая держит всегда N+5 pvc наперед. либо если позволяет ваш сторадж, то нарезайте из снапшотов (тут у меня экспертиза фсё)

Если есть любовь к извращениям - hostpath и снапшоты lvm

Если есть любовь к извращениям - hostpath и снапшоты lvm

lvm не алё, для PV доступно только rbd

ну я про извращения на хосте - перед созданием контейнера с host path делать в ту директорию монтирование lvm snapshot Если уже костыли под задачу - то делать это по-серьезному

пинить postgres к ноде с lvm'ом и оттуда пускать с разных снапоштов

впринципе да.

Ну можно в инит-контейнере стягивать архив с файлами базы (не sql дамп) и просто рас-tar-ивать его в директрию pgdata

Это наверняка будет быстрее чем заливка дампа

А нельзя использовать одну субд с разными базами внутри?

Если можно, то можно просто create database NAME template OLDNAME; что тоже работает быстрее чем дамп

А нельзя использовать одну субд с разными базами внутри?

нет, изначальное требование - полная независимость сред друг от друга

Потому что хочется или это бизнес требование?

там еще и эластик и редис и раббит параллельно поднимаются и еще куча всего

требование

Это для всяких тестов или это прод?

А кто-нибудь sysdig использует для мониторинга кубера?

тесты

Тогда это тем более выглядит как хотелка

А кто-нибудь sysdig использует для мониторинга кубера?

кто-то тут был, гугли по sysdig

Тогда это тем более выглядит как хотелка

согласен, но не моя

И обсуждать запрещено? :)

На одной из прошлых работ был подобный кейс с постгресом для тестов, делали через создание бд из темплейта

я пытааалсяяя (С) но каг бэ банк и все такое...

И даже объём базы был сравнимый, гигов 30-40

И даже объём базы был сравнимый, гигов 30-40

про более быстрые способы restore? я так понимаю речь о -j core_count? или есть еще какие-то отработанные вещи?

коллеги, подкиньте идею, есть задача - разворачивать большую и толстую(20гб) субд(постгре) на тесты в кол-ве N экземпляров за максимально короткое время. При этом данные чтобы хранились в PV на ceph. Про снапшоты читал, но пока слишком сырое это добро. Есть шальная мысль предподготавливать PV (в кол-ве N штук) и потом монтировать в нужные поды, но это тот еще костыль

"мысли вне коробки" : можно тестам сказать не комитить транзакции, тогда все в одной базе жить может и пересоздавать ее не надо

про более быстрые способы restore? я так понимаю речь о -j core_count? или есть еще какие-то отработанные вещи?

ну тогда (года 4 назад) самым быстрым решением был проект с названием pgloader вроде бы

но возможно я путаю

но мы тогда остановились на create database NAME from template ORIGINAL

щас так и есть, но если под удаляется - данные идут лесом

Значит база ок живёт на overlayfs? Можно свой собрать тогда, будет копироваться все равно, но растянуто по времени. Базовый слой монтировать в read-only без проигрывания журналов, тогда ни байтика на блочное устройство не запишется :)

Все равно самый быстрый вариант получается подготавливать pv заранее

Там время только не запуск базы

*на

ну это будет то же решение, что и с инит-контейнером, но заранее

От части да, Но я не заранее не знаю в какой нс пихать базу

Имя нс появляется в процессе сборки приложения

pv же не привязаны к неймспейсам

Да я чет подумал если просто весь контейнер заранее готовить )

Все равно самый быстрый вариант получается подготавливать pv заранее

Я сделал так: полностью упаковал все файлы базы, создаю pv, запускаю job, который маунтит себе этот pv, стягивает с артифактори упакованные файлы базы, распаковывает, кладет куда надо, затем стартует под с самой базой, куда примаунчены ранее распакованые файлы

Вливка дампов или упаковка самой базы в имадж- крайне не удачное решение

Значит база ок живёт на overlayfs? Можно свой собрать тогда, будет копироваться все равно, но растянуто по времени. Базовый слой монтировать в read-only без проигрывания журналов, тогда ни байтика на блочное устройство не запишется :)

Бггг собирать образ postgres докерфайлом, наполнять через отдельные шаги. Снапшоты postgres уровня docker

Вливка дампов или упаковка самой базы в имадж- крайне не удачное решение

А чем толстый имадж плох кроме объема трафика и времени?

Да я чет подумал если просто весь контейнер заранее готовить )

нафига?

да в принципе норм. прикрутил его к CI/CD который сделан вокруг kubernetes при изменении, тестируется на gcp/aws/azure, и заодно проверяется на baremetal пришлось написать свой power management для железок без ipmi и вообще remote power control, железки бутаются по wake on lan, и ребутаются через ssh врпинципе оно работает уже 2 года, но переодически, раз в сезон MAAS нужно перезагружать, в нем как-то ОЧЕНЬ сильно ломается iscsid который раздает диски. diskless не пробовал и вообще туда не копал, из CI хожу к MAAS через rest, все ок, плоская модель прав :/

То есть rootfs по iscsi отдается? Что будет с нодами если istgt подвиснет? - или он только для деплоя используется?

То есть rootfs по iscsi отдается? Что будет с нодами если istgt подвиснет? - или он только для деплоя используется?

Только для деплоя

Понял, а fencing используешь?

А чем толстый имадж плох кроме объема трафика и времени?

дело не в размере имаджа или трафике. вопрос удобства управления этим вот

или как ноды киляются, по каким правилам, если они NotReady?

или как ноды киляются, по каким правилам, если они NotReady?

для NotReady используется специальный набор шагов maas'a, который делает recovery для неё. fencing не использую

дело не в размере имаджа или трафике. вопрос удобства управления этим вот

В плане удобства кстати очень даже ничего, просто стартует контейнер и все данные и настройки уже есть,

перед тем как CI начнет прогонять джобы, он проверяет статус нод, они могут быть в трех, и есть набор шагов что-бы из каждого из возможных исходных состояний приводить в READY

для NotReady используется специальный набор шагов maas'a, который делает recovery для неё. fencing не использую

где об этом почитать?

перед тем как CI начнет прогонять джобы, он проверяет статус нод, они могут быть в трех, и есть набор шагов что-бы из каждого из возможных исходных состояний приводить в READY

?

В плане удобства кстати очень даже ничего, просто стартует контейнер и все данные и настройки уже есть,

если вам удобно, то ок, чего уж там