хмм, смотрите, я поставил local volume, поставил его класс, но когда поднимаю под, он не создает через класс себе вольюм, или мне все равно надо локально делать директорию и маунтит ее ?

Насколько помню да, локальные надо делать.

Я же ссылку давал, почитайте README хоть > The discovery routine periodically reads the configured discovery directories and looks for new mount points that don't have a PV, and creates a PV for it.

прочитал все от и до, но начну тогда заного

прочитал все от и до, но начну тогда заного

А вам базы внутри куба нужны?

А вам базы внутри куба нужны?

не понял вопроса

не понял вопроса

Может sql базы на отдельные машины? Вне куба?:)

Рекомендуете вообще без персистент раздела? Типа столон кластера?

С персистент разделами, но без репликации на уровне хранилища

Может sql базы на отдельные машины? Вне куба?:)

у меня 25 микросервисов, я замучаюсь их админить без куба

у меня 25 микросервисов, я замучаюсь их админить без куба

Не, я только про базы)

С персистент разделами, но без репликации на уровне хранилища

кстати, как поступить с редисом ? тоже через local volume provisioner ? на редис не хотелось бы поднимать кластера

кстати, как поступить с редисом ? тоже через local volume provisioner ? на редис не хотелось бы поднимать кластера

https://github.com/operator-framework/awesome-operators

если очень хочется и репликацию и высокую производительность - посмотрите на linstor, но оно пока сыроватое немног и требует модуль ядра

хмм, смотрите, я поставил local volume, поставил его класс, но когда поднимаю под, он не создает через класс себе вольюм, или мне все равно надо локально делать директорию и маунтит ее ?

Делать локально директорию самому, дальше он создаст pv

Делать локально директорию самому, дальше он создаст pv

можете подробнее объяснить? я пробовал... надо делать директорию или всетаки делать маунт из директории в /mnt/ как файл систему ?

можете подробнее объяснить? я пробовал... надо делать директорию или всетаки делать маунт из директории в /mnt/ как файл систему ?

В 2.0 можно настроить откуда их брать

Ну у нутаникс все работает отлично

Поэтому ты сидишь на ранчер?)

Поэтому ты сидишь на ранчер?)

Нет не по этому

https://github.com/kubernetes-incubator/external-storage/blob/master/local-volume/README.md

https://github.com/kubernetes-incubator/external-storage/blob/master/local-volume/README.md

ок, вижу "Instead, it requires that administrators preconfigure the local volumes on each node and if volumes are supposed to be"

"Filesystem volumeMode (default) PVs - mount them under discovery directories.", т.е. я так понимаю делаю например директорию /opt/volumes/vol1 и делаю ей маунт в /mnt/disks, где эта директория указана как discovery point ?

вот вам задачка, есть под раздеплоенный манифестом (не rs/dp) под постоянно падает с crashloopbackoff из-за того что внутри кончилось место у brtfs как попасть в под и починить brtfs? :)

а откуда там взялся btrfs?

а откуда там взялся btrfs?

concourse :/

"Filesystem volumeMode (default) PVs - mount them under discovery directories.", т.е. я так понимаю делаю например директорию /opt/volumes/vol1 и делаю ей маунт в /mnt/disks, где эта директория указана как discovery point ?

Да

"Filesystem volumeMode (default) PVs - mount them under discovery directories.", т.е. я так понимаю делаю например директорию /opt/volumes/vol1 и делаю ей маунт в /mnt/disks, где эта директория указана как discovery point ?

Нужно делать volume, например с lvm, и монтировать его

Шарить один раздел на всех затея опасная

Нужно делать volume, например с lvm, и монтировать его

на диджитл оушн виртуальном дроплете возможен lvm ? у меня не baremetal

это же полноценная виртуалка

на диджитл оушн виртуальном дроплете возможен lvm ? у меня не baremetal

Нужно спросить системного администратора

я посмотрел на днях чарты и операторы для редиса - решил обойтись подом с редисом на каждый сервис вообще без персистенси

особенно понравилось колдунство в хелм стейбл ха чарте

? они помойму в последнем релизи переименовали rke fix-cluster на rke up

чет захрюкал

Делать локально директорию самому, дальше он создаст pv

директории недостаточно, он на mountpoint проверяет

Шарить один раздел на всех затея опасная

если очень хочется, то можно :) mount -o bind /data/myvolume /data/myvolume

ну или так: fallocate -l 10G ./myvolume.img mkfs.ext4 ./myvolume.img mount -o loop ./myvolume.img /data/myvolume cat /proc/mounts | grep /data/myvolume >> /etc/fstab

@ghst0 можно без lvm

ну или так: fallocate -l 10G ./myvolume.img mkfs.ext4 ./myvolume.img mount -o loop ./myvolume.img /data/myvolume cat /proc/mounts | grep /data/myvolume >> /etc/fstab

Ты отвратителен

При живом лвм делать вот это вот

не, ну если есть lvm... но насколько помню, у DO там один раздел, целиком в ext4

там кастом имаджи теперь заливать можно

круто, давно запилили?

пару месяцев назад может

ну или так: fallocate -l 10G ./myvolume.img mkfs.ext4 ./myvolume.img mount -o loop ./myvolume.img /data/myvolume cat /proc/mounts | grep /data/myvolume >> /etc/fstab

И на лупдевайсе запилить lvm, ееее!

И на лупдевайсе запилить lvm, ееее!

всегда так делаю

И на лупдевайсе запилить lvm, ееее!

еще можно его на glusterfs разместить :)

затем смаунтить на всех нодах, и настроить clvm

а gluster поверх btrfs и все это в /dev/ram замаунтить

и лайфмиграция работать будет

И оверхед от докера пропадёт.

кто-то работает с терраформом? можете поделиться опытом и рекомендуете ли использовать?

Смотря для чего же

Кстати, flexvolume умеет сам пилить volumes из lvm, скриптами) кто нить эксплуатирует такой вариант?

Кстати, flexvolume умеет сам пилить volumes из lvm, скриптами) кто нить эксплуатирует такой вариант?

В смысле маунтить или именно создавать?

Создавать и маунтить

И выдавать как pv

Ну создавать он и не должен, т.к. это задача provisioner

Ну создавать он и не должен, т.к. это задача provisioner

https://github.com/sysoperator/kube-lvm-flexvolume

Ну туда можно разную логику заложить, на то он и flexvolume. По логике куба он не должен ничего создавать, кроме fs. т.к по хорошему этой задачей должен занимается provisioner

Если вы определяете PV вручную - это не есть хорошо, потому что когда PV создан в API, вы не можете быть на 100% уверены, что он создастся при запуске, что хватит места и т.п.

Поды в кластере частично не могут пинговать друг друга. Ноды все пингуются между собой. calicoctl node status показывает везде up со всеми нодами. В логах calico подов нет ошибок. Что еще проверить?

@ghst0 можно без lvm

не хотелось бы ставить кастом имиджи на ДО, метод с fallocate нормальный ? или лучше уж тогда папки туда сюда маунтить простые ?

не хотелось бы ставить кастом имиджи на ДО, метод с fallocate нормальный ? или лучше уж тогда папки туда сюда маунтить простые ?

нормальный метод, на sharedfs так и делают

Поды в кластере частично не могут пинговать друг друга. Ноды все пингуются между собой. calicoctl node status показывает везде up со всеми нодами. В логах calico подов нет ошибок. Что еще проверить?

Маршруты на нодах.

нормальный метод, на sharedfs так и делают

хорошо, а если закончится место в имидже, его без боли можно ресайзнуть ? не хотелось бы потерять данные

хорошо, а если закончится место в имидже, его без боли можно ресайзнуть ? не хотелось бы потерять данные

также fallocat'ом задаешь новый размер, заетм resize2fs

ну или через qemu-img, как больше нравится

также fallocat'ом задаешь новый размер, заетм resize2fs

хорошо, значит, если я правильно понял, я создаю 50 таких имиджей на каждой из 3 нод, пробрасываю в папку, где их видит local-volume сторадж кубернетовский, и он их подхватывает ? и в конце концов все это дело еще надо добавлять в /etc/fstab чтобы после рестарта это замаунтилось заного, правильно ?

да, только что за система у вас? количество таких loopdevices может быть ограниченно. В новых версиях ядра они выделяются динамически через /dev/loop-control, но в некоторых случаях потребуется настроить вручную через kernel cmdline https://access.redhat.com/documentation/en-us/red_hat_enterprise_linux/6/html/deployment_guide/sec-configuring_the_loopback_device_limit

да, только что за система у вас? количество таких loopdevices может быть ограниченно. В новых версиях ядра они выделяются динамически через /dev/loop-control, но в некоторых случаях потребуется настроить вручную через kernel cmdline https://access.redhat.com/documentation/en-us/red_hat_enterprise_linux/6/html/deployment_guide/sec-configuring_the_loopback_device_limit

у нас убунту 16.04 дефный 64 битный образ который на DO

у нас убунту 16.04 дефный 64 битный образ который на DO

тогда скорее всего ничего не нужно больше делать

может я, это... на амазон пойду ? ?

тогда скорее всего ничего не нужно больше делать

а есть разница если я просто так буду делать чем фаллокейтом ? mount --bind /opt/volumes/vol1 /mnt/fast-disks/vol1

просто буду маунтить директории в ту папку которую будет мониторить кубернетес

в чем разница с фаллокейтом и так ?

может я, это... на амазон пойду ? ?

На Амазон не ходи. На gcp ходи. А то снег прод попадет. Совсем мертвый будешь

Добрый день, кто нибудь может подсказать статью настройки deploy с gitlab registry в kubernetes?

в чем разница с фаллокейтом и так ?

с фаллокейтом ты создаешь виртуальные волумы, без файллокэйта ты будешь испльзовать rootfs

ну и я бы выяснил как именно provisioner полчищает такие волумы :) > Deleter: The deleter routine is invoked by the Informer when a PV phase changes. If the phase is Released, then it cleans up the volume and deletes the PV API object.

то есть как бы он rootfs не затер бы)

ну вот в тикете написано что работает

А как сгененировать secret из env file? я сделал как в том примере в итоге у меня в контейнер прокинулось: .env: "WTF1=asdasd WTF2=asdsad"

А хочу чтобы в secrets.yml было: data: WTF1: asdsd WTF2: asdasd

я хз что это за env file у тебя

ну обычный вывод printenv

что такое printenv?

знаю просто env

знаю set

Выводит все переменные в stdout

cat env_file__with_parameters | envsubst а дальше через пайп в нужное место