DRBD9 - просто сказка

пили прохладную

DRBD9 - просто сказка

штэ

у меня от drbd остаось стойкое послевкусие

"ощущение смазанного конца"

перевожу на нормальный - рассказывай об опыте

kubectl get pv | grep -c linstor 162

поэтому автор доклада — хуй

Каэш.

но по факту (как у меня например) сука взял и HBA завис

-хба == -нода?

ну да. это было к тому как предсказать смерть диска.

Я бы не использовал железные рейды

А сейчас сильно лучше?

на 30 секунд

Ну а вообще я бы не рекомендовал нагруженную базу на Ceph держать

На цепхе вообще ничего держать не рекомендуется, чо уж

Единственная проблема, что т.к. тома не размазываются по всему кластеру как это делает ceph, то пространство сложнее утилизировать

Есть такой продукт google ganeti, там как раз все данные хранятся в drbd и есть специальная служба которая распределяет данные по кластеру в зависимости от заполненность нод. Для этого нужна конечно-же работающая как часы живая миграция виртуалок.

На цепхе вообще ничего держать не рекомендуется, чо уж

На цепхе вообще ничего держать не рекомендуется, чо уж

кем рекмендуется?

Это важно?

Это важно?

кем рекмендуется?

Ребят, ну давайте честно, цепх не про запись, да надежность(чуть лучше других), но не про производительность, а базе она нужна,.. сейчас бы всё пихать в цепх без оглядки на платные решения,..

да щас... пару релизов и они блюстор сделают

Ребят, ну давайте честно, цепх не про запись, да надежность(чуть лучше других), но не про производительность, а базе она нужна,.. сейчас бы всё пихать в цепх без оглядки на платные решения,..

Сколько лет уже блюстор делают 2?

да щас... пару релизов и они блюстор сделают

А его разве не сделали ещё?

А его разве не сделали ещё?

А его разве не сделали ещё?

удельную производительность. на кластер можно получить, но это будет дорого

Ребят, ну давайте честно, цепх не про запись, да надежность(чуть лучше других), но не про производительность, а базе она нужна,.. сейчас бы всё пихать в цепх без оглядки на платные решения,..

У нас практика - на старте базы в цеф, по мере роста на железо.

А его разве не сделали ещё?

У нас практика - на старте базы в цеф, по мере роста на железо.

У нас практика - на старте базы в цеф, по мере роста на железо.

У нас практика - на старте базы в цеф, по мере роста на железо.

какие подводные камни

а как именно ?

Ну LINSTOR состоит из двух частей: control-plane и бэкенд с drbd9 в главной роли. Сам control-plane пока что еще сыроват и видимо еще не все успели запилить, к примеру модель прав и шифрование общения контроллера с сателитами - есть только в зародышевом состоянии, т.е. она в принципе есть, но интерфейса к ней нет. Я эту проблему решил шифруя все общение через stunnel запущенный сайдкаром, работает збс! В control-plane бывает случаются непонятные баги лечащиеся рестартом, но в последнее время вроде все пофиксили и стало намного лучше, благо разработчики оч. активно работают с комьюнити и отвечают на любой присланный им issue. А в случае чего весь control-plane можно полностю выпилить на время, все что работало - продолжит работать. По бэкендам - их может быть несколько: LVM, thinLVM и ZFS. Мы юзаем LVM и thinLVM. (второй поддерживает снапшоты), для репликации используется DRBD9. С ним проблем почти нет, за исключением того, что прежде чем его в серьез использовать, нужно сначала потюнить его под вашу сеть, а так же настроить кворум или выставить политики разрешения split-brain, все это можно выставить в качестве глобальных параметров в linstor. Кстати drbd9 также поддерживает RDMA. Еще мне не нравится старый flexvolume драйвер, но благо его сейчас переписали на нормальный CSI. К сожалению все созданные старым провижионером тома, по прежнему продолжают использовать старый flexvolume драйвер, я пока не придумал как это решить. Так же советую использовать нормальную бд, например Postgress, вместо встроенной H2. Это не критично, но по мне с постгрессом работать куда приятнее и удобнее чем с H2, ну и бэкапить конфигурацию можно в SQL/

Ну LINSTOR состоит из двух частей: control-plane и бэкенд с drbd9 в главной роли. Сам control-plane пока что еще сыроват и видимо еще не все успели запилить, к примеру модель прав и шифрование общения контроллера с сателитами - есть только в зародышевом состоянии, т.е. она в принципе есть, но интерфейса к ней нет. Я эту проблему решил шифруя все общение через stunnel запущенный сайдкаром, работает збс! В control-plane бывает случаются непонятные баги лечащиеся рестартом, но в последнее время вроде все пофиксили и стало намного лучше, благо разработчики оч. активно работают с комьюнити и отвечают на любой присланный им issue. А в случае чего весь control-plane можно полностю выпилить на время, все что работало - продолжит работать. По бэкендам - их может быть несколько: LVM, thinLVM и ZFS. Мы юзаем LVM и thinLVM. (второй поддерживает снапшоты), для репликации используется DRBD9. С ним проблем почти нет, за исключением того, что прежде чем его в серьез использовать, нужно сначала потюнить его под вашу сеть, а так же настроить кворум или выставить политики разрешения split-brain, все это можно выставить в качестве глобальных параметров в linstor. Кстати drbd9 также поддерживает RDMA. Еще мне не нравится старый flexvolume драйвер, но благо его сейчас переписали на нормальный CSI. К сожалению все созданные старым провижионером тома, по прежнему продолжают использовать старый flexvolume драйвер, я пока не придумал как это решить. Так же советую использовать нормальную бд, например Postgress, вместо встроенной H2. Это не критично, но по мне с постгрессом работать куда приятнее и удобнее чем с H2, ну и бэкапить конфигурацию можно в SQL/

Ну LINSTOR состоит из двух частей: control-plane и бэкенд с drbd9 в главной роли. Сам control-plane пока что еще сыроват и видимо еще не все успели запилить, к примеру модель прав и шифрование общения контроллера с сателитами - есть только в зародышевом состоянии, т.е. она в принципе есть, но интерфейса к ней нет. Я эту проблему решил шифруя все общение через stunnel запущенный сайдкаром, работает збс! В control-plane бывает случаются непонятные баги лечащиеся рестартом, но в последнее время вроде все пофиксили и стало намного лучше, благо разработчики оч. активно работают с комьюнити и отвечают на любой присланный им issue. А в случае чего весь control-plane можно полностю выпилить на время, все что работало - продолжит работать. По бэкендам - их может быть несколько: LVM, thinLVM и ZFS. Мы юзаем LVM и thinLVM. (второй поддерживает снапшоты), для репликации используется DRBD9. С ним проблем почти нет, за исключением того, что прежде чем его в серьез использовать, нужно сначала потюнить его под вашу сеть, а так же настроить кворум или выставить политики разрешения split-brain, все это можно выставить в качестве глобальных параметров в linstor. Кстати drbd9 также поддерживает RDMA. Еще мне не нравится старый flexvolume драйвер, но благо его сейчас переписали на нормальный CSI. К сожалению все созданные старым провижионером тома, по прежнему продолжают использовать старый flexvolume драйвер, я пока не придумал как это решить. Так же советую использовать нормальную бд, например Postgress, вместо встроенной H2. Это не критично, но по мне с постгрессом работать куда приятнее и удобнее чем с H2, ну и бэкапить конфигурацию можно в SQL/

Тут, кстати, есть сравнение методов репликации: https://www.postgresql.org/docs/10/different-replication-solutions.html

When requesting synchronous replication, each commit of a write transaction will wait until confirmation is received that the commit has been written to the write-ahead log on disk of both the primary and standby server.

When requesting synchronous replication, each commit of a write transaction will wait until confirmation is received that the commit has been written to the write-ahead log on disk of both the primary and standby server.

А вот тут — видео про патрони, где автор по хардкору поясняет за многое: https://www.youtube.com/watch?v=s6fnGbHYsfM

https://www.postgresql.org/docs/current/warm-standby.html#SYNCHRONOUS-REPLICATION НОШОЛ

Есть такой продукт google ganeti, там как раз все данные хранятся в drbd и есть специальная служба которая распределяет данные по кластеру в зависимости от заполненность нод. Для этого нужна конечно-же работающая как часы живая миграция виртуалок.

да щас... пару релизов и они блюстор сделают

блюстор не панацея

Чойта.