« Rev
@ceph_ru   184
Fwd »


kiosaku
угу
Евгений
btw, а краткой выжимки по организации кластера цеф, растянутого на 2-3 дц, нигде не валяется?
что-то мне кажется, что оно не але, а при каналах меньше гигабита - совсем не але.
kiosaku
в смысле - бесполезно или никто не делал?
kiosaku
ну, мне почему-то кажется, что 1Gbit точно есть
kiosaku
а может и больше
Евгений
в смысле - бесполезно или никто не делал?
Репликацию этого дела представляете? При гагабитных каналах приходится тюнить, и то оно залипает и пару терабайт может полсуток реплицировать
kiosaku
представляю
Евгений
представляю
даже вру, там была агрегация в два гигабита. И оно еле ползло на скорости 70 мег в секунду. А какие нагрузочные параметры?
kiosaku
100-200 iops
kiosaku
репликация в соседние дц именно как резерв
kiosaku
т.е. если совсем всё умрёт в точке
Евгений
репликация в соседние дц именно как резерв
оно вам будет каждую операцию записи на соседей сплевывать. Если у вас min_size=3,оно будет стоять и ждать, когда все три ДЦ ответят.
Mark ☢️
Бу. Надо 8 портов.
Евгений
100-200 iops
Так-то на гигабите оно потащит, но затея гнилая
kiosaku
да, вы правы, тут синхронная операция
kiosaku
но хочу попробовать
Евгений
но хочу попробовать
Дык флаг в руки. Делаете, чтобы у вас хосты друг друга по IP видели, настраиваете отдельную сеть под репликацию и вперед. По монитору в каждый ДЦ, ДЦ - нечетное количество
kiosaku
насчёт мониторов
kiosaku
у меня сейчас osdmon на каждом узле, где диски. насчёт split-brain - это понятно
Евгений
букварь говорит, что мешать мониторы с осд - не надо
Михаил
Три кластера так живут
Pavel
букварь говорит, что мешать мониторы с осд - не надо
Он говорит, что _лучше_ под моны использовать отдельные хосты, что логично
Pavel
Но не "не надо")
Pavel
В общем есть возможность - отдельно. Нет - ничего особо страшного не случится при достаточном количестве озу
kiosaku
вроде бы хватает, 96GB на узел
Logan
в смысле - бесполезно или никто не делал?
Если нет регионов - забудьте. Получите конфликт в синхронизации, это нереально пережить нормально
kiosaku
хорошо, тогда немного перефразирую исходный вопрос: есть виртуалки, которые лежат на цеф-е. пишут в себя не очень много (данные летят по сети). хочется застраховаться от выхода дц из строя
kiosaku
ip перелезет в другой дц, вопрос только в том, чтобы запустить её на новом месте
kiosaku
вариант с nfs уже пройден ...
kiosaku
опередили. тоже
kiosaku
если > 2 дц, то уже не так удобно
Михаил
Может проще переехать в дц получше?
kiosaku
:) да и в текущих хорошо. просто страхуюсь от: - бульдозера и колодцев - электриков на 2-х вводах сразу - чего-то ещё
Logan
:) да и в текущих хорошо. просто страхуюсь от: - бульдозера и колодцев - электриков на 2-х вводах сразу - чего-то ещё
Такая репликация делается средствами приложения, а не файловой системы. Это катастрофоустоуйчивость. А не отказоустойчивость
SlyRaccoon
Имхо вполне себе отказоустойчивость. К сожалению выход из строя всех резервов в одном дц не такая уж и редкость. Мне вот тоже интересно было бы глянуть что из этого получится.
kiosaku
хорошо, приложение - гипервизор
Dimonyga
:) да и в текущих хорошо. просто страхуюсь от: - бульдозера и колодцев - электриков на 2-х вводах сразу - чего-то ещё
Самое страшное - это электрики ковыряющие автоматику на живую. У нас так было, в итоге автоматика 2 ввода замкнула
Alex
Имхо вполне себе отказоустойчивость. К сожалению выход из строя всех резервов в одном дц не такая уж и редкость. Мне вот тоже интересно было бы глянуть что из этого получится.
Тут нужно смотреть отклик в сети. Если большой то и латенси будет большим. У нас работает кластер растянутый на 2 ДЦ. Правда между ними своя оптика 12 км +-. Точно не знаю расстояние кабельной системы. Ну и скорость в сумме 120 гигов. Живет отлично.
kiosaku
хорошее замечание
kiosaku
12км - одномод протянут, скорее всего
Alex
12км - одномод протянут, скорее всего
Не могу ничего сказать, у нас этим отдел сетевиков занимается. Но думаю там нет многомода
Alex
Прямой
kiosaku
насчёт двух дц - пока думаю над ситуацией split-brain (потеряна связь между дц)
kiosaku
тогда третий появляется
Александр
Ну там только прокси,... На крайний случай
kiosaku
у меня там сверху ещё виртуализация лежит. с кластерами
Александр
И виртуализация и цеф на одних и тех же машинах?
kiosaku
да
Александр
И как?
Александр
Что за машины?
kiosaku
в рамках одного дц - работает прекрасно
kiosaku
да так, пенсионеры уже, e5620/96GB
Александр
Хм.. А по дискам?
Александр
И сколько опс?
kiosaku
1u - там много не впихнёшь. 4xsata
Александр
Хм..
kiosaku
1-2-4k в пиках
Александр
А сколько машин?
Александр
5?
kiosaku
5-7 узлов
kiosaku
угу
kiosaku
но растягивать на второй дц - очень желательно
Александр
Норм
Александр
Зачем?
kiosaku
см. выше. я же писал :)
kiosaku
ip у меня переедут сами, а вот сами виртуалки на автомате перевести - пока вопрос
kiosaku
руками-то можно, nfs, скажем. а вот растянуть кластер, чтобы можно было (ну и с live migration) - этого я пока не видел
Александр
Ясн
kiosaku
посему, если кто пробовал уже что-то подобное (hammer) - пишите, вдруг что может получиться
Alex
посему, если кто пробовал уже что-то подобное (hammer) - пишите, вдруг что может получиться
Версия Ceph при синхронной реплике особой роли не играет. Вам важно правильно разнести мониторы. Если у вас отвалится один ДЦ и во втором не будет кворума - то ceph упадёт и в работающем. Чтоб этого избежать есть грязный хак - виртуалка под монитор в третьем ДЦ, итого в каждом ДЦ у вас будет 1 или 2 монитора + ещё один на виртуалке в третьем ДЦ. Только желательно чтоб к ней было минимальные задержки. И тогда все ок - кластер работает пока не отвалится большая часть мониторов
Александр
т.е. 3 там и 3 там допустим
« Rev
@ceph_ru   184
Fwd »