не совсем понимаю, вы не могли бы привести аргументы против

Но для начала надо понять как именно отдается хранилище виртуалкам. Что за хранилище, кстати? Из любопытства)

Ну, gitlab использовали.

это те которые лежали день ?)

это те которые лежали день ?)

Если б день, лол)

Там пиздец бутерброд. MS Azure в качестве хостинга. Поверх него натянуты виртуалки с цефом с 3х репликацией. В цефе настроен cephfs. И в нем они хранили вроде как бд и гит репозитоии.

Если б день, лол)

а они рили цеф в вм держали?

И удивлялись чо так плохо работает)

Ага.

Там пиздец бутерброд. MS Azure в качестве хостинга. Поверх него натянуты виртуалки с цефом с 3х репликацией. В цефе настроен cephfs. И в нем они хранили вроде как бд и гит репозитоии.

бляяяя

не совсем понимаю, вы не могли бы привести аргументы против

Ну так вот. Я vmware очень мало пользовался, потому не знаю как там оно работает. Ну типа по-умолчанию образы дисков хранятся в виде файлов же. А вот при подключении какого-нибудь энтерпрайзного хранилища - как? Виртуальным машинам напрямую LUN отдаются или ESXi их так же, эти тома форматирует под какую-то фс свою и на них хранит файлы-образы?

>ESXi их так же, эти тома форматирует под какую-то фс свою и на них хранит файлы-образы? this

VMFS называется

луны напрямую то со стораджа можешь виртуалке прокинуть конечно, но это уже в обход всферы

А, ну вот.

>ESXi их так же, эти тома форматирует под какую-то фс свою и на них хранит файлы-образы? this

Поэтому идея и дерьмовая. Значит получается лишний уровень абстракции. OSD пишет в фс внутри виртуалки, все это транслируется в блочные операции, отправляется по сети хз как и пишется в файл на LUN, соответствено, файл этот на VMFS.

Какой-то такой, нехороший пирог получается.

то есть вы имеете ввиду, что производительность проседает по большей части из-за скорости доступа к СХД?

Там пиздец бутерброд. MS Azure в качестве хостинга. Поверх него натянуты виртуалки с цефом с 3х репликацией. В цефе настроен cephfs. И в нем они хранили вроде как бд и гит репозитоии.

А что в этом кардинально неправильного?

То, что это будет наверняка медленно - одно. Но с чего это всё вдруг развалилось?

всан юзают не только лишь все

ну вопрос то в другом - имеет ли в этом случае делить канал на private/public network и как бы это лучше организовать =)

это отдельная недешевая же фича, ну и спрашивали конкретно про внешний сторадж

впрочем всан не особо и решает проблему бутерброда

А что в этом кардинально неправильного?

Неизвестно как в azure организовано хранилище. И неизвестно не работают ли виртуалки с цефом на одном хосте. Многократный оверхэд, задержки идут по пизде, сохранность данных из-за многослойных буферов и кэширования - тоже.

Там где нужна была сетевая фс ребята нагородили хз чо вообще.

получается что сторадж отдает диски по iscsi, далее вмварь добавляет ФС, которая потом в виде файлов, но в блочном режиме уходит в виртуалки, которые потом еще свое там городят кто во что горазд.

То, что это будет наверняка медленно - одно. Но с чего это всё вдруг развалилось?

Развалилось не это) Они случайно сделали vacuum на основной базе. А бэкапы были только не очень свежие.

ну вопрос то в другом - имеет ли в этом случае делить канал на private/public network и как бы это лучше организовать =)

Не имеет.

Неизвестно как в azure организовано хранилище. И неизвестно не работают ли виртуалки с цефом на одном хосте. Многократный оверхэд, задержки идут по пизде, сохранность данных из-за многослойных буферов и кэширования - тоже.

Ещё раз: неоптимальность - сомнений нет. Развалилось - другое.

Развалилось не это) Они случайно сделали vacuum на основной базе. А бэкапы были только не очень свежие.

А-аааа, дело было не в бобине.

А у кого-нибудь тут разваливался цеф без возможности восстановления данных?

А у кого-нибудь тут разваливался цеф без возможности восстановления данных?

Пока присматриваетесь только?

ну у меня пока только тестовая среда, я сейчас нагрузочное изобретаю

попутно изучая метрики и добавляя их в мониторинг)

ну у меня пока только тестовая среда, я сейчас нагрузочное изобретаю

А, вон как.

А у кого-нибудь тут разваливался цеф без возможности восстановления данных?

У клаудмаус, хехе.

У клаудмаус, хехе.

Ну, он же не сам развалился)

Ну, он же не сам развалился)

А никто не знает как он развалился

честно вам сказать из-за чего развалился?)

ибо сам даже смотрел их кластер и пытался помочь...

Расскажите

помнится мне, что тогда еще актуальная версия ceph'а была firefly. Но им жутно не нравилась его производительность.

ну они и обновились, на в то время, не стабильный hammer.

а когда пошли ошибки, то потом еще и обновились аж на master ветку

а у мастер ветки была проблема связанная с утечкой памяти, ну и при нехватке памяти на сервере(еще один баг) убились данные

и количество репликаций у них было 2.

хотя и количество репликации бы тут непомогли.

так что ceph там был не причем. банально админы накосячили, ну или их руководство

Т.е. обновляться нельзя @ даешь везде dumpling

и количество репликаций у них было 2.

Пиздели всем что у них 3х и 8 нод. Так запомнил)

Там еще какие-то историибыли про то как умудрились проебать все карты кластера какие можно. Твоя история, в общем то, похожа на то что я себе представлял)

Т.е. обновляться нельзя @ даешь везде dumpling

Обновлять нельзя все сразу и на нестабильную ветку)

так что ceph там был не причем. банально админы накосячили, ну или их руководство

ух как сурово, вот да. всегда интересовался, КАК у них это получилось

теперь в крякене и выше сто пудов туча багов с аллокацией памяти

уже проходили

теперь в крякене и выше сто пудов туча багов с аллокацией памяти

Ой, а у тебя блюстор, не?

есть в другом месте, не у меня

Там чо рассказывают то? На крякене печально пока, да?

ну в люминозе оно будет вроде как стабильным

у нас в проде пашет, но трясемся за данные (не сильно важный но продакшен, будет неприятно просрать архивные данные)

У мен крякен. Но без цеффс

были проблемы с аллокацией памяти, етц. вроде починили

у меня в проде крякен, на файлосторе

Все работает. Багов не видел. Утечки были но чот пропали сами собой

на мой взгляд, блюстор будет готов для прода через год

Все работает. Багов не видел. Утечки были но чот пропали сами собой

утечки - с блюстором?

Без блюстора я юзаю

с файлостором мы никаких утечек не видели

Блюстар там сегфолтится. Вернее ассерт фейлится

Меня блюстор интересует)

Люминоус онли кароч для блюстора

Ну ладно, в ближайшие пару недель протестирую, может будет чего рассказать.

кто нибудь ssd кстати тестировал на блюсторе?

Блюстар там сегфолтится. Вернее ассерт фейлится

при ротации логов RocksDB?

при ротации логов RocksDB?

Хз. Испугался. Дропнул к херам.

если да, то оно чинилось

но сцук стремно

@victor_chaplinsky fyi

Именно. Посмотри ченджлог в люминоусе по блюстору и охуей

хыыыыых

оно хотя бы форматно-совместимо?