Нет, через cephfs. Но можно убрать hdfs.

Вопрос не по профилю, но спрошу: Gluster на двух серваках сможет жить или ему нечётное количество для одной mgmt ноды? Ищется достойная замена nfs

Ceph не предлагать : )

Странный вопрос в чатике по цепху.

Всем привет.

А я вот вчера убрал Erasure пул. На старом железе - иопсы жрет, точнее не жрет, лимитирует.

за 400 перевалило и всё. дальше нивкакую. убрал пул - до 500 дожало.

нечётное - лучше. см. split brain и stonith

Вопрос не по профилю, но спрошу: Gluster на двух серваках сможет жить или ему нечётное количество для одной mgmt ноды? Ищется достойная замена nfs

Сможет, но гластер херовая замена nfs

Сможет, но гластер херовая замена nfs

А что улчше для двух нод?

А что улчше для двух нод?

drbd

как самый простой вариант - ganeti, например

drbd

CEPH size=2 + mon на raspberry pi для кворума

а собирается на арм?

а собирается на арм?

Пакеты в репах

Пакеты в репах

круто, не знал.

CEPH size=2 + mon на raspberry pi для кворума

LOL, тогда уж мон в докере сварме на двух машинах

уф... люто

CEPH size=2 + mon на raspberry pi для кворума

drbd будет в два раза быстрее ceph

ceph имеет смысл при большом количестве osd

LOL, тогда уж мон в докере сварме на двух машинах

Ну два мона у тебя и так на хостах будут

А 3й в рпи

Intel Optane DC P4800X — первый в мире SSD с памятью 3D XPoint⁠ 🗂 Гиктаймс:  Блог компании Intel, Железо, Накопители Официально объявлено о выпуске первого SSD, оснащенного чипами памяти 3D XPoint. Зачинатель серии P4800X имеет объем 375 Гб, выполнен в формате PCI Express накопителя. Позднее к этой модели присоединятся накопители большего объема, а также SSD с интерфейсом U.2. Скоростные характеристики новой модели впечатляют: свыше 500 тысяч IOPS при чтении 4k блоками и столько же при записи, задержки при операциях не более 10 мкс. Заявленная выносливость составляет 30 перезаписей в день. Цена, как все понимают, тоже маленькой не получилась — 1520 долларов. Однако следует ожидать, что после отладки технологических процессов она будет уменьшена. Читать далее ➡ https://shbr.xyz/gt287088

Под кэш?

375 не мало?

Под кэш?

Чем больше кеш, тем сильнее упадут иопс когда его забьют

Ну для начала это 375 вроде не мало

Во вторых это первая ласточка

Чем больше кеш, тем сильнее упадут иопс когда его забьют

Что мешает флушить чаще?

А 30 перезаписай в день это не мало?

Что мешает флушить чаще?

в нормальной ситуации с журнала чтения не происходит, журналы - для восстановления после падения, на крутилки пишется из памяти

Вот что-то этого я доках и незаметил, хотя да, вполне логично.

где-то в рассылке было что человек помониторив насколько заполняется журнал пришел к выводу что 2гб должно хватать всем

Вот что-то этого я доках и незаметил, хотя да, вполне логично.

где-то я читал это, может найду, позже

А 30 перезаписай в день это не мало?

Ну это серьезно больше чем самые ходовые модели

Важнее не dpwd, а tbw

Ты же байты пишешь а не диски

Это более простой параметр

20,5 петабайт

Отличный кандидат под кеш/wal для bluestore. Может обслуживать 5-7 nvme на традиционном flash. До этого приходилось думать про nvram

Отличный кандидат под кеш/wal для bluestore. Может обслуживать 5-7 nvme на традиционном flash. До этого приходилось думать про nvram

А что у nvme на обычном флеше?

Отличный кандидат под кеш/wal для bluestore. Может обслуживать 5-7 nvme на традиционном flash. До этого приходилось думать про nvram

Совсем наркомания, взять everspin s2g, который на mram

При обновлении работающих нод как перейти на bluestore?

никак

да и вообще я бы ссал переходить на блюстор на живом проде)

При обновлении работающих нод как перейти на bluestore?

Написано же в документации, убить старые osd, создать новые на bs

Он как больше тестовый, если и развалится, данные залить не проблема

Те пересоздать поэтапно, понятно

Ну вроде для bs писали, что стресс тесты проходит уже успешно 😄

Вообще реально пересоздать журналы без пересоздания osd?

да, была где-то команда в доке

Вообще реально пересоздать журналы без пересоздания osd?

Да, реально, сперва потушить OSD, далее ceph-osd -i 40 —flush-journal

Перелинкуй журнал, если нужно

и ceph-osd -i 40 —mkjournal

Вообще реально пересоздать журналы без пересоздания osd?

Перемещаем журнал osd список журналов ls -l /var/lib/ceph/osd/ceph-*/journal   ceph osd set noout stop ceph-osd id=44 ceph-osd -i 44 --flush-journal ... ceph-osd -i 44 --mkjournal start ceph-osd id=44 ceph osd unset noout

Спс

Уже боян или еще нет?

CEPH на прокачку⁠ 🗂 Хабрахабр:  Блог компании AT Consulting, Серверное администрирование Примерно так выглядит первая инсталляция CEPH на реальном железе. Вы установили цеф, но он тормозит и падает непонятно почему? Тогда вы пришли по адресу! Я прокачаю ваш CEPH. Читать далее ➡ https://shbr.xyz/hh324374

Уже боян или еще нет?

Свежак)

Ну тогда я не спаммер!

Свежак)

кому как ;)

кому как ;)

для тебя предпоказ был)

считай)

да и на митапе ты доклад слышал

кому не ясно, автор доклада как раз синтезоид, а то он скромничает

пытайте его

😆

О! Там графики норм

Графики чем рисуете? Красиво

Графики чем рисуете? Красиво

prometheus + grafana

кому не ясно, автор доклада как раз синтезоид, а то он скромничает

Бл

)))))))))))

Бл

да норм)

Спасибо за цифры по пеналти

https://habrahabr.ru/company/at_consulting/blog/324374/ плюсовать сюда, если что)

все канеш гуд но реально же в доках и в хауту все есть точно в таком же виде

и вот этому бы приделать инфы немного FIO с параметром engine=rbd может врать. Не стоит на неё полагаться при тестах.

иопсы даж в воображаемой ексельке можно посчитать и все будет окай с реальными данными иопсов

интересно было бы почитать где профакапился фио