1GB ethernet для кластерной достаточно?

10gb под ceph над

Хотя, всё зависит от нагрузки

мы же не знаем сколько и чего и как там по нагрузкам -

И вообще у Алексея в фамилии ошибка

:-\

систему на raid1

И вообще у Алексея в фамилии ошибка

тока тс..)

всё остальное - отдельными osd

смысл raid10 под систему - непонятно

каждый диск = osd

Алексей Абайдулин, [05.04.17 13:23] Скорость записи почему-то всего 80МБ\с диски sas в Raid50

создали рейд50 и на нём завели диски, которые потом как osd подключили?

1Гб на сторадж думаю печалька в любом случае. хотя-бы MTU нормальное накрутить надо.

да

С таким кейсом цепх не очень подходит. он заточен под много виртуалок.

а у вас планируется всего 3

не ну просто у ноды 3 нет 10GB

делаете 1 raid1 для системы

оставшиеся диски подключаете, как raid0, либо в engineering mode

а у вас планируется всего 3

нет еще сервер и еще сторедж как минимум.

оставшиеся диски подключаете, как raid0, либо в engineering mode

ага

1 диск - один raid0

и скорость с 30 дисками в Raid0?

на 3 нодах

ниже будет, чем 30x100MB/sec

есть формула?

явно ниже 1GB/sec :)

поставьте виртуалку - погоняйте её под нагрузкой

т.е. чем больше дисков в Raid 0 тем лучше?

не нужен raid0 ceph-у

он сам обеспечивает и raid0 и raid1 ...

Парни, с pg_num для cephfs в пулах дата и метадата вообще хоть кто-то игрался (50-50% как-то подозрительно)?

возможно, ваш контроллер не умеет enginnering mode и придётся создавать raid0 по количеству дисков

понятно! raid0 + 10Gb Lan

т.е. если у вас 4 свободных диска

то не создаёте 1 raid0 из 4-х дисков в контроллере

а создаёте 4 raid0, каждый - из одного диска

а создаёте 4 raid0, каждый - из одного диска

понял

но готовьтесь к тому, что в проксмоксе не увидите smart у дисков

а без ceph реализовать быструю общую хранилку возможно?

если не нужен HA, то делайте raid10

но вам он, вроде бы, нужен

но там есть вроде подводные камни, когда хотите больше 2-х копий данных хранить

хотя я на проксмоксе делал master+2slave drbd

но там есть ограничения по live migration

OCFS2 еще, но она страааашная

OCFS2 еще, но она страааашная

она сама данные не распределяет.

+iSCSI

спасибо за советы будем думать

Я вообще сомневаюсь, что разворачивать ceph на трёх нодах так себе идея

Коллеги, интенсив можно оплатить от юр.лица, и если да - то как.

а без ceph реализовать быструю общую хранилку возможно?

Хранилку чего?

Кто какой io scheduler применяет?

Хранилку чего?

Там выше было

Кто какой io scheduler применяет?

cfq. на kraken с bluestore. под centos 7. тюнинг ядра ограничился tuned-adm с профилем throughput-performance. может зря...

cfq. на kraken с bluestore. под centos 7. тюнинг ядра ограничился tuned-adm с профилем throughput-performance. может зря...

Спасибо!

Спасибо!

я тут начинающий, не стоит на это ориентироваться. в интернете натыкался на эту тему, но обоснований какой лучше так и не увидел

У вас тоже bluestore?

У вас тоже bluestore?

у меня классика на XFS

у мну да

Объемы? Скорости? Прод?)

потому что на jewel & xfs тупил по процам. но там был SLES 12sp2 & SES 4 с последним патчем. кракен решил погонять

жрать процы стал меньше

Объемы? Скорости? Прод?)

тест, 12*4 диски обычные SATA III, сеть 10 гиг

тест, 12*4 диски обычные SATA III, сеть 10 гиг

12 дисков по 4 T, 2 ноды, в ноде 6 дисков

supermicro servers, 3 штуки сумарно 82 ТБ. сеть lacp 10 gbit. винты вперемежку sas & sata. ssd нет. мне поиграться выделили под хранилку для ... барабанная дробь... базу оракл

потому что на jewel & xfs тупил по процам. но там был SLES 12sp2 & SES 4 с последним патчем. кракен решил погонять

Если у вас слес, то чего не суся сторадж?

Если у вас слес, то чего не суся сторадж?

так там и было

просто suse storage jewel

а мне нужен кракен

думал будет резвее

по идее так и стало

так там и было

О! И как вам в целом суся стор?

вылизали его, патчи отстают от релиза на 1 версию. т.е.: 10.2.6 актуальная, а они выкатывают 10.2.5 что несклько огорчает. вебморда calamari понравилась. а так хз, запись блоками по 4к это самое худшее что я мог придумать. ведь cephfs не предназначен для блоковой чтения-записи под базу. последовательно читает-записивает нормуль. но мне не с чем сравнивать

кстати там триал 60 дней

вылизали его, патчи отстают от релиза на 1 версию. т.е.: 10.2.6 актуальная, а они выкатывают 10.2.5 что несклько огорчает. вебморда calamari понравилась. а так хз, запись блоками по 4к это самое худшее что я мог придумать. ведь cephfs не предназначен для блоковой чтения-записи под базу. последовательно читает-записивает нормуль. но мне не с чем сравнивать

А у них разве только цеффс? Как erasure coding их?

я хотел фс ) в инфраструктуре основной sles, так что фс монтировалась ядром под 12 версию отлично. а вот под sles11 проблема. нету пакетов под поддежку новой версии, в ядро модули не обновляли и не доставляли, соотвественно jewel не держит, ругаясь на то, что регистры не те, и вообще обновите себе ядро )) erasure coding не делал, т.к. size 2 похоже самый быстрый по скорости, а под jewel с его бешенной нагрузкой на ядра это бы превратилось в обузу

что написать в конфиг, чтобы сеф не выдавал варнингов про депрекейтед при создании rbd с image-format 1?

вылизали его, патчи отстают от релиза на 1 версию. т.е.: 10.2.6 актуальная, а они выкатывают 10.2.5 что несклько огорчает. вебморда calamari понравилась. а так хз, запись блоками по 4к это самое худшее что я мог придумать. ведь cephfs не предназначен для блоковой чтения-записи под базу. последовательно читает-записивает нормуль. но мне не с чем сравнивать

А у них какой то свой каламари?

нет, просто они сделали его так, чтобы он работал по команде zypper in ... ; calamari-ctl initialize; ceph-deploy calamari connect ... одним словом установил пакет и всё сразу заработало