мне кажется можно разнести крашмапом данные так, чтоб при падении шасси можно было работать.

один в 220 смотрит вторйо в инвертор

но это конечно не очень надежно

нужно 3 шасси

вооот

это я понял уже давно

но 3 шасси не купят

так бы было идеально и я бы с ceph остался

вот по этому смотрю в сторону репликации

а так сейчас получается, электричество отключают 10 минут и все рухнуло.

и второй шасси не спасает соответственно.

вот по этому смотрю в сторону репликации

а как у вас с нагрузкой? 4 ноды во втором шасси смогут принять всю нагрузку с шасси, которое упало/упадёт?

Это нужно будет учесть я уже подумал про это, но мне важны критикал ресурсы. остальное подождать может

так то должно хватать

Это нужно будет учесть я уже подумал про это, но мне важны критикал ресурсы. остальное подождать может

тогда делайте 8 узлов, и добавляйте QDevice для кворума. Я так понимаю что вы вручную будете мигрировать когда придёт сигнал о пропаже питания?

как быть с данными которые не успели приехать по репликации ?

Qdevice 3 физ машинка?

тогда делайте 8 узлов, и добавляйте QDevice для кворума. Я так понимаю что вы вручную будете мигрировать когда придёт сигнал о пропаже питания?

а автоматически они не поднимутся разве? если будут реплицироваться?

а автоматически они не поднимутся разве? если будут реплицироваться?

чтобы автоматически они поднялись (точнее чтобы не упали) - нужен HA и общее хранилище. А у вас будет реплика в любом случае отставать на какое-то время

чтобы автоматически они поднялись (точнее чтобы не упали) - нужен HA и общее хранилище. А у вас будет реплика в любом случае отставать на какое-то время

ну потеря то есть в данных?

если еще будет пара полок, вопрсо с HA можно будет решить?

получается что на полке тоже должен быть zfs?

ну потеря то есть в данных?

куда ж без неё

получается что на полке тоже должен быть zfs?

есть вроде решения, когда делают и ha для zfs. у вас же будет в каждом шасси отдельная полка для хранилища?

https://github.com/ewwhite/zfs-ha/wiki

вообще планируется взять вот такие

https://server19.ru/catalog/19_rn2-ss12/rn2ss12r/

Qdevice 3 физ машинка?

не обязательно. можно виртуалку

ну так если виртуалка окажется на шасси где отключится питание

все пропало

при потери электрики железно 4 ноды падают

при потери электрики железно 4 ноды падают

я вот даже сейчас не скажу - если бы у вас был полноценный HA и общее хранилище, то как переживёт кластер падение 5 нод из 9 и что будет с теми ВМ, которые вы назначите как HA. есть эмулятор ha в проксе, поставьте его - изучите

https://server19.ru/catalog/19_rn2-ss12/rn2ss12r/

тут у вас zfs не получится просто так поднять на этом хранилище

из за рейд котроллера?

ну тогда как вариант делать из каких то нод общее хранилище

из за рейд котроллера?

её можно по FC подключить к вашим блейдам?

у нас 10

по ним через 10 коммутатор да

то есть соединить все 10G можно

из за этих интерфейсов в частности и смотрим в сторону этих полок

а в шасси нет других интерфейсов для подключения дисковых полок?

походу нет

ну тогда как вариант делать из каких то нод общее хранилище

если полки можно подключить к одному из блейдов по FC, то можно в каждом шасси один из блейдов сделать сервером для общего хранилища.

а как диски сейчас к блейдам подключены?

вы про сетевое хранилище?

пока не знаю это впланах

вы про сетевое хранилище?

я про то, что можно полку подключить к одному из блейдов и один из блейдов будет по сути - сервером, который будет раздавать общее хранилище другим серверам в этом же шасси и через сеть

а что это за блейды, неужто у них нет интерфейсов для подключения полок?

ну вот этот сервак

https://www.dell.com/ly/business/p/poweredge-c6220-2/pd

https://www.dell.com/ly/business/p/poweredge-c6220-2/pd

так у вас там можно 24 диска подключить (SATA/SAS), зачем вам отдельная хранилка?

там и стоят сейчас диски ssd в ceph

по 480

ну так и превратите один из блейдов на каждом шасси в NAS, который будет отдавать общее хранилище в кластер. А между собой эти NAS можно синхронизировать. Я выше ссылку давал ZFS HA

ну так и превратите один из блейдов на каждом шасси в NAS, который будет отдавать общее хранилище в кластер. А между собой эти NAS можно синхронизировать. Я выше ссылку давал ZFS HA

для такого NAS можно и оптан купить для ускорения. А на остальных блейдах оставить по одному/паре ssd небольшого размера для размещения самого pve.

согласен

читаю

читаю

есть ещё проект esos. который также умеет делать программные хранилки. Сделан на основе linux, внутри себя тоже умеет zfs.

есть ещё проект esos. который также умеет делать программные хранилки. Сделан на основе linux, внутри себя тоже умеет zfs.

спасибо не разу такой не слышал, посмотрю.

и у вас насколько я понимаю сетевая на 10гбит/с - двухпортовая?

да

да

значит можно сделать бондинг и получить 20гбит/с для раздачи shared storage

думаю что да

а каким способом можно понять реальный размер сектора ssd накопителя ?

а каким способом можно понять реальный размер сектора ssd накопителя ?

речь про то, что производители врут?

я думаю что можно не заморачиваться и просто ставить ashift=12

уверен что врут

512 байт пишут

вот думаю что 8к реально

во всяком случае читал, что так многие производители домашних ссд делают

как бы это на практике быстро чекнуть ?

как бы это на практике быстро чекнуть ?

короче я перечитал архивные сообщения в этой группу и думаю что для ссд можно спокойно ставить 13

жаль что я свой пул собрал уже после того как это обсуждалось)

и у меня осталось 12. для nvme

как бы это на практике быстро чекнуть ?

fio на устройство

fio на устройство

я подметил, что чем больше блок пишешь, тем производительнее запись. самые выигрышные размеры 32М-64М.

или я что-то не так делаю ?

или я что-то не так делаю ?

в реальной нагрузке очень редко блоки записываются с таким размером

я бы тестировал то, что будет использоваться более чем в 80-90% случаев