Нет

насколько я понял - при использовании multipath можно и нужно использовать планировщик i/o с возможностью разделения операций i/o

где почитать можно?

https://clusterlabs.org/pacemaker/doc/2.1/Clusters_from_Scratch/epub/fencing.html

Вариант zfs это "Shared storage that can be cut off for a target host by another host (for example, an external storage device that supports SCSI-3 persistent reservations)"

Но ты можешь и другие варианты.

И учти, там дока не для "адаптированых" версий. Для твоего дистрибутива может отличаться что-то.

принял, благодарю )

насколько я понял - при использовании multipath можно и нужно использовать планировщик i/o с возможностью разделения операций i/o

Этот момент не подскажу, разворачивал не я, но раз надо, делай )

у меня задача в целом не сложная - есть сервер с HBA и подключенная к нему полка на 60 дисков (dell 3060e) есть возможность подключить symmetric multipath и в теории получить выигрыш х2 по пропускной способности

А каким образом удвоится пропускная способность ?

Доброго дня, коллеги! Подскажите порядок действий или где почитать, запутался в командах - оффлайн, дитач, риплейс 🤦‍♂️ Есть raidz2+1 на frebsd, всего 12 хардов по 500ГБ (gpt/disk0...11), пока работает, но надо бы заменить 1 (исчерпались перемещённые сектора до 2% - "SMART threshold exceeded: port=4"), а лучше 2 или даже 3 (в т.ч. spare). Наверно начать с замены spare, потом подставить новый spare вместо 1го, заменить 1й на новый и назначить его spare, потом аналогично со 2м.

А каким образом удвоится пропускная способность ?

Часть дисков доступна через 1 порт, часть через 2й. Управляет топологией хост

При падении любого, все доступны через активный

Часть дисков доступна через 1 порт, часть через 2й. Управляет топологией хост

Так … мне кажется один контролер по иопс покрывает все ваши диски , за счет чего тогда скорость ?🤔я просто сам думал об этом и выходит что толку нет

При падении любого, все доступны через активный

Резерв - да, тут как раз ясно

Часть дисков доступна через 1 порт, часть через 2й. Управляет топологией хост

Типа если все автомобили могут на полной скорости двигаться по одному шоссе, то второе шоссе по идее ничего не даст, кроме резерва на случай аварии ))

Вы тут путаете немного разные технологии

Там есть резервирование и прирост в полосе ( на иопсы не влияет)

Вы тут путаете немного разные технологии

Буду признателен за разъяснение , так как сам планировал раскидать на два hba👋

И диски лучше бы sas как я понимаю 🤔

Если у вас полка с двумя путями и двумя контроллерами, то там можно задействовать как отказоустойчивость так и увеличение полосы ( команды sas раскидываются round-robin, это настраивается)

Как я знаю, это касается только sas

Не редки случаи, когда у вас забивается канал к полке, и начинает все тупить. Но это либо старое ?%но либо сверх нагрузки.

У меня само собой сас ))) хехе Но по iops мой hba перекрывает в разы все диски

Не редки случаи, когда у вас забивается канал к полке, и начинает все тупить. Но это либо старое ?%но либо сверх нагрузки.

Забивается как ? Это же не сливная труба пардон ))

Очередь растет

Забивается как ? Это же не сливная труба пардон ))

slow drain

Там ведь полоса ограничена 24,12 gbit или 6 gbit не знаю, что у вас там.

Там ведь полоса ограничена 24,12 gbit или 6 gbit не знаю, что у вас там.

6 g на линию итого 24 на подключение

sas протокол дуплексный и 12 гбит - это 6 на чтение и 6 на запись

на каждую линию

в зависимости от архитектуры сети стораджа, возможны ситуации, когда поток ио - а он строго фифо - встает на каком-то устройстве и формирует за собой очередь

порт - 4 линии

6 g на линию итого 24 на подключение

Да

Там ведь полоса ограничена 24,12 gbit или 6 gbit не знаю, что у вас там.

SAS диски без мультиплексора это 6Г для 3.0 и 12 для 4.0

т.е. для sas3 выше 12гбит на запись уже не прыгнешь в один порт

в зависимости от архитектуры сети стораджа, возможны ситуации, когда поток ио - а он строго фифо - встает на каком-то устройстве и формирует за собой очередь

Может каждую полку на отдельный hba ? :)))

если дисков 180 - они могут в линейной записе 180*160МБ - 28ГБайт - т.е. 230гбит - что на порядок с лишним больше чем может пропустить порт

сас3

Sas2 у меня и дисков 60 ))

Вот мы часто упирались в этот предел раньше

Но у нас 100+ дисков на сервер

Может каждую полку на отдельный hba ? :)))

избыточно

Но☝🏻 на каждое подключение - 15 дисков , то есть 6х4 линии на каждую полку

Два линка обычно хватает, если там балансировка

Сейчас так : hba 16e - 4 физических подключения. Я воткнул 4 полки и полагаю, что еще один hba вряд ли мне что ускорит, ошибаюсь ?

Сейчас так : hba 16e - 4 физических подключения. Я воткнул 4 полки и полагаю, что еще один hba вряд ли мне что ускорит, ошибаюсь ?

Скорости не прибавит, я думаю

Сейчас так : hba 16e - 4 физических подключения. Я воткнул 4 полки и полагаю, что еще один hba вряд ли мне что ускорит, ошибаюсь ?

как правило 16е - это два контроллер в одной плате

тут еще нужно смотреть что по шине PCIe

т.к. там есть х8 и х16 контроллеры 16е

Скорости не прибавит, я думаю

Вот я тоже так полагаю (( проще следующие полки сажать на отдельные hba

т.к. там есть х8 и х16 контроллеры 16е

8x 2 поколения sas2

если полки такие как dell 3060e - на 60 дисков - есть смысл их сразу цеплять двумя портами

если полки такие как dell 3060e - на 60 дисков - есть смысл их сразу цеплять двумя портами

У вас полка получше мягко говоря )) не могу за свой свет пока себе такое

Два линка обычно хватает, если там балансировка

Да ладно минусовать )) на что денег было ))) файлы раздавать по сетке на 10ток машин - нафиг 12g

Это-ж старое совсем, оно может от старости умереть в любом месте в любой момент.

собственно чатик не совсем был про железо

Если это еще и старый сервер-полка, так еще и пожароопасно

Это-ж старое совсем, оно может от старости умереть в любом месте в любой момент.

Никак что то не умирает третий год ))

я выше задал вопрос про то как готовить сетап zfs

собственно чатик не совсем был про железо

Да, извините, сорвалось)

на таком железе

интересно как правильно готовить модуль zfs для mq

а там эти штуки есть

как включить mq в ядре для планировщика io я знаю - но для zfs.conf есть свои параметры - вот кто подскажет что и как?

собственно чатик не совсем был про железо

Зануда 😭

Касательно multipath: у нас 2 сервера и 2 60х дисковые полки в HA-кластере (lustre) - т.е. в норм режиме 60дисков на сервер (6х raidz2 pools ~= 5 GB/s max from ZFS). LSI SAS x8 = 8GB/s max, т.е. для норм работы можно и по одной карте, но для ситуации, когда может получиться 120 дисков на 1м сервере и сделан multipath. Причем я делал вручную (но для этого надо знать, какие диски в полке на каком SAS экспандере). В /etc/multipath.conf примерно так: multipath { wwid 3500000000000 alias jbod01-1-d00 prio weightedpath prio_args "wwn *:*:0x5000000000000001:* 5 *:*:0x5000000000000002:* 1" }

Что касается HA (pacemaker, corosync) - на тестах все неплохо отрабатывало, в реальной жизни zpool'ы могут иногда и не переехать((

Что касается HA (pacemaker, corosync) - на тестах все неплохо отрабатывало, в реальной жизни zpool'ы могут иногда и не переехать((

уже что-то - а то вакуум

хочу уточнить как сделан vdev_id.conf для multipath что в zfs.conf по этой теме донастроили что в default grub в параметры boot добавляли. и под какой версией ядра все собрано

multipath сам создает устройства (см. alias выше), так что vdev_id.conf не нужен. По этим алиасам и собирается zpool (zpool create <zpool_param> <zpool_name> raidz2 jbod01-1-d00 jbod01-1-d01 ...) В grub тоже ничего не надо. А настройка параметров zfs - это отдельная история, впрочем к multipath не имеющая отношения.. Версия ядер думаю тоже значения не имеет..

Bruce Olson has been banned! Reason: CAS ban.

#Вопрос Уменьшить фрагментацию 1) send - recv даже в пределах одного пула большого датасета, должен решить проблему фрагментации ? Или как лучше лечить фрагментацию ? Фрагмнтация под 40% у вдевов 2) на спешиале (ssd) 50%, на этом пуле трим не запускался. Трим должен помочь ?

#Вопрос Уменьшить фрагментацию 1) send - recv даже в пределах одного пула большого датасета, должен решить проблему фрагментации ? Или как лучше лечить фрагментацию ? Фрагмнтация под 40% у вдевов 2) на спешиале (ssd) 50%, на этом пуле трим не запускался. Трим должен помочь ?

вы же помните, что это не фрагментация данных а фрагментация свободного места?

вы же помните, что это не фрагментация данных а фрагментация свободного места?

думаю, что не совсем

вы же помните, что это не фрагментация данных а фрагментация свободного места?

каковая легко превращаеся в п.1 при записи новых данных

#Вопрос Уменьшить фрагментацию 1) send - recv даже в пределах одного пула большого датасета, должен решить проблему фрагментации ? Или как лучше лечить фрагментацию ? Фрагмнтация под 40% у вдевов 2) на спешиале (ssd) 50%, на этом пуле трим не запускался. Трим должен помочь ?

трим точно никак не поможет

#Вопрос Спрошу по другому: фрагментация данных в пуле может быть причиной низкой скорости чтения ? (логичеки полагаю что нет) при занятости пула 30%. Страйп из 3 зеркал, 4к сектор. Больше 11Мб/с на чтение не выдаёт. Нагрузка на диски 5%, пул в целом не загружен. Рядом другой сервак с такими же дисками, конфигурацией, даёт 110 Мб/с при чтении. Куда ещё можно посмотреть ? Спасибо.

наврятли можно получиь разницу в десять раз на идентичных сетапах, что то отличается

#Вопрос Спрошу по другому: фрагментация данных в пуле может быть причиной низкой скорости чтения ? (логичеки полагаю что нет) при занятости пула 30%. Страйп из 3 зеркал, 4к сектор. Больше 11Мб/с на чтение не выдаёт. Нагрузка на диски 5%, пул в целом не загружен. Рядом другой сервак с такими же дисками, конфигурацией, даёт 110 Мб/с при чтении. Куда ещё можно посмотреть ? Спасибо.

поменять сетевой кабель. 11Мб/с = 100 Mбит/c

поменять сетевой кабель. 11Мб/с = 100 Mбит/c

Кстати да, поддержу. тоже такие же мысли возникли. Так же можно проверить и заменить свитч, или поменять порт на свитче, в который хранилище воткнуто

поменять сетевой кабель. 11Мб/с = 100 Mбит/c

speedtest показывает нормальную скорость Testing download speed................................................................................ Download: 420.51 Mbit/s Testing upload speed...................................................................................................... Upload: 249.47 Mbit/s