хоть по ФЦоИБ.

чтоб латенсей меньше было

дораха фц )

Это в идеале, но хотя бы просто кластер из двух узлов ZFS, хотя бы их между собой соединить 2-3 шнурками нетворка?

два это даже математически не кластер.

а почему тебе так смартос понравился?

Походит на SystemRescueCD с ZFS на борту, я одно время пописывал скрипты для него. Тоже можно грузить целиком в оперативку, тоже есть ZFS.

дораха фц )

отнюдь. часто с блинов не снять на рандоме более 1-2г. а таких хба (да что уж там, даже четвёрок) - ведро за рубль.

у меня даже валяется четвёрка

Походит на SystemRescueCD с ZFS на борту, я одно время пописывал скрипты для него. Тоже можно грузить целиком в оперативку, тоже есть ZFS.

я б всё ж рекомендовал омниос, если ты прям хочешь заморочиться стораджем на зфс

работает, кушать не просит

умеет даже в фц таргет (на линуксах я такого не видел например)

два это даже математически не кластер.

Ну пусть HA, в СУБД долгое время довольствовались парой мастер-slave.

только стмф там иногда дури нагоняет. отдебажил бы - но времени нету.

Ну пусть HA, в СУБД долгое время довольствовались парой мастер-slave.

при синхронной записи и ручном восстановлении приемлемо. при асинхронной и автоматическом восстановлении - нет.

человек в данном случае заменяет третью ноду

точка принятия решений - кворум

я б всё ж рекомендовал омниос, если ты прям хочешь заморочиться стораджем на зфс

Я так понял, что OnmiOS - это нечто среднее между SmartOS (по сути LiveCD) и десктопной Индианой. Всего по минимуму, но при этом все же классическая серверная ось с обычной установкой.

омниос - это индиана без гуёв.

типа дебиана или центоса по характеру отношения к новшествам

омниос - это индиана без гуёв.

Примерно так и подумал. Вроде говорят можно тоже прикрутить pkgsrc?

стабильно, работает, и всё ок

стабильно, работает, и всё ок

Супер, - то, что надо.

Примерно так и подумал. Вроде говорят можно тоже прикрутить pkgsrc?

было б зачем. не пробовал - не было необходимости

Примерно так и подумал. Вроде говорят можно тоже прикрутить pkgsrc?

только ещё раз говорю - стмф иногда гонит - подвисает ио на границе трансляции зфс звола в скази

воспроизвести достоверно не получилось, глюк плавающий

причём звола в скази, а не звола в фс как блочника

только ещё раз говорю - стмф иногда гонит - подвисает ио на границе трансляции зфс звола в скази

Таргет можно и на линуксе поднять.

Таргет можно и на линуксе поднять.

прям на хба?

прям на хба?

Зачем на HBA?

то-то же. :)

кейсы разные бывают

то-то же. :)

А почему нельзя? Но зачем?

бывает нужно :)

например, когда нет бабок на хуавей тот же

Лично я для себя ищу надежную реализацию ZFS, работающую с железяками напрямую, а дальше уже могу в виртуалках того же Smart/Omni нагородить любых линупсовых костылей.

схемку нарисуй. пока не выходишь в скази, можешь на омниос расчитывать - за пожалуй пару с небольшим лет ни одной проблемы.

про остальные не знаю. иллюмос(чистый, ещё до хипсторов всяких) ставил себе много лет назад, как только он ответвился. понравилось собирать во время инсталляции из сырцов драйвер на вайфай :D

HAST/DRDB node guest -> zvol -> Smart/Omni host -> железяки.

но это был год либо конец 2000х либо начало 2010х

Два таких хоста, получится дармовой HA.

HAST/DRDB node guest -> zvol -> Smart/Omni host -> железяки.

сложная и ненадёжная схема получится

чем больше компонентов - тем больше падение надёжности - уж поверь

сложная и ненадёжная схема получится

А какие альтернативы? Люстра? У меня не цех по обслуживанию зажопинских суперкомпьютеров.

тебе хватит одного сервиса для полного обеспечения стораджем (что в этом сервисе будет - пара серверов или чего ещё - дело твоё)

для твоих задач (не думаю, что у тебя РТО уж совсем прям критично мал) - тебе хватит двух серверов с периодической синхрой

РПО то есть

тебе хватит одного сервиса для полного обеспечения стораджем (что в этом сервисе будет - пара серверов или чего ещё - дело твоё)

Какие у меня были варианты до того момента, как я прочитал про HAST/DRDB? CEPH без ZFS - нафик нафик. ZFS с 5 минутной репликацией, - это не HA. Дорогущий пропритарный Nexenta или другие еще менее известные проприерасты?

да и РТО тоже хоть вручную их переключай

Какие у меня были варианты до того момента, как я прочитал про HAST/DRDB? CEPH без ZFS - нафик нафик. ZFS с 5 минутной репликацией, - это не HA. Дорогущий пропритарный Nexenta или другие еще менее известные проприерасты?

как только ты хочешь добавить одну девятку - умножай бюджет на порядок.

да и РТО тоже хоть вручную их переключай

Это что за зверь такой?

с одним сервером у тебя 99

ХА - уже 99.9

Это что за зверь такой?

почитай на досуге про RTO/RPO

как только ты хочешь добавить одну девятку - умножай бюджет на порядок.

Так вот с одной стороны сказки про на порядок, а с другой объективная реальность в виде HAST/DRDB, где нужно увеличивать бюджет всего в 2 раза, а не в 10.

так что стоимость второго сервера умножай ещё раза в два

Так вот с одной стороны сказки про на порядок, а с другой объективная реальность в виде HAST/DRDB, где нужно увеличивать бюджет всего в 2 раза, а не в 10.

ну-ну. я бы нашёл комбинацию действий, при которой эта ХА превратилась бы в пыль.

а если найду я, то найдёт и твой злоумышленник (по модели угроз)

ну-ну. я бы нашёл комбинацию действий, при которой эта ХА превратилась бы в пыль.

Ну для начала пусть это будет уже облако с девятками :)

Два разных облака в соседних датацентрах.

в общем - не усложняй решения. и сами требования должны быть обоснованными и разумными.

посмотри кстати в эту штуку

https://zrepl.github.io/

https://zrepl.github.io/configuration/overview.html#job-overview

а так - изыскивай что в инете пишут про ZFS Continuous Replication.

https://zrepl.github.io/

Читал про него. Я сам давно еще написал подобный скрипт на bash, который может непрерывно снэпшотить и отправлять на бэкап сервер.

IMHO самое простое решение - это иметь незадействованный дубль оборудования для ZFS сервера, который очень быстро полуавтоматически можно подключить к оставшимся живым частям zmirror, расположенным на разных хостах.

Т.е. например Host1: одна часть зеркала локальная, вторая по iSCSI. Аналогично есть Host2, который отдает по iSCSI свою вторую часть зеркала, но при этом сам не хостит пул, и всегда готовый взять на себя роль хоста пула, например если сдохнет материнка на хосте1, то нужно переключить роль мастера пула на host2 и чтобы соответственно сервисы типа DBMS и NAS перенаправили свои запросы на него, у них будет небольшой даун тайм на время смены роли, минимум потери данных (crash recovery для СУБД, не самые свежие версии файлов на NAS) и простоя, это конечно не HA, но очень бюджетно и прям наверно лучше не придумать из дешманских вариантов? Есть и недостатки конечно, например глючная память или проц на мастере пула может отправить пул на тот свет на всех активных частях зеркала. Тут уже кроме реплик на другой dedicated host (с другим процом и рамой) копии пула ничего не поможет.

Вот зачем они пытаются пихать в HAST устройства из vdevs? https://forums.freebsd.org/threads/zfs-hast.58757/#post-336146 Ведь куда логичнее строить HAST из уже достаточно надежных zvol разных пулов разных хостов?

в общем - не усложняй решения. и сами требования должны быть обоснованными и разумными.

Lsyncd и погнали

Lsyncd и погнали

Это все равно, что гонять ionice rsync в цикле?

Нет, он работает по inotify

проблема в том, что это только на sas построить можно, а это существенно дороже.

Так оно с общим стопаджем будет?

нормальная двухголовая полка zfs строится на принципе одновременного доступа к диску по разным путям.

Звучит как обычная хранилка с зфс?

Это в идеале, но хотя бы просто кластер из двух узлов ZFS, хотя бы их между собой соединить 2-3 шнурками нетворка?

Ты изобрёл ceph, vsan, stradge direct

Ты изобрёл ceph, vsan, stradge direct

CEPH вроде не рекомендуют поверх zvol. Он типа и сам все умеет без ZFS.

Какие у меня были варианты до того момента, как я прочитал про HAST/DRDB? CEPH без ZFS - нафик нафик. ZFS с 5 минутной репликацией, - это не HA. Дорогущий пропритарный Nexenta или другие еще менее известные проприерасты?

Вот у тебя три ноды зфс, копия на двух. Одна отключилась. Что делать?

CEPH вроде не рекомендуют поверх zvol. Он типа и сам все умеет без ZFS.

Уверен там контрольные суммы тоже считаются

Мой скрине видел? Там стрип в проде работает уже больше года

Ни одного црц

Уверен там контрольные суммы тоже считаются

С ZFS уже достаточно опыта, и я не доверяю чему-то другому работать к оборудованию ближе, чем на zvol или на FS of ZFS.

Вот у тебя три ноды зфс, копия на двух. Одна отключилась. Что делать?

Я предлагаю хранить по копии на каждой ноде, простое дублирование zvol как в СУБД репликах. На случай выхода из строя матплаты ZFS хоста. Если кого-то тянет к прекрасному, то пожалуйста, есть Lustre, а нам бы по простому по деревенскому.