А можно хоть одну ссылку?

Ссылку на что?

Ссылку на что?

Где сравнима с описанием железа

А то я даже не могу представить, как должны тогда летать дисковые полки на 60 дисков и более

Вот это моя конфигурация))

Где сравнима с описанием железа

Свои тесты я не выкладывал, ссылки на них нет

Причём это при использовании современных моделей , например я тестил на lsi 9480. Всяческие интегрированные а-ля 3108 сдуваются на 10+ дисках

У вас точно sync не был дисейбл?

У вас точно sync не был дисейбл?

Точно

Разница на 60 дисках при паттерне 4к, 50/50% random read/write , разница в 7 раз по iops в пользу zfs. Вот такие пироги..

а как вы дисковые полки минуя родной контроллер в зфс раздали?

Разница на 60 дисках при паттерне 4к, 50/50% random read/write , разница в 7 раз по iops в пользу zfs. Вот такие пироги..

учитывая что у контроллера кучу кеша, а у зфс нефига нет, вообще загадка

Sync я даже не пробовал отключать

сколько IOPS было?

учитывая что у контроллера кучу кеша, а у зфс нефига нет, вообще загадка

Куча кэша???))) откуда))))

сколько IOPS было?

14к vs 2k

напрмер, у MSA2040 заявлена пропускная способность 80к иопс по контроллеру

14к vs 2k

что ж та такой странный контроллер у вас был

"30 любой аппаратный рейд" - ентри левел мса 80к, значит не любой рейд

напрмер, у MSA2040 заявлена пропускная способность 80к иопс по контроллеру

Причём тут msa вообще)))))

Причём тут msa вообще)))))

там аппаратный рейд

Я пишу про карточку, модель смотрите выше, я указал

а зфс через эту же карточку без рейда работало?

зы: __"любой аппаратный рейд"__

"HPE Smart Array SR ControllersHPE’s new line of enterprise-class RAID controllers for Gen10 servers help maximize performance, data availability, and storage capacity. They deliver up to 1.6 million IOPS"

зы: __"любой аппаратный рейд"__

Я боюсь что нарушу вашу стройную картину мира - но в контроллерах msa нет как таковых аппаратных raid контроллеров))) как впрочем у большинства классических схд

И мса ни на одном количестве hdd не выдаст 80к iops при хоть сколько нибудь вменяемом времени отклика. Не надо верить маркетинговым даташитам, даже если там что то подобное написано

Я боюсь что нарушу вашу стройную картину мира - но в контроллерах msa нет как таковых аппаратных raid контроллеров))) как впрочем у большинства классических схд

я бось наруши вашу картину мира. но практически все рейды внутри софтовые. просто есть специальные чипы, которые умеют какие то рейдспецифические операции выполнять быстро

я бось наруши вашу картину мира. но практически все рейды внутри софтовые. просто есть специальные чипы, которые умеют какие то рейдспецифические операции выполнять быстро

Отлично, значит мы понимаем друг друга и не будем сравнивать тёплое с мягким)

Отлично, значит мы понимаем друг друга и не будем сравнивать тёплое с мягким)

и все таки, как вы подключили 60 дисков к зфс?

В смысле? ))

в смысле вы перешили лси в ит моде?

У меня есть конфигурация из 180 дисков))

в смысле вы перешили лси в ит моде?

А, если про тест - то да. В проде у меня по два hba 9305 на сервер

А, если про тест - то да. В проде у меня по два hba 9305 на сервер

в ит режиме?

в смысле вы перешили лси в ит моде?

Перешивать кстати не нужно, 9480 поддерживает режим jbod

попахивает магией и кривой настройкой рейда. ну или все таки отключенным синком

Никому ничего не навязываю и не собираюсь доказывать. Но мне не нравится уровень негатива исходящий от вас в профильном чате.

Поэтому посчитал нужным привести свой опыт

Никому ничего не навязываю и не собираюсь доказывать. Но мне не нравится уровень негатива исходящий от вас в профильном чате.

негативный я) просто во всех профильных сайтах пишут, что зфс не быстр, но всегда находятся энтузиасты, у кого зфс рвет все и вся. вас теперь двое в этой группе

Пусть пишут, вы тоже написали. Отлично, дальше тему можно не развивать. Каждый остался при своём мнении

итого в стрипе будет 12600

Ваш опыт кстати был полезен. Я например не знал что oracle zfs умеет удалять из пула любой vdev. Лично мне это было очень полезно

Ваш опыт кстати был полезен. Я например не знал что oracle zfs умеет удалять из пула любой vdev. Лично мне это было очень полезно

вот, я вам пруфы предоставил :) а вы мне зажали )

Зачем вам мои пруфы? Это же не ссылки на чей то блог или реддит?)

Конфигурацию я вам описал

ну нет так нет)

Я просто не понимаю какие мои пруфы вас убедят ..

ну тест иопс и настройки контроллера. я понимаю, что ради пруфов, вы сейчас не будете пересобирать рейд, но вдруг у вас остались картинки с тех времен когда вы сравнивали

я "почти" верю в 14к (при теоретически возможных 12к, а учитывая что зфс еще и метаданные пишет, то часть иопсов еще на них уходит), но сильно не верю в 2к на довольно приличном контроллере который у вас

Скрины я не делал, зачем? Настроек у контроллера минималка ное количество, там сложно накосячить

опять же - 12к иопс на 60 дисках это при чистом стрипе. т.е. если у вас все же прод, и хотя бы рейд10, то там не больше 6к должно быть.

Вы удивитесь, но я сравнивал raid60 из 4 групп и zraid2 на пуле из 4-х вдев)

Вы удивитесь, но я сравнивал raid60 из 4 групп и zraid2 на пуле из 4-х вдев)

удивлюсь :) как можно получить иопс выше чем могут физически диски

Параллельная нагрузка, не надо считать в лоб)

Параллельная нагрузка, не надо считать в лоб)

та ладно? )))) окей, есть два диска, каждый максимум может выдать 200иопс. сделайте мне с двух дисков 500 :))))

Я видел как на один nl_sas диск приходилось 500 iops))

Я видел как на один nl_sas диск приходилось 500 iops))

у вас nl_sas диски?

и можно модель, а то что то подозрение, что там все что можно кеши в нем включены

Я предлагаю завершить наше увлекательное обсуждение. Мои коллеги вели себя аналогично пока не увидели тесты в живую. Вам я к сожалению продемонстрировать не смогу так как этого стенда давно нет

Я предлагаю завершить наше увлекательное обсуждение. Мои коллеги вели себя аналогично пока не увидели тесты в живую. Вам я к сожалению продемонстрировать не смогу так как этого стенда давно нет

да, вы правы. а то мы уже в мифы и сказки ушли

и можно модель, а то что то подозрение, что там все что можно кеши в нем включены

Локальные кэши на дисках я кстати отключаю перед сборкой пулов в проде

Как было в тесте - не вспомню

Как было в тесте - не вспомню

у вас нереально хорошие показатели для зфс. но приятно читать, что есть места, где зфс работает очень быстро

aes-cbc-plain в люксе.

цбц медленнее при зашифровке причем сильно. даже с aes-ni. лучше xts юзать.

а luks часом не xts? у zfs gcm. Может у вас разные типы шифрования?

а это почти не важно. одно от другого отличается грубо говоря колвом ксоров до и после самого aes. картинки есть в педивикии

Aesh has been banned! Reason: CAS ban.

Aesh has been banned! Reason: CAS ban.

Господа специалисты, а подскажите, как лучше шифрование организовать на raidz из 4-х дисков? -каждый диск зашифровать, шифрованные тома объединить в raidz (тогда при сбое надо будет каждый диск сначала открыть, потом возвращать массив) ; - на 4-х дисках сделать raidz, поверх сделать шифрованную ФС, тогда расшифровать нужно будет ФС на уже смонтированном массиве.

Да

Конечно слой шифрования на zfs, но можете сделать как вам удобнее

логично использовать нативное шифрование zfs на пул или определенный датасет

root@san:/tmp# zpool create -o encryption=on zzz /tmp/d1 property 'encryption' is not a valid pool property root@san:/tmp# zfs set encryption=on zzz cannot set property for 'zzz': 'encryption' is readonly

абыдно :(

почему это не стирается через zpool clear?

почему это не стирается через zpool clear?

удали subvol )

почему это не стирается через zpool clear?

permanent error же, исчезнет только если перезаписать блок потерянный, либо да, удалить zvol)

вот кстати чем плох zfs. если б он не указывал что есть потерянные данные, то и не заметил бы. а теперь неспокойно как-то 😃

суть в том что файл не читался

вообще не хороший опыт пока что получается: pool создан 20 часов назад, запись на 60% утилизации дисков 60%/40% read/write и уже приехали

суть в том что файл не читался

какой файл?

в этом subvol