Я за 6 два взял ))) а тут 4к один ))

ух блин. это круть

именно 2690в2, ни 2696в2

в мск уже по 4к камни, тушку правда 720xd советую

Да, 720xd взял на зип)) сейчас тестирую 👋👍👍

именно 2690в2, ни 2696в2

Или вообще вот так )))

Этой штукой заменить штатный ))) чтоб с шитьём не ипаться ))) я заказал и поставил 👍👍

именно 2690в2, ни 2696в2

Да, 2690 v2

Вот смешные )) брал кто ? ))

у меня такой дома стоит, правда без zfs

Вот смешные )) брал кто ? ))

че его брать ? там hba нет.

че его брать ? там hba нет.

но можно добавить, там пси-е имеются

корзина по SAS подключается

Всем спаибо за советы и идеи, проблема со скоростью решилась, к сожалению я не выяснил ни причины ни способ устранения, единственное что я сделал переинициализировал рейд.

Скорость теперь упирается в гигабитный канал

Как и было ранее

Всем спаибо за советы и идеи, проблема со скоростью решилась, к сожалению я не выяснил ни причины ни способ устранения, единственное что я сделал переинициализировал рейд.

Диффы снапшотов системы позволят выяснить это софт или хард глюки.

Диффы снапшотов системы позволят выяснить это софт или хард глюки.

Снапшеты не делал

А я тем временем закончил тестировать nvme+zfs vs nvme+mdadm в "преддверии" 3.0.... Прямо как-то грустно, это результаты при подключении через iSER 40G ashift=12, no compression, volblock 8k, 10 замеров по 120 секунд (с перерыв по 60с) на каждый тест, mdadm numjobs=1, при тестах zfs - numjobs=64

А что собственно удивляет?

Я думал, что хотя бы 10Г канал будет лимитировать, а тут даже до 10г не дотягивает

Zfs очевидно тяжелее mdadm. Но вообще совсем непонятен конфиг железа. Зеркало или как?

Zfs очевидно тяжелее mdadm. Но вообще совсем непонятен конфиг железа. Зеркало или как?

А это, сервер c ZFS: supermicro X9DRI-f Intel Xeon E5-2670v2 2.5GHz x2 224GB DDR3 M.2 pcie switch U.2 pcie switch -KINGSTON SKC2500M81000G -KINGSTON SKC2500M81000G -Samsung SSD 983 DCT M.2 960GB -Samsung SSD 983 DCT M.2 960GB -SAMSUNG MZVLB1T0HBLR-000L7 -SAMSUNG MZQL2960HCJR-00A07 И всё в raid0 (ака страйп), потому что рейд на nvme дисках имеет смысл собирать только для важных систем, а это лишь лаба с бэкапами раз в сутки

Тогда нахрена там вообще zfs?

Тогда нахрена там вообще zfs?

Сжатие

Не надо

Сжатие

Толку никакого не будет от сжатия. Тем более не такой судя по всему обьем данных. Включай дедуплекацию. Оперативки много

И дедуп когда у тебя 8 машин Active Directory от разных людей по 50ГБ каждая - и 3-4 Exchange сервера и один DAG кластер - это видится как неплохая идея для экономии места

И это лаба?

ну да

На ~12 человек

Каждый сотрудник держит свою инфраструктуру, где творит что хочет

Проще дисков докидать, если иначе никак. Zfs - не про скорость. Но каждый решает, как ему удобнее, и дешевле

Проще дисков докидать, если иначе никак. Zfs - не про скорость. Но каждый решает, как ему удобнее, и дешевле

Не про скорость. До 3.0 И как только диски nvme будут стоять достаточно мало, чтобы можно было просто "докинуть их", это будет иметь смысл

а после что - быстрее? Ну не может быть FS с чексуммами бытрее банальной ext4

Каким образом mdadm и ext4 связаны?

А на mdadm что? Zfs поверх?

Ладно, я думал по фразе iSER, mdadm и zvolblock будет очевидно... И то и другое как блочка выданы для хоста

И я не говорю, что поинт про чексуммы vs их отсутствие не валидный. И тем более не говорю, что ZFS должен быть "быстрее" чем raid0 mdadm

Ой. То есть блочные девайсы выданы? И на через zfs?

Ладно, похоже пора спать

Ой. То есть блочные девайсы выданы? И на через zfs?

Я второй вопрос не могу понять

А я тем временем закончил тестировать nvme+zfs vs nvme+mdadm в "преддверии" 3.0.... Прямо как-то грустно, это результаты при подключении через iSER 40G ashift=12, no compression, volblock 8k, 10 замеров по 120 секунд (с перерыв по 60с) на каждый тест, mdadm numjobs=1, при тестах zfs - numjobs=64

мало чего понятно

Потому что краткая выжимка

Потому что краткая выжимка

если тестировался zvol, то в mdadm lvm хотяб должен быть.

lvm то зачем

lvm то зачем

а zvol зачем ?

Потому что mdadm выдаёт мне нормальное блочное устройство

zvol с аналогичной целью Виртуализация же

Потому что mdadm выдаёт мне нормальное блочное устройство

да, но на одну абстракцию меньше получается

да, но на одну абстракцию меньше получается

А зачем мне ещё одна абстракция?

А зачем мне ещё одна абстракция?

иначе как-то совсем несопоставимо по фичам

иначе как-то совсем несопоставимо по фичам

lvo требует тонкое выделение, а тонкое выделение лишняя головная боль Плюс, 2 основных вопроса на который несут ответы эти тесты "Сколько % производительно до версии 3.0 Вы готовы пожертвовать ради фич ZFS?" "Насколько 3.0 станет лучше для nvme дисков в реальности"

А я тем временем закончил тестировать nvme+zfs vs nvme+mdadm в "преддверии" 3.0.... Прямо как-то грустно, это результаты при подключении через iSER 40G ashift=12, no compression, volblock 8k, 10 замеров по 120 секунд (с перерыв по 60с) на каждый тест, mdadm numjobs=1, при тестах zfs - numjobs=64

Уже раз сто было, тройку бы хоть тестил как менее заезженную

Уже раз сто было, тройку бы хоть тестил как менее заезженную

Я планировал это дополнить после официального релиза, чем насиловаться с внесением форка, который ломает автоматический билд

Я планировал это дополнить после официального релиза, чем насиловаться с внесением форка, который ломает автоматический билд

код фикс для нвме никто уже менять не будет, изменения в производительности от того что уже есть не ожидается

код фикс для нвме никто уже менять не будет, изменения в производительности от того что уже есть не ожидается

Фикса да, а вот для починки автоматического билда и прохождения тестов поменять что-то да придётся

код фикс для нвме никто уже менять не будет, изменения в производительности от того что уже есть не ожидается

Окей, у меня нет идей почему direct не принимается как флаг. Коммит точно тот. Что именно могло пойти не так, что zfs, который забилдился не имеет direct коммита, хотя файлы внутри директории имеют его. Коллеги, может у кого-то есть идеи или может я что-то упускаю из git clone, git branch, git fetch origin pull/$ID/head:zfs-direct

код фикс для нвме никто уже менять не будет, изменения в производительности от того что уже есть не ожидается

код фикс для нвме никто уже менять не будет, изменения в производительности от того что уже есть не ожидается

код фикс для нвме никто уже менять не будет, изменения в производительности от того что уже есть не ожидается

код фикс для нвме никто уже менять не будет, изменения в производительности от того что уже есть не ожидается

код фикс для нвме никто уже менять не будет, изменения в производительности от того что уже есть не ожидается

код фикс для нвме никто уже менять не будет, изменения в производительности от того что уже есть не ожидается

код фикс для нвме никто уже менять не будет, изменения в производительности от того что уже есть не ожидается

у кого есть убунта с зфс? - как там ненужные снапшоты удалить и не опасно ли?

Безопасно ли удалить кучу снапшотов которые убунта зачемто сама делает на rpool?

Стоп, Вы же уже спрашивали

а никто не знает. у вас какой зфс?

у кого есть убунта с зфс? - как там ненужные снапшоты удалить и не опасно ли?

Думаю как и везде: zfs list -t snapshot -o name -S creation -H | grep/head/tail ... | xargs -n1 zfs destroy

у кого есть убунта с зфс? - как там ненужные снапшоты удалить и не опасно ли?

Как минимум я привёл ссылку почему они создаются. Если Вы знаете почему они создаются - Вы можете оценить опасность их удаления

Много их

Вам ведь ответили, что значит никто не знает Но учитывая, что Вы спрашиваете в третий раз и в третий раз игнорируете ответы данные ранее - с Вашими знаниями - небезопасно.

у кого есть убунта с зфс? - как там ненужные снапшоты удалить и не опасно ли?

в смысле с рутом на зфс?

так он ещё в виде PR только, что вы пытаетесь с мастером сделать?

https://github.com/openzfs/zfs/pull/10018

так он ещё в виде PR только, что вы пытаетесь с мастером сделать?

Я осознал проблему, я умудрился сделать configure на 2.1.6, а make уже после git fetch commit

Я осознал проблему, я умудрился сделать configure на 2.1.6, а make уже после git fetch commit

если не с нуля между ветками переключаетесь, то стоит делать полную очистку через тот же git clean

если не с нуля между ветками переключаетесь, то стоит делать полную очистку через тот же git clean

Да. Я уже выкачал репозиторий с нуля, так и осознал проблему

так он ещё в виде PR только, что вы пытаетесь с мастером сделать?

Не совсем с мастером

Да. Я уже выкачал репозиторий с нуля, так и осознал проблему

и тут я выяснил, что там ещё нет патча для volume, только для ФС

Скажите 👋плиз )) Как заставить arc2 принудительно кэшировать линейное потоковое чтение ? Что то те Команды , что нагуглил - не включают :(((

код фикс для нвме никто уже менять не будет, изменения в производительности от того что уже есть не ожидается

Видимо будут fio --time_based --name=benchmark --size=20G --runtime=30 --filename=/nvme/t.1 --ioengine=sync --randrepeat=0 --iodepth=32 --direct=1 --invalidate=1 --verify=0 --verify_fatal=0 --numjobs=4 --rw=read --blocksize=8k --group_reporting

код фикс для нвме никто уже менять не будет, изменения в производительности от того что уже есть не ожидается

С включенным директом стало... медленнее?