какие цели по производительности надо?

Джентльмены, есть пара вопросов по zfs on nvme. Если кто-то гонял/тестил/завел в прод подскажите: 1. какова разница между sata ssd и nvme ssd под zfs, есть ли смысл брать nvme (опыт по зеркалу, рейдз1/2 может есть у кого)? 2. насколько сильный оверхед даёт raidz1/2 на nvme, есть задача сохранить высокую производительность в IOPS+randrw при этом получить объем, т.к. дисков мало в ЦОД-е выдают (можем взять 3-4 нвме по 7 ТБ), и не хочется отдавать 50% под зеркало, слишком дорого. 3. есть ли смысл в special dev + slog на nvme для sata ssd пулов, или просто собрать пул на sata ssd и не париться ибо бонусов ноль? Увы но у самого опыта с обычными сата и сас ссд имеется, а вот нвме нет в таком кол-ве что бы потесить.

Спешл и слог на AllFlash не нужны

это не цели по производительности :)

если nvme существенно быстрее sata, то стоит сделать special для sata на nvme

но вообще если нужно просто "чтобы не тормозило", то raidz из nvme должно быть за глаза, пока вы не скажете конкретных задач

Спешл и слог на AllFlash не нужны

но вообще если нужно просто "чтобы не тормозило", то raidz из nvme должно быть за глаза, пока вы не скажете конкретных задач

А какие реккомендации по allflash? Очень интересно, доклады не попадались кому?

По сата ссд если моносторадж все как с винтами, просто собираете нужный пул и в бой. Побольше ARC, правильный рекордсайз ну и все. А вот с нвме сложнее, я тестов не особо видел. Разве что у прокса, ну и не видел комбинированных решений нвме+сата/сас ссд.

Я бы сказал по U2/M2/Pci-E

Вообще я собирал Raid10 Тобишь ZFS mirror+mirror, скорости не мерил, но работало стабильно больше года) а сейчас проще взять U2 на 6-16TB в зеркало, они сильно дешевле любого огорода с Raid контроллерами и т/д

Ну страйп зеркал это понятная классика, но когда у тебя немного высокоскоростных и дорогих дисков с большой стоимостью, задаешься впросом - а не жирно ли отдавать 50% емкости для рейд10 при этом не зная получишь ли от этого рейд 10 на U2 хоть какой-то прирост.

у тебя U2 ограничены по кол-ву

В ЦОДе - да.

В мамке

У тебя не все слоты будут x4x4x4x4

Ну вот я про это же и спрашиваю тут =) Потому что в сети данных особо нет. Есть тесты проксмокса за 2020. Еще пару абстрактных конференций с bsdconf где тестов нет, но сетуют что zfs не правильно работает с nvme. Есть старые заметки за 2015-2018 где говорят не собирать на зфс ничего кроме зеркал. Но вот год назад у 45drives собирали сторадж на шпинделях с raidz2 слогом на сата ссд и спешл девайс на нвме. Так что тут пока сам не потестишь не поймешь. А где ж эту пачку nvme для тестов взять =)

У вас есть готовые алгоритмы тестов или конфиги для fio? Я мог бы на боевых машинах потестить, так сказать в реальных условиях. По ночам нагрузка почти по нулям, так что будут более чем правдоподобные результаты. Сейчас имеются 2 сервера с следующей начинкой: 1) Зеркало из 2 nvme Samsung 983 по 1.8Tb + зеркало из 2х sata samsung 250 PRO по 256Gb. Проц W-2255, RAM 128Gb в 2 канала 2) Зеркало из 2х nvme Samsung 980 Pro. Проц E5-2666v3, скоро будет E5-2696v3. RAM 128Gb Скоро в оба сервера приедут по 2 Samsung PM1725b, я их всё равно планировал тестить и сравнивать, так что будет нам обоим профит)

аппаратный рейд на nvme это что-то загадочное)

аппаратный рейд на nvme это что-то загадочное)

Есть, но они дорогие

кстати Fio для тестов самому интересно какую комманду лучше для тестирования в первую очередь для виртов, имею ввиду опции

Кто пробовал установить Линукс на смартфон?

извините, это не чат об аниме.

Причем тут это?

Причем тут это?

А причём тут линукс на телефонах?

Значит неправильно написали в каталоге

Значит неправильно написали в каталоге

https://docs.zfsbootmenu.org/en/v2.2.x/ Видели?

Вспомнились игры на заре компьютерщиства с кучей разных ос на компе) Забавно.

даже без этого, удобная вещь для отката после неудачного обновления :)

Ребята, всем привет! мой пул имеет следующую конфигурацию: https://pastebin.com/rbtQEHbf pool raidz2-0 (16 hdd) special mirror-2 (2 ssd) mirror-3 (2 ssd) судя по выводу zdb -C все vdev'ы имеют одинаковый ашифт 12 https://pastebin.com/Vs3X1tPf однако, при попытке удалить любое из special зеркал приводит к ошибке cannot remove mirror-3: invalid config; all top-level vdevs must have the same sector size and not be raidz. что-то можно предпринять для удаления одного из зеркал в special? спасибо.

а special под raidz не должен быть тоже raidz до кучи ?

Ребята, всем привет! мой пул имеет следующую конфигурацию: https://pastebin.com/rbtQEHbf pool raidz2-0 (16 hdd) special mirror-2 (2 ssd) mirror-3 (2 ssd) судя по выводу zdb -C все vdev'ы имеют одинаковый ашифт 12 https://pastebin.com/Vs3X1tPf однако, при попытке удалить любое из special зеркал приводит к ошибке cannot remove mirror-3: invalid config; all top-level vdevs must have the same sector size and not be raidz. что-то можно предпринять для удаления одного из зеркал в special? спасибо.