там отдельно улучшали и обычный ресильвер

Так, Первое, никогда не будет перестроения рейда с максимальной скоростью диска. Второе, у Вас массив будет отдыхать на весь период ребилда? Третье, если есть zvol, то как бэ он немного большим будет, поэтому всегда стоит считать относительно 80% размера пула. Поэтому наихудший сценарий это 30-50 МБ/с

Почему 80% пула, когда восстановление идет 1 диска? второе, все сильно зависит от конкретного окружения, например, ресилвер может восстанавливать 1 диск из 10, тогда чтение будет условно с 10 и тогда запись будет на уровне максимальной для диска. Поэтому все таике прогнозы мало обоснованы

Ты бы прочитал все слова в пункте 3.... А не цеплялся бы за 80%

ды к ты бы почитал мой ответ и подумал

Я тоже сомневаюсь в этом, иначе можно было бы откатиться на любое количество транзакций при необходимости

не помню сделали ли его доступным для raidz

мужики, ачо там нынче, raidz можно доп. дисками расширять?

мужики, ачо там нынче, raidz можно доп. дисками расширять?

Его в мастер добавили аж в ноябре

Просто оставлю тут... https://habr.com/ru/companies/vstack/articles/780154/

^

а не, зря быканул, линк есть на презу

Да, там в презентации описано, не совсем классический ребилд, но хоть что-то

Но я что-то релиз с ним не могу найти

Да, в самом zfs её ещё не включили

Ребята, всем привет, я понимаю что возмжоно не по адресу, но больше спросить негде. в общем мне нужно перегнать 120 тер с одного массива на другой. исходный массив на 12 дисках exos 16тб организован в виде двух mdadm raid6 соединенных с помощью lvm в один массив (типа raid60) второй массив состоит из 16 таких же дисков и организован в виде raidz2 x 2 (страйп из двух raidz2 по 8 дисков) Оба массивы собраны внутри одного HBA LSI 9211-16i (24 диска воткнуты в корзину и 4 диска напрямую через 8087-4сата) на втором массиве создан zvol точно такого же объема как и лвм. при попытке сделать дд с одного на другой - скорость около 200мегабайт/сек если читать с первого в /dev/null скорость 800мегабайт/сек (что меня устраивает) если писать во второй с оперативки то скорость в районе 1гигабайт/сек (что меня тоже устраивает) выручайте братцы, невкурю где я не прав!

Ребята, всем привет, я понимаю что возмжоно не по адресу, но больше спросить негде. в общем мне нужно перегнать 120 тер с одного массива на другой. исходный массив на 12 дисках exos 16тб организован в виде двух mdadm raid6 соединенных с помощью lvm в один массив (типа raid60) второй массив состоит из 16 таких же дисков и организован в виде raidz2 x 2 (страйп из двух raidz2 по 8 дисков) Оба массивы собраны внутри одного HBA LSI 9211-16i (24 диска воткнуты в корзину и 4 диска напрямую через 8087-4сата) на втором массиве создан zvol точно такого же объема как и лвм. при попытке сделать дд с одного на другой - скорость около 200мегабайт/сек если читать с первого в /dev/null скорость 800мегабайт/сек (что меня устраивает) если писать во второй с оперативки то скорость в районе 1гигабайт/сек (что меня тоже устраивает) выручайте братцы, невкурю где я не прав!

Ребята, всем привет, я понимаю что возмжоно не по адресу, но больше спросить негде. в общем мне нужно перегнать 120 тер с одного массива на другой. исходный массив на 12 дисках exos 16тб организован в виде двух mdadm raid6 соединенных с помощью lvm в один массив (типа raid60) второй массив состоит из 16 таких же дисков и организован в виде raidz2 x 2 (страйп из двух raidz2 по 8 дисков) Оба массивы собраны внутри одного HBA LSI 9211-16i (24 диска воткнуты в корзину и 4 диска напрямую через 8087-4сата) на втором массиве создан zvol точно такого же объема как и лвм. при попытке сделать дд с одного на другой - скорость около 200мегабайт/сек если читать с первого в /dev/null скорость 800мегабайт/сек (что меня устраивает) если писать во второй с оперативки то скорость в районе 1гигабайт/сек (что меня тоже устраивает) выручайте братцы, невкурю где я не прав!

в пуле нет ни slog на ssd ни special на ssd ? только nl-sas?

Ребята, всем привет, я понимаю что возмжоно не по адресу, но больше спросить негде. в общем мне нужно перегнать 120 тер с одного массива на другой. исходный массив на 12 дисках exos 16тб организован в виде двух mdadm raid6 соединенных с помощью lvm в один массив (типа raid60) второй массив состоит из 16 таких же дисков и организован в виде raidz2 x 2 (страйп из двух raidz2 по 8 дисков) Оба массивы собраны внутри одного HBA LSI 9211-16i (24 диска воткнуты в корзину и 4 диска напрямую через 8087-4сата) на втором массиве создан zvol точно такого же объема как и лвм. при попытке сделать дд с одного на другой - скорость около 200мегабайт/сек если читать с первого в /dev/null скорость 800мегабайт/сек (что меня устраивает) если писать во второй с оперативки то скорость в районе 1гигабайт/сек (что меня тоже устраивает) выручайте братцы, невкурю где я не прав!

я имею в виду что если читать первый массив с помощью дд в девнулл то читается со скоростью 800

У тебя медленная скорость ZFS на запись?

ничего это нет, и это не нужно для последовательной записи

да, пишет медленно если читать с первого массива. Если писать с оперативки, то он вполне себе гигабайт в секунду прожовывает

для такой конфигурации это очень хороший результат. Попробуйте еще убрать sync

Ты tmpfs же проверял?

да, пишет медленно если читать с первого массива. Если писать с оперативки, то он вполне себе гигабайт в секунду прожовывает

Так узкое место, скорее всего, HBA LSI 9211-16i. Ему одновременно и читать и писать приходиться

ну не на столько же , не надо)))

да, я писал из тмпфс

mount /dev/tmpfs /tmp/tmpfs dd if=/dev/random of=/tmp/tmpfs/test.disk А затем же dd if=/tmp/test.disk of=/dev/zvol ?

Ребята, всем привет, я понимаю что возмжоно не по адресу, но больше спросить негде. в общем мне нужно перегнать 120 тер с одного массива на другой. исходный массив на 12 дисках exos 16тб организован в виде двух mdadm raid6 соединенных с помощью lvm в один массив (типа raid60) второй массив состоит из 16 таких же дисков и организован в виде raidz2 x 2 (страйп из двух raidz2 по 8 дисков) Оба массивы собраны внутри одного HBA LSI 9211-16i (24 диска воткнуты в корзину и 4 диска напрямую через 8087-4сата) на втором массиве создан zvol точно такого же объема как и лвм. при попытке сделать дд с одного на другой - скорость около 200мегабайт/сек если читать с первого в /dev/null скорость 800мегабайт/сек (что меня устраивает) если писать во второй с оперативки то скорость в районе 1гигабайт/сек (что меня тоже устраивает) выручайте братцы, невкурю где я не прав!

Так узкое место, скорее всего, HBA LSI 9211-16i. Ему одновременно и читать и писать приходиться

где-то в цепочке узкое место, по фану можно ещё mbuffer попробовать между ними

zvol с каким блоком ?

С учётом теста выше - я бы сказал что так и есть

Запустите одновременно чтение с первого в /dev/null и запись во второй из оперативки)

Ребята, всем привет, я понимаю что возмжоно не по адресу, но больше спросить негде. в общем мне нужно перегнать 120 тер с одного массива на другой. исходный массив на 12 дисках exos 16тб организован в виде двух mdadm raid6 соединенных с помощью lvm в один массив (типа raid60) второй массив состоит из 16 таких же дисков и организован в виде raidz2 x 2 (страйп из двух raidz2 по 8 дисков) Оба массивы собраны внутри одного HBA LSI 9211-16i (24 диска воткнуты в корзину и 4 диска напрямую через 8087-4сата) на втором массиве создан zvol точно такого же объема как и лвм. при попытке сделать дд с одного на другой - скорость около 200мегабайт/сек если читать с первого в /dev/null скорость 800мегабайт/сек (что меня устраивает) если писать во второй с оперативки то скорость в районе 1гигабайт/сек (что меня тоже устраивает) выручайте братцы, невкурю где я не прав!

Так узкое место, скорее всего, HBA LSI 9211-16i. Ему одновременно и читать и писать приходиться

В каком месте он узкий ?)

Мы точно модели ещё не знаем. Но у контроллера узким местом в таких режимах работы может выступать процессор на нём.

4M

Ребята, всем привет, я понимаю что возмжоно не по адресу, но больше спросить негде. в общем мне нужно перегнать 120 тер с одного массива на другой. исходный массив на 12 дисках exos 16тб организован в виде двух mdadm raid6 соединенных с помощью lvm в один массив (типа raid60) второй массив состоит из 16 таких же дисков и организован в виде raidz2 x 2 (страйп из двух raidz2 по 8 дисков) Оба массивы собраны внутри одного HBA LSI 9211-16i (24 диска воткнуты в корзину и 4 диска напрямую через 8087-4сата) на втором массиве создан zvol точно такого же объема как и лвм. при попытке сделать дд с одного на другой - скорость около 200мегабайт/сек если читать с первого в /dev/null скорость 800мегабайт/сек (что меня устраивает) если писать во второй с оперативки то скорость в районе 1гигабайт/сек (что меня тоже устраивает) выручайте братцы, невкурю где я не прав!

покажи конкретные команды. Но предложение - bs повыше поставить просто

Запустите одновременно чтение с первого в /dev/null и запись во второй из оперативки)

@underflow17 этот вариант не проверен?)

Эрм, а точно 9211 а не 9201?

Ребят, я в общем думаю тупо проц не тащит. Завтра попробую другой поставить

Что именно он не тащит ? 30 дисков ?

LSI SAS9211-16i

Чтение с лвм и запись в зфс одновременно

290k iops, ваши диски выдают столько ?

290k iops, ваши диски выдают столько ?

Херня

Так Алексей написал, что проц на серваке не тянет, судя по всему

Ааааа этот проц … да что там такое стоит то 😰