Vladislav
https://openzfs.org/w/images/a/a0/Saso_-_resilver_update.pdf
George
недавно сделали ещё rebuild, он как раз в draid юзается, вот он сильно быстрее но со своими нюансами, например он не проверяет чексуммы в процессе https://openzfs.github.io/openzfs-docs/Basic%20Concepts/dRAID%20Howto.html#rebuilding-to-a-distributed-spare
George
он там sequential sesilver зовётся
George
не помню сделали ли его доступным для raidz
George
там отдельно улучшали и обычный ресильвер
George
т.к. draid на самом деле многое переиспользует от raidz
Vladislav
там отдельно улучшали и обычный ресильвер
Да, это я нашёл (правда не понял в чем улучшение) Но восстановление же поблочное при условии наличия этого блока в текущей существующей TXG группе?
Alex
Так, Первое, никогда не будет перестроения рейда с максимальной скоростью диска. Второе, у Вас массив будет отдыхать на весь период ребилда? Третье, если есть zvol, то как бэ он немного большим будет, поэтому всегда стоит считать относительно 80% размера пула. Поэтому наихудший сценарий это 30-50 МБ/с
Почему 80% пула, когда восстановление идет 1 диска? второе, все сильно зависит от конкретного окружения, например, ресилвер может восстанавливать 1 диск из 10, тогда чтение будет условно с 10 и тогда запись будет на уровне максимальной для диска. Поэтому все таике прогнозы мало обоснованы
Artem
ды к ты бы почитал мой ответ и подумал
А может ты свою оценку озвучишь?
Vladislav
Я тоже сомневаюсь в этом, иначе можно было бы откатиться на любое количество транзакций при необходимости
А все, понял о чём речь Zfs ребилдит не по физическим блокам, а по существующим логическим транзакциям, начиная с самой старой, иными словами, ребилд превращается в случайное чтение на крупном массиве И вроде бы даже писали об этом выше кому-то
Vladislav
И что убыстрить ребилд можно только флагом - блочное восстановление А нет, это про replace было
жюн
мужики, ачо там нынче, raidz можно доп. дисками расширять?
Vladislav
Vladislav
Но я что-то релиз с ним не могу найти
жюн
^
паста большая, а как реализовали по итогу - хбз денёк поребилдимся и готово?)
жюн
а не, зря быканул, линк есть на презу
Vladislav
а не, зря быканул, линк есть на презу
Да, там в презентации описано, не совсем классический ребилд, но хоть что-то
Vladislav
Vladislav
Да, в самом zfs её ещё не включили
жюн
Да, там в презентации описано, не совсем классический ребилд, но хоть что-то
по факту то энивей всё двигается долго и мучительно
жюн
ребилд на хардах представили?)
Group Butler
Hi Надя!
жюн
Да, в самом zfs её ещё не включили
залепили ещё ребилды между уровням raidz, в целом то +- так же должно быть, если достаточно свободного места
Алексей
Ребята, всем привет, я понимаю что возмжоно не по адресу, но больше спросить негде. в общем мне нужно перегнать 120 тер с одного массива на другой. исходный массив на 12 дисках exos 16тб организован в виде двух mdadm raid6 соединенных с помощью lvm в один массив (типа raid60) второй массив состоит из 16 таких же дисков и организован в виде raidz2 x 2 (страйп из двух raidz2 по 8 дисков) Оба массивы собраны внутри одного HBA LSI 9211-16i (24 диска воткнуты в корзину и 4 диска напрямую через 8087-4сата) на втором массиве создан zvol точно такого же объема как и лвм. при попытке сделать дд с одного на другой - скорость около 200мегабайт/сек если читать с первого в /dev/null скорость 800мегабайт/сек (что меня устраивает) если писать во второй с оперативки то скорость в районе 1гигабайт/сек (что меня тоже устраивает) выручайте братцы, невкурю где я не прав!
Ivan
Ребята, всем привет, я понимаю что возмжоно не по адресу, но больше спросить негде. в общем мне нужно перегнать 120 тер с одного массива на другой. исходный массив на 12 дисках exos 16тб организован в виде двух mdadm raid6 соединенных с помощью lvm в один массив (типа raid60) второй массив состоит из 16 таких же дисков и организован в виде raidz2 x 2 (страйп из двух raidz2 по 8 дисков) Оба массивы собраны внутри одного HBA LSI 9211-16i (24 диска воткнуты в корзину и 4 диска напрямую через 8087-4сата) на втором массиве создан zvol точно такого же объема как и лвм. при попытке сделать дд с одного на другой - скорость около 200мегабайт/сек если читать с первого в /dev/null скорость 800мегабайт/сек (что меня устраивает) если писать во второй с оперативки то скорость в районе 1гигабайт/сек (что меня тоже устраивает) выручайте братцы, невкурю где я не прав!
ээээм. от dd zfs превратится в lvm 😃
Алексей
не превратится
Алексей
я пишу в zvol
Станислав
Ребята, всем привет, я понимаю что возмжоно не по адресу, но больше спросить негде. в общем мне нужно перегнать 120 тер с одного массива на другой. исходный массив на 12 дисках exos 16тб организован в виде двух mdadm raid6 соединенных с помощью lvm в один массив (типа raid60) второй массив состоит из 16 таких же дисков и организован в виде raidz2 x 2 (страйп из двух raidz2 по 8 дисков) Оба массивы собраны внутри одного HBA LSI 9211-16i (24 диска воткнуты в корзину и 4 диска напрямую через 8087-4сата) на втором массиве создан zvol точно такого же объема как и лвм. при попытке сделать дд с одного на другой - скорость около 200мегабайт/сек если читать с первого в /dev/null скорость 800мегабайт/сек (что меня устраивает) если писать во второй с оперативки то скорость в районе 1гигабайт/сек (что меня тоже устраивает) выручайте братцы, невкурю где я не прав!
Вы имеете ввиду чтение с первого в /dev/null на втором?
Алексей
я имею в виду что если читать первый массив с помощью дд в девнулл то читается со скоростью 800
Sergey
Ребята, всем привет, я понимаю что возмжоно не по адресу, но больше спросить негде. в общем мне нужно перегнать 120 тер с одного массива на другой. исходный массив на 12 дисках exos 16тб организован в виде двух mdadm raid6 соединенных с помощью lvm в один массив (типа raid60) второй массив состоит из 16 таких же дисков и организован в виде raidz2 x 2 (страйп из двух raidz2 по 8 дисков) Оба массивы собраны внутри одного HBA LSI 9211-16i (24 диска воткнуты в корзину и 4 диска напрямую через 8087-4сата) на втором массиве создан zvol точно такого же объема как и лвм. при попытке сделать дд с одного на другой - скорость около 200мегабайт/сек если читать с первого в /dev/null скорость 800мегабайт/сек (что меня устраивает) если писать во второй с оперативки то скорость в районе 1гигабайт/сек (что меня тоже устраивает) выручайте братцы, невкурю где я не прав!
в пуле нет ни slog на ssd ни special на ssd ? только nl-sas?
Алексей
в пуле нет ни slog на ssd ни special на ssd ? только nl-sas?
ничего это нет, и это не нужно для последовательной записи
Vladislav
Ребята, всем привет, я понимаю что возмжоно не по адресу, но больше спросить негде. в общем мне нужно перегнать 120 тер с одного массива на другой. исходный массив на 12 дисках exos 16тб организован в виде двух mdadm raid6 соединенных с помощью lvm в один массив (типа raid60) второй массив состоит из 16 таких же дисков и организован в виде raidz2 x 2 (страйп из двух raidz2 по 8 дисков) Оба массивы собраны внутри одного HBA LSI 9211-16i (24 диска воткнуты в корзину и 4 диска напрямую через 8087-4сата) на втором массиве создан zvol точно такого же объема как и лвм. при попытке сделать дд с одного на другой - скорость около 200мегабайт/сек если читать с первого в /dev/null скорость 800мегабайт/сек (что меня устраивает) если писать во второй с оперативки то скорость в районе 1гигабайт/сек (что меня тоже устраивает) выручайте братцы, невкурю где я не прав!
Я одного не понимаю
Vladislav
У тебя медленная скорость ZFS на запись?
Vladislav
А где проблема?
Алексей
У тебя медленная скорость ZFS на запись?
да, пишет медленно если читать с первого массива. Если писать с оперативки, то он вполне себе гигабайт в секунду прожовывает
Sergey
ничего это нет, и это не нужно для последовательной записи
для такой конфигурации это очень хороший результат. Попробуйте еще убрать sync
Алексей
Ты tmpfs же проверял?
да, я писал из тмпфс
Станислав
да, пишет медленно если читать с первого массива. Если писать с оперативки, то он вполне себе гигабайт в секунду прожовывает
Так узкое место, скорее всего, HBA LSI 9211-16i. Ему одновременно и читать и писать приходиться
Станислав
ну не на столько же , не надо)))
Запустите одновременно чтение с первого в /dev/null и запись во второй из оперативки)
Vladislav
да, я писал из тмпфс
mount /dev/tmpfs /tmp/tmpfs dd if=/dev/random of=/tmp/tmpfs/test.disk А затем же dd if=/tmp/test.disk of=/dev/zvol ?
Алексей
mount /dev/tmpfs /tmp/tmpfs dd if=/dev/random of=/tmp/tmpfs/test.disk А затем же dd if=/tmp/test.disk of=/dev/zvol ?
абсолютно верно, за исключением косметики в виде размера блока
George
Ребята, всем привет, я понимаю что возмжоно не по адресу, но больше спросить негде. в общем мне нужно перегнать 120 тер с одного массива на другой. исходный массив на 12 дисках exos 16тб организован в виде двух mdadm raid6 соединенных с помощью lvm в один массив (типа raid60) второй массив состоит из 16 таких же дисков и организован в виде raidz2 x 2 (страйп из двух raidz2 по 8 дисков) Оба массивы собраны внутри одного HBA LSI 9211-16i (24 диска воткнуты в корзину и 4 диска напрямую через 8087-4сата) на втором массиве создан zvol точно такого же объема как и лвм. при попытке сделать дд с одного на другой - скорость около 200мегабайт/сек если читать с первого в /dev/null скорость 800мегабайт/сек (что меня устраивает) если писать во второй с оперативки то скорость в районе 1гигабайт/сек (что меня тоже устраивает) выручайте братцы, невкурю где я не прав!
где-то в цепочке узкое место, по фану можно ещё mbuffer попробовать между ними
Ivan
zvol с каким блоком ?
Станислав
две сессии открыть и запустить одновременно
Vladislav
Ребята, всем привет, я понимаю что возмжоно не по адресу, но больше спросить негде. в общем мне нужно перегнать 120 тер с одного массива на другой. исходный массив на 12 дисках exos 16тб организован в виде двух mdadm raid6 соединенных с помощью lvm в один массив (типа raid60) второй массив состоит из 16 таких же дисков и организован в виде raidz2 x 2 (страйп из двух raidz2 по 8 дисков) Оба массивы собраны внутри одного HBA LSI 9211-16i (24 диска воткнуты в корзину и 4 диска напрямую через 8087-4сата) на втором массиве создан zvol точно такого же объема как и лвм. при попытке сделать дд с одного на другой - скорость около 200мегабайт/сек если читать с первого в /dev/null скорость 800мегабайт/сек (что меня устраивает) если писать во второй с оперативки то скорость в районе 1гигабайт/сек (что меня тоже устраивает) выручайте братцы, невкурю где я не прав!
Эрм, а точно 9211 а не 9201?
Станислав
В каком месте он узкий ?)
Мы точно модели ещё не знаем. Но у контроллера узким местом в таких режимах работы может выступать процессор на нём.
Georg🎞️🎥
Мы точно модели ещё не знаем. Но у контроллера узким местом в таких режимах работы может выступать процессор на нём.
Он же просто пробрасывает винты в систему … да и даже про иопс если говорить, даже мои древние hba по 40-50к иопс… вот и вопрос , какая узость на 20 винтах
George
4M
ох ё)
George
Ребята, всем привет, я понимаю что возмжоно не по адресу, но больше спросить негде. в общем мне нужно перегнать 120 тер с одного массива на другой. исходный массив на 12 дисках exos 16тб организован в виде двух mdadm raid6 соединенных с помощью lvm в один массив (типа raid60) второй массив состоит из 16 таких же дисков и организован в виде raidz2 x 2 (страйп из двух raidz2 по 8 дисков) Оба массивы собраны внутри одного HBA LSI 9211-16i (24 диска воткнуты в корзину и 4 диска напрямую через 8087-4сата) на втором массиве создан zvol точно такого же объема как и лвм. при попытке сделать дд с одного на другой - скорость около 200мегабайт/сек если читать с первого в /dev/null скорость 800мегабайт/сек (что меня устраивает) если писать во второй с оперативки то скорость в районе 1гигабайт/сек (что меня тоже устраивает) выручайте братцы, невкурю где я не прав!
покажи конкретные команды. Но предложение - bs повыше поставить просто
Алексей
@underflow17 этот вариант не проверен?)
нууууу даа.... поэтому и молчу в тряпочку. есть одна гипотеза сейчас проверяю.
Алексей
Ребят, я в общем думаю тупо проц не тащит. Завтра попробую другой поставить
Алексей
Что именно он не тащит ? 30 дисков ?
Чтение с лвм и запись в зфс одновременно
Georg🎞️🎥
LSI SAS9211-16i
290k iops, ваши диски выдают столько ?
Станислав
290k iops, ваши диски выдают столько ?
Так Алексей написал, что проц на серваке не тянет, судя по всему
Алексей
Georg🎞️🎥
Так Алексей написал, что проц на серваке не тянет, судя по всему
Ааааа этот проц … да что там такое стоит то 😰