Сергей
так, стоп - чтобы не было недопонимания - у меня результаты выше для filesystem, НЕ для zvol
Alexander
так, стоп - чтобы не было недопонимания - у меня результаты выше для filesystem, НЕ для zvol
Понял, думаешь большая разница в этом
Сергей
Понял, думаешь большая разница в этом
не исключаю. просто чтобы не сравнивать теплое и мягкое)
Alexander
не исключаю. просто чтобы не сравнивать теплое и мягкое)
Помоему +- по моим замерам одинаково
Alexander
Но нужно проверить
Сергей
на том сервере тесты ПО идут, не хотелось бы параллельную нагрузку давать. Если освободиться, то перемеряю на zvol и файлсистем С ТОЧНО выключенной компрессией
Alexander
на том сервере тесты ПО идут, не хотелось бы параллельную нагрузку давать. Если освободиться, то перемеряю на zvol и файлсистем С ТОЧНО выключенной компрессией
👌договорились, а я завтра сырого дам результаты и с ф- sync
Alexander
В зфс
Сергей
тогда для единообразия:
zvol, blocksize 8k, sync=standard
fs, recsize=16k, compression=off, sync=standard
да, зеркало
Alexander
Alexander
Мирор-1))
Alexander
Но результат был всегда примерно один и тот же)) выше 50 - не бил(
Ivan
в утилите nvme можно менять размер логического блока
Ivan
вдруг там 512 стоит
Сергей
в утилите nvme можно менять размер логического блока
я когда-то экспериментировал с этим, а потом стал оставлять всё по дефолту. Другие косяки начинали вылазить. Не думаю что Intel как-то "занижает" размеры блоков для оптанов - всё таки это топовый их продукт
nikolay
Интересно, зачем это обсуждение результатов на оптанах?
Ivan
мне вообще неочевидно зачем что-то менять. все оси, поддерживающие nvme умеют в любые блоки. физический блок 8к. зачкем игры с более мелкими блоками нипанятна.
nikolay
кстати, я в ядре всегда отключаю mitigations=off и init_on_alloc=0
Можете прокомментировать?
Ivan
кстати, я в ядре всегда отключаю mitigations=off и init_on_alloc=0
кстати, а как же безопасность ? ведь для проксмокса опция небезопасная.
Сергей
Можете прокомментировать?
у меня доверенная среда, и эта защита только ухудшает скорость работы
Сергей
кстати, а как же безопасность ? ведь для проксмокса опция небезопасная.
чуть выше ответил. для моего случая у меня нет необходимости защиты от данных ошибок. Прокс в некоторых случаях - как базовая ОС с вшитой ZFS. А работают только 16 контейнеров с ПГ
Сергей
Интересно, зачем это обсуждение результатов на оптанах?
обсуждается производительность zfs на различных типах носителей. У Александра пока не получилось из оптанов на зфс выжать максимум возможного) Возможно и по той причине что и зфс пока неоптимально работает с nvme дисками и не использует их возможности на 100%
Δαρθ
я когда-то экспериментировал с этим, а потом стал оставлять всё по дефолту. Другие косяки начинали вылазить. Не думаю что Intel как-то "занижает" размеры блоков для оптанов - всё таки это топовый их продукт
всеж оптаны это не обычные ссд на нанд флешах где размер видимого наружу блока должен както коррелировать с размером страницы м/сх нанд. в оптанах чуть ли не нор флешь с произвольной записью и стиранием
Сергей
всеж оптаны это не обычные ссд на нанд флешах где размер видимого наружу блока должен както коррелировать с размером страницы м/сх нанд. в оптанах чуть ли не нор флешь с произвольной записью и стиранием
согласен. я скорее про свой опыт правки таких параметров для обычных nvme
Alexander
Интересно, зачем это обсуждение результатов на оптанах?
А почему собственно не по обсуждать работу zfs на оптанах?)))
Δαρθ
ну с учетом того что в любом ссд целый свой собственный CoW-эмулятор блочного ус-ва на нандах - да )
Александр
А вот внезапно очень странный вопрос. Есть raidz1, на нем несколько систем. Копирую zfs send | zfs receive две разные файловые системы, одна копируется на 100 мегабайт в секунду, другая от силы на 2.
Александр
Все настройки одинаковые. Копируются на один и тот же диск (началось с копирования на одинаковые диски, я потом проверил на один). Принципиальной разницы - медленный вдвое больше и у него lz4 дает компрессию 1.33, а на меньшем то же lz4 и 1.00 (там картинки)...
Александр
Ну, еще на более быстром установлена квота. Все. Других различий нету...
Александр
FreeBSD 12.2, если что.
Alexander
А вот внезапно очень странный вопрос. Есть raidz1, на нем несколько систем. Копирую zfs send | zfs receive две разные файловые системы, одна копируется на 100 мегабайт в секунду, другая от силы на 2.
Задам странный вопрос) копируете их по отдельности или вместе?)
Александр
Начал копировать параллельно. Смотрю, одно копирование медленное, второе вжик и стало быстрым. Очень удивился, запустил третье копирование - быстрой ФС на тот же диск, на какой копировалась медленная. Скорость третьего копирования - под сотню.
Alexander
Начал копировать параллельно. Смотрю, одно копирование медленное, второе вжик и стало быстрым. Очень удивился, запустил третье копирование - быстрой ФС на тот же диск, на какой копировалась медленная. Скорость третьего копирования - под сотню.
🤷♂️странно, было предположение, что быстрее копировалась первая запущенная, дальше все по остаточному признаку
Александр
Нет, первая мееееедленно, вторая быстро, третья быстро.
Александр
Чушь какая-то
Александр
Может, за ночь кто мудрый придет
Александр
В конце концов, докопирую быструю, грохну, может, пошустрее все пойдет...
Александр
Там, увы, свободного места осталось неприлично. Возможно, оно влияет так сильно
Alexander
Sergey
место важно в пределах пула, а не фс
Sergey
может к первой редко обращались и теперь всю мету читает, а ко второй часто и мета в кеше?
Alexander
место важно в пределах пула, а не фс
А может у человека фс размером с пул? И он копирует ее на другой пул
Sergey
вроде сказано внутри одного рейда все фс
Александр
может к первой редко обращались и теперь всю мету читает, а ко второй часто и мета в кеше?
Точно нет. Машину выключали недавно.
Alexander
Ну вот
Sergey
я имею ввиду src фс
Sergey
или мало места на dst осталось?
Sergey
обычно запись, потому что аллокатору сложнее блоки новые искать, чтение из за фрагментации может, но по идее было б для всех ФС в пуле, если они заполнялись вместе
Alexander
обычно запись, потому что аллокатору сложнее блоки новые искать, чтение из за фрагментации может, но по идее было б для всех ФС в пуле, если они заполнялись вместе
То же верно если они все опять же на одном пуле лежат
Александр
Да, перенес фс поменьше, грохнул, и фс побольше пошла с нормальной скоростью
Alexander
Да, перенес фс поменьше, грохнул, и фс побольше пошла с нормальной скоростью
видимо , все таки , которая поменьше была , ты ее запустил первой))
Александр
Нет, она вдвое меньше, шла примерно в 40 раз быстрее, и дошла
Δαρθ
почему mv в пределах одного пула и одного дерева vfs, но разных сетов занимается копированием? by design?
Ilya
между разными датасетами?
Ilya
Так логически это разные файловые системы же, так что всё логично. Такое перемещение - не то же самое, что переставить указатели на блоки, так как корневая айнода своя у каждого датасета.
Владимир
Подскажите пожалуйста, как в proxmox собрать пул используя by-id или uuid, а не /dev/sdX ?
Олег
Подскажите пожалуйста, как в proxmox собрать пул используя by-id или uuid, а не /dev/sdX ?
ls -al /dev/disk/by-id/
Олег
все остальное тоже
Олег
zpool create ....
Владимир
lrwxrwxrwx 1 root root 9 May 13 18:33 scsi-350026b768341050a -> ../../sdc
lrwxrwxrwx 1 root root 9 May 13 18:33 scsi-350026b76834105d1 -> ../../sdd
lrwxrwxrwx 1 root root 9 May 13 18:08 scsi-350026b7683410715 -> ../../sda
lrwxrwxrwx 1 root root 9 May 13 18:33 scsi-350026b7683410975 -> ../../sdb
lrwxrwxrwx 1 root root 9 May 13 18:33 wwn-0x50026b768341050a -> ../../sdc
lrwxrwxrwx 1 root root 9 May 13 18:33 wwn-0x50026b76834105d1 -> ../../sdd
lrwxrwxrwx 1 root root 9 May 13 18:08 wwn-0x50026b7683410715 -> ../../sda
lrwxrwxrwx 1 root root 9 May 13 18:33 wwn-0x50026b7683410975 -> ../../sdb
Владимир
у каждого винта по два названия одно на scsi другое на wwn начинается
Олег
у каждого винта по два названия одно на scsi другое на wwn начинается
https://serverfault.com/questions/535397/scsi-and-ata-entries-for-same-hard-drive-under-dev-disk-by-id
Владимир
Олег
и раздел желательно создавать так понимаю
Олег
вообще очень интересно тем же fio сравнить скорость на ext4 на разных id одного и того же диска
Олег
только раздел вначале создать гигов 30 всего