mikhail
Но если на принимающей стороне есть zfs - то все же zfs send | zfs recv - предпочтительней
Δαρθ
Но если на принимающей стороне есть zfs - то все же zfs send | zfs recv - предпочтительней
почему? нет ну то есть если не складывать стрим zfs send в файл то да. а если складывать без цели дальнейших инкрементальных сендов -- то не вижу смысла
Δαρθ
Миллион файлов копировать не сказать что быстро
я кстати как-то раз проверял. время чтения десятков тыщ мелких файлов с холодными кешами (типичный рут раздел)
победила btrfs, zfs оказалась самой медленной )
mikhail
почему? нет ну то есть если не складывать стрим zfs send в файл то да. а если складывать без цели дальнейших инкрементальных сендов -- то не вижу смысла
Не, ну если стрим складировать в виде файла - то тогда это конечно попахивает поиском проблем на свои ягодницы, согласен. Просто насколько я помню - первоначальный вопрос был - как перенести диск с компа в виртуалку...
Andrey
я кстати как-то раз проверял. время чтения десятков тыщ мелких файлов с холодными кешами (типичный рут раздел)
победила btrfs, zfs оказалась самой медленной )
Ну если данные не нужны - то выбирайте btrfs. В ней с надежностью не ахти, разваливается при большой нагрузке
Δαρθ
Ну если данные не нужны - то выбирайте btrfs. В ней с надежностью не ахти, разваливается при большой нагрузке
для рутфс или хомяка вполне ок -- работает годами
Δαρθ
у нее плохо с другим -- с raid5/6 и с образами для вирт машин
Δαρθ
еще есть ништяки: например дефрагментация файлов И свободного места, переезд между конфигурациями дисков, поддержка cp --reflink=always, в тч между субвольюмами (=аналог датасетов)
Алексей
Добрый выходной день всем. У меня некоторая проблема =) Попробую описать максимально подробно. Имею кластер Proxmox на zfs. Возникла необходимость освободить место под swap раздел. Нужно было уменьшить зеркало zfs. На серверах установлено 2 SSD диска. Они в mirror-0 . для того что бы выкроить место для swap, уменьшил разделы zfs, действовал так: https://docs.google.com/document/d/16UvqRHTbEEJ_QUkFxA5oS73su2xiicZnvYuL-2W9i3k/edit?usp=sharing
После проведения указанных в документе процедур на серверах начали вылазить ошибки чексум:
Алексей
Алексей
Алексей
запускать scrub в третий раз я уже побаиваюсь.
Алексей
Если файлы, например, я могу восстановить с соседних нод или пересоздать файлы логов, то что делать с метаданными?
Алексей
на другой ноде scrub был запушен только один раз:
Алексей
Алексей
я не знаю, как решать проблему, кроме переустановки нод, чего крайне хотелось бы избежать. Если кто то может дать подсказку, как решить проблему, буду крайне благодарен.
Denis
Не понимаю зачем свап на zfs на проксе всегда старался чтоб его небыло, раз сервера возьмите на каждый по 120 ссд и кэшем их - куда догичнее как по мне
Алексей
Не понимаю зачем свап на zfs на проксе всегда старался чтоб его небыло, раз сервера возьмите на каждый по 120 ссд и кэшем их - куда догичнее как по мне
сейчас вопрос не о swap (к тому же он не на zfs а отдельным swap разделом)... swap, в данной ситуации, уже последнее, что меня волнует...
Алексей
как пул спасти
Denis
У меня не было необходимости уменьшать только увеличивать про свап просто не первый раз спрашивают
Δαρθ
а своп зачем нужен? если хлам и утечки складывать -- то можно любой винт поставить дополнительно
Ivan
разве zfs можно уменьшать ?
A.
Там не про уменьшение было. А про добавление в linear меньшего раздела на диске, оторванном от зеркала
A.
Пулу конец, скорее всего
A.
Но если старые снепшоты остались, данные можно попробовать прочитать с них
Алексей
Пулу конец, скорее всего
переустанавливаем ноды потихоньку, данные пока целы... есть опасение, что только пока, поэтому спешим =)
A.
а история выводов команд из той инструкции не сохранилась?
Laurence Tyler has been banned! Reason: CAS ban.
Игорь
A.
Там ошибки чексум. Прочитали не то что записали.
Владимир
Всем привет. Юзает кто-нибудь cassandra на блочном устройстве zfs? Есть какие-то рекомендации к размеру волблока? и вообще рекомендации на эту тему?
Grigory
Всем привет. Юзает кто-нибудь cassandra на блочном устройстве zfs? Есть какие-то рекомендации к размеру волблока? и вообще рекомендации на эту тему?
Доброго времени.
Тут нет про касандру, но есть про БД
https://openzfs.github.io/openzfs-docs/Performance%20and%20Tuning/Workload%20Tuning.html#database-workloads
Hfh has been banned! Reason: CAS ban.
Barbara Wulf has been banned! Reason: CAS ban.
George
# ioping -D /dev/sdb9
4 KiB <<< /dev/sdb9 (block device 8 MiB): request=1 time=696.5 ms (warmup)
4 KiB <<< /dev/sdb9 (block device 8 MiB): request=2 time=66.5 ms
4 KiB <<< /dev/sdb9 (block device 8 MiB): request=3 time=427.2 ms
4 KiB <<< /dev/sdb9 (block device 8 MiB): request=4 time=270.9 ms
4 KiB <<< /dev/sdb9 (block device 8 MiB): request=5 time=3.16 ms
4 KiB <<< /dev/sdb9 (block device 8 MiB): request=6 time=257.3 ms
4 KiB <<< /dev/sdb9 (block device 8 MiB): request=7 time=389.8 ms
4 KiB <<< /dev/sdb9 (block device 8 MiB): request=8 time=567.4 ms (slow)
4 KiB <<< /dev/sdb9 (block device 8 MiB): request=9 time=109.9 ms
4 KiB <<< /dev/sdb9 (block device 8 MiB): request=10 time=780.6 ms (slow)
4 KiB <<< /dev/sdb9 (block device 8 MiB): request=11 time=160.9 ms
4 KiB <<< /dev/sdb9 (block device 8 MiB): request=12 time=500.2 ms
4 KiB <<< /dev/sdb9 (block device 8 MiB): request=13 time=848.0 ms (slow)
4 KiB <<< /dev/sdb9 (block device 8 MiB): request=14 time=107.4 ms
норм qlc ссдшка, да
George
не берите, дети, qlc без трима
Fedor
Это где такое чудо?)
George
Это где такое чудо?)
это один товарищ в далёкой стране поставил бытовые самсунги за raid контроллер без поддержки trim под бекапы
Fedor
Haha, classic 😁
George
после этого он ещё добавил "подумываю с zfs свалить, медленно"
George
txg записывалась МАТЬ ЕГО 200 СЕКУНД
Fedor
😁😁😁
Ivan
да, qlc это вообще провал
George
он самый
George
Samsung 870QVO 4tb
The
Только в обоссанном хайлоаде ещё молятся на TRIM как на святой Грааль.
George
на perc 710p
The
В энтерпрайзе TRIM не нужен.
George
а если гавно ставить, то чего ждать
Vladislav
Fedor
когда то давно были серверные самсунги, вот им хоть бы хны, там конечно и не qlc был
Fedor
из-за бэкплейна постоянно вылетали
Fedor
)))
The
Чел хотя бы догадался поставить raid controller перед zfs, уже радует.
The
Но наличие TRIM ему бы точно не помогло. Разве что синглом на десктопе с conventional FS.
George
Чел хотя бы догадался поставить raid controller перед zfs, уже радует.
вообще это вредный совет, hba нужен
The
вообще это вредный совет, hba нужен
Кто же в здравом уме parity на откуп zfs отдаёт? Тем более на ssd. Там перфоманс будет никакущий.
George
George
где "кто в здравом уме пользуется аппаратным raid"
George
пошли ночные набросы
The
То, что zfs на raidz2 показывает результаты вдвое хуже даже опенсорсного mdadm, уже доказанный тестами факт. Не говоря уже про рейд с батарейкой, который, допустим, может онлайн сделать из raid10 луна raid6 и назад, при определённых обстоятельствах.
George
То, что zfs на raidz2 показывает результаты вдвое хуже даже опенсорсного mdadm, уже доказанный тестами факт. Не говоря уже про рейд с батарейкой, который, допустим, может онлайн сделать из raid10 луна raid6 и назад, при определённых обстоятельствах.
слишком жирно для полуночных баталий, начиная с того, что mdadm и zfs на разных кейсах делают друг друга
George
вот хорошее сравнение https://arstechnica.com/gadgets/2020/05/zfs-versus-raid-eight-ironwolf-disks-two-filesystems-one-winner/
George
(у меня даже сорс есть к моим словам, хех)
George
ну и классический вопрос про "как железный рейд определит какой из блоков на мирроре валидный а какой мусорный"
The
The
ну и классический вопрос про "как железный рейд определит какой из блоков на мирроре валидный а какой мусорный"
Что значит "мусорный"?
Ivan
Что значит "мусорный"?
классические контроллеры не ведут чексумм на зеркалах и 10 рейде. не могут знать какие данные испорчены, а какие нет.
The
вот хорошее сравнение https://arstechnica.com/gadgets/2020/05/zfs-versus-raid-eight-ironwolf-disks-two-filesystems-one-winner/
Вот тут про SSD, например.
https://habr.com/ru/company/raidix/blog/420837/
Я понимаю, что mdadm то ещё багованное поделие, но даже с ним...