zvol это же тот же файл? изначально sparse и фикс размера, ну и настройки/размеры блоков другие?

а ваще страшно, даже в ехт4 впилили дефраг, а тут...

Хаха, цископад мая 2017 года доказал обратное

Так даже в XFS и даже в СУБД причем онлайн. Что-то они слишком уж самонадеянно разработчики заявляют, что дефрагментация для ZFS ненужна, ленятся просто.

еще раз CoW фрагментирована by design ее не имеет смысла дефрагментировать, толку не будет

еще раз CoW фрагментирована by design ее не имеет смысла дефрагментировать, толку не будет

для вращающихся винтов -- смысл есть

И я не про 100% дефрагментацию, а хотя бы про снижение степени фрагментации в 2-3 раза от текущей. Пусть бы даже для этого пришлось держать 2x девайсов, лишь бы вручную не перекидывать с одного пула на другой. Трудно им сделать автоматический неспешный send | receive между пулом и его локальной копией по команде defrag? Только чтобы все автоматом без создания вручную нового пула, без набора этих команд и т.п. А потом по завершению всех реплик автоматическое переключение на копию пула возможно с переключением всех кэширующих устройств со старого фрагментированного пула на новый более дефрагментированный (менее фрагментированный). Допустим у старого пула была фрагментация 70%, а у нового получится 10-15%, - это огромный выигрыш по скорости работы. Заодним это мог быть бы еще один уровень полной избыточности в случае постоянной online дефрагментации. Т.е. появилась бы еще одна сущность типа defrag_pool, которая была бы логическим зеркалом оригинального фрагментированного пула.

для вращающихся винтов -- смысл есть

только если zfs используется read only, иначе начинает работать CoW и все

Если пишут только новые данные, а старые читают почти без изменений, то разве плохо иметь дефрагментированный пул? Старые данные большей частью не будут накапливать новой фрагментации из-за COW.

ты вообще в курси как работают coy on write ФС?

Не на уровне разработчика ZFS, но в общих чертах знаю.

то что тебе кажет zpool list это фрагментация свободного места

Является ли высокая фрагментация свободного места показателем высокой фрагментации занятого в последнее время места?

только если zfs используется read only, иначе начинает работать CoW и все

ну тогда можешь ты уже скажешь почему уменьшать фрагментацию в CoW ФС не имеет смысла?

бл*ть, я заебался, надеюсь тут еще есть желающие выслушивать твои идеи

Я тебе из практики говорю даже без вникания в принципы работы, что после send | receive на другой чистый пустой пул, датасет читается намного быстрее, мне этого достаточно, чтобы иногда делать дефрагментацию, к сожалению сейчас это жутко неудобно через send | receive.

Возьмем диски sas 8ТБ 7200. Линейная скорость записи в начале диска примерно 210МБ/c Линейная скорость записи в конце диска примерно 110МБ/c По мере заполнения диска скорость падает в два раза. Ясен пень что на новом пуле на новых дисках поначалу все быстрее будет...

Я же не спорю, что если в старые дефрагментированные данные что-то снова писать новое, то они опять станут фрагментированы из-за COW. Речь о том, что бывают пулы в которые пишутся восновном новые данные, а старые изменяются редко. Например, документно-учетные базы данных архивного характера либо базы с топологиями для развертывания IaC имеют именно такой характер, не говоря уж о пулах с рабочими файлами, где меняется очень мало чего только в новых проектах. Лично у меня почти все ZFS нагрузки именно такого характера и мне важен мой use case, а не абстрактное поведение COW ZFS на базе данных какого-нибудь Zabbix/Prometheus или ZoneMinder.

мой use case, тогда какие вообще у тебя вопросы к ZFS?

Желаю online дефрагментацию :)

ты же сам пишешь что тебе плевать на всех, интересует только твой кейс

Желаю online дефрагментацию :)

Не будет. Они мелкофичи с глюками делают, а это очень сложный функционал

Жаль Sun не успела.

А сан пофиг. У них в серверах памяти чтобы горячие данные влезли вместе с дедупом

сколько бреда про фрагментацию.... дефрагментация вполне себе полезная вещь, просто ков системы фрагментируются в разы быстрее обычных. к сожалению, дефрагментация в современных системах есть только в нтфс (по крайней мере других не знаю) и то она там сильно кривая. дефраг, по ночам, после бекапа, был бы топ фичей, но нет: большому бизнесу на это пофиг, там память, а мелкий утрется

сколько бреда про фрагментацию.... дефрагментация вполне себе полезная вещь, просто ков системы фрагментируются в разы быстрее обычных. к сожалению, дефрагментация в современных системах есть только в нтфс (по крайней мере других не знаю) и то она там сильно кривая. дефраг, по ночам, после бекапа, был бы топ фичей, но нет: большому бизнесу на это пофиг, там память, а мелкий утрется

Дефрагментация есть даже в XFS, и в Db2 DBMS reorg online.

Дб2 это не фс, в классическом ее понимании. Про хфс не знал, надо посмотреть что там и как сделано. Если как в нтфс, дефраг с дырками, то жопа

xfs ext4 btrfs

Я про сложность, понятно, что СУБД - это не FS.

А можно ссылку на тулзу по ext4? А то по поиск только фанатов: "нет и не нужна" нашёл

Можно узнать, на что поменяли?

https://man7.org/linux/man-pages/man8/e4defrag.8.html

а что о своем ресурсе при этом думал сам ссд в смарте?

https://www.opennet.ru/openforum/vsluhforumID3/124698.html#88 Пишут, что SSD не подвержены фрагментации. Однако мне кажется, что после send -R | receive датасета в новый пул даже на Samsung EVO ZFS работает заметно веселее. Это проявляется даже при повторном send | receive который выдает поток данных с равномерной скоростью в десятки и сотни Mbs в зависимости от пропускной контроллера, а не рывками и приседаниями ниже 1Mbs вплоть до около 100 Kbs как до дефрагментации.

А почему тогда send > /dev/null вычитывает до дефрагментации дольше, проседания до 1Mbs и ниже?

Ssd 100% подвержены фрагментации и после security erase даже intel s3700, например, работают заметно шустрее. Причем это внутрення фрагментация, не связанная с ырагментацией файлов в ФС.

Я про воздействие фрагментации ZFS на Samsung EVO SATA на рабочей станции Core2 Quad. Trim не делал.

Скорее всего, вы столкнулись не с фрагментацией. Т.к. вы не делали тримм, zfs фактически занял весь объём накопителя данными и контроллер ssd перевел ячейки памяти из 1-битного режима работы в 3-х или 4-х битный, в котором скорость работы памятм понижается на попядки (10-100 раз!), также сильно увеличивается износ. Попробуйте, ради эксперемента, сделать security erase, затем разметить 1/4 объёма ssd и там создать zfs. Скорее всего, с падпнием производительности вы не столкнётесь, кроме падения производительности записи при длительном непрерывном потоке из-за изчерпания буфера.

Скорее всего, вы столкнулись не с фрагментацией. Т.к. вы не делали тримм, zfs фактически занял весь объём накопителя данными и контроллер ssd перевел ячейки памяти из 1-битного режима работы в 3-х или 4-х битный, в котором скорость работы памятм понижается на попядки (10-100 раз!), также сильно увеличивается износ. Попробуйте, ради эксперемента, сделать security erase, затем разметить 1/4 объёма ssd и там создать zfs. Скорее всего, с падпнием производительности вы не столкнётесь, кроме падения производительности записи при длительном непрерывном потоке из-за изчерпания буфера.

Так без воздействия на Trim я пересоздавал пул репликацией из бэкапа и после этого работало значительно быстрее, причем тут Trim?

Всем привет. Собран у нас raidz1 вышло из строя 2 диска. Данные на них потеряны. Есть какие то шансы восстановить данные? Сейчас картина такая...

Услышал. Спасибо большое

менять механику?))) про перепаивание контроллеров слышал, про замену механики - это что-то из области фантастики, те кто примерно знает как устроен современный hdd и какие там допуски меня поймут

ну мб не только механику. но прилипшие/кривые головв чинят их заменой, например

дайте ссылочку на кулибиных

та не надо, не верю я что в кустарных условиях можно разобрать hdd, поменять головки и собрать так чтобы он работал.

однако можно. знакомый свой вд 500гиговый понёс в какую-то сомнительную фирму, там ему сказали что за 7к сделают. разобрали винт и сказали что теперь это будет стоить 20к. я уж засомневался что после транспортировки вскрытого винта вообще можно что-то починить будет. но по знакомым отыскали человека умеющего, всего за 5к с донором вытащили все важные данные.

Всем привет. Собран у нас raidz1 вышло из строя 2 диска. Данные на них потеряны. Есть какие то шансы восстановить данные? Сейчас картина такая...

Можно узнать какой был промежуток времени между выходом из строя первого и второго диска и насколько они были новыми, из одной ли партии и т.п.?

ну или пытаться хотя бы один диск воскресить и слить даже с потерями его, и с ним импортировать в readonly

ну или пытаться хотя бы один диск воскресить и слить даже с потерями его, и с ним импортировать в readonly

Кто то сталкивался как sas винт подключить без рейд контроллеров? Мож переходник какой то есть pci на sas?

Sas HBA

Есть такой, но там hba - m2 и переходник m2 pci. Не работал... Диск жолжен как устройство определяться?