Aleksandr
Понял, спасибо большое
George
https://man7.org/linux/man-pages/man8/e4defrag.8.html
If the file system's free space is fragmented, or if there is insufficient free space available, e4defrag may not be able to improve the file's fragmentation. дефраг на ручном приводе, хех
Alexander
она там архитектурно бессмысленна
Хотя бы через send | receive, для большей надежности можно даже опцией сразу на другой хост.
Fedor
Ssd 100% подвержены фрагментации и после security erase даже intel s3700, например, работают заметно шустрее. Причем это внутрення фрагментация, не связанная с ырагментацией файлов в ФС.
там чуть из-за другого работает быстрее. там есть такое понятие - сборщик мусора. если диск аллоцирован полностью (или если это консюмерский) - перезапись ячейки всегда очень длительный процесс (ячейки там чуть ли не по 32 мегабита чтоль в некоторых из) посему он там использует аналог cow на полную - пишет в новое место, а старое затирает. если диск саллоцирован полностью и без трима или резервного пространства - свободное место быстро не найти, и оно начинает тормозить. а сборзик мусора как раз берёт оттриммированные куски и освобождает их.
Fedor
В моем случае тормозило при чтении (send).
да не суть. зфс всегда будет фрагментирован, как и любое версионированное хранилище.
Fedor
был бы дб2 мультиверсионным, ты бы меня понял на все сто процентов)
Alexander
Разве в этом случае тоже?
Alexander
Я же не спорю, что если в старые дефрагментированные данные что-то снова писать новое, то они опять станут фрагментированы из-за COW. Речь о том, что бывают пулы в которые пишутся восновном новые данные, а старые изменяются редко. Например, документно-учетные базы данных архивного характера либо базы с топологиями для развертывания IaC имеют именно такой характер, не говоря уж о пулах с рабочими файлами, где меняется очень мало чего только в новых проектах. Лично у меня почти все ZFS нагрузки именно такого характера и мне важен мой use case, а не абстрактное поведение COW ZFS на базе данных какого-нибудь Zabbix/Prometheus или ZoneMinder.
Alexander
значит выбор - либо сервисы со стороны зфс, либо отсутствие фрагментации и линейная фс
Мне помогает send | receive, но лучше бы это автоматически. Были б деньги, написал бы сам автоматику.
Alexander
Я уже разрабатывал bash скрипт для автоматической репликации на бэкапы.
Fedor
Неверно подобранное решение задачи
Alexander
Это костыли
Однако они работают, чего не скажешь об обычном ZFS.
Fedor
Если тебе критична фрагментация - зфс тебе не подходит
Alexander
Если тебе критична фрагментация - зфс тебе не подходит
А что же подходит, если мне нужен почти весь функционал ZFS + еще дефрагментация?
Fedor
Лвм
Fedor
Либо мирись с фрагментацией - пиши блобами по много байт и теряй в пространстве
Fedor
Так меньше фрагментация будет
Alexander
Лвм
Слоеный пирог, dm-integriry, ...
Fedor
У тебя не те нагрузки чтобы это влияло как-то
Fedor
Чтобы влияние было недопустимым
Alexander
У тебя не те нагрузки чтобы это влияло как-то
Влияет на проектном пуле, да и пуле виртуалок тоже. Еще как влияет, дефрагментация 1-2 раза в год очень ускоряет.
Fedor
Тогда виртуалки снеси в лвм
Fedor
Там и снапшоты и все есть
Fedor
А бекапь сервисами
Alexander
Тогда виртуалки снеси в лвм
Не хочу связываться с не ZFS.
Fedor
Значит мирись :)
Alexander
Там и снапшоты и все есть
А чек суммы? А скраб? А повышенная надежность, а избыточность на уровне FS и на уровне пула?
Fedor
Резервирование снижает вероятность отказов на 90 процентов
Fedor
Даже на 99
Fedor
^
С физикой не поспоришь - либо ресурсами заливай, либо мирись с производительностью твоего кейса
Fedor
Это всегда и везде так
Alexander
Вероятно первая же РЭБ атака по цепи питания превратила бы данные на LVM в труху.
Fedor
С журналируемой ФС нет
Alexander
Это всегда и везде так
ZFS позволила сохранить данные.
Fedor
Той же ехт4 или хфс
Fedor
Ты всегда будешь терять последние транзакции - даже в зфс
Alexander
Той же ехт4 или хфс
Они не отслеживают даже чексуммы кроме журнала.
Fedor
Значит мирись :)
Alexander
Ты всегда будешь терять последние транзакции - даже в зфс
Так речь не о последних транзакциях, а о незаметно побитых данных.
Alexander
Значит мирись :)
ZFS все решает, как можно мириться с фашисткими ублюдками, нападающими на мое благополучие.
Alexander
Тебе нужно мириться с архитектурой и производительностью
Так можно же автоматизировать send | receive, чтобы не набирать вручную все это.
Василий
там чуть из-за другого работает быстрее. там есть такое понятие - сборщик мусора. если диск аллоцирован полностью (или если это консюмерский) - перезапись ячейки всегда очень длительный процесс (ячейки там чуть ли не по 32 мегабита чтоль в некоторых из) посему он там использует аналог cow на полную - пишет в новое место, а старое затирает. если диск саллоцирован полностью и без трима или резервного пространства - свободное место быстро не найти, и оно начинает тормозить. а сборзик мусора как раз берёт оттриммированные куски и освобождает их.
Не так. Просто запись возможна только в ячейки с условным нулями. Установка бита происходит сильно быстрее чем его сброс. Поэтому когда есть свободное место, о котором знает ссд, он в фоне устанавливает там нули. Когда места нет, он пишет в то место, которое он сам себе решил что оно пустое (грубо говоря, при записи, данные пишутся на новое место, а то помечается пустым, но этот механизм не работает на при удалении файллов). В жирных ссд, резервное место очень большое, поэтому у ссд всегда есть место с нулями: как только блок записан, старый отмечается пустым и начинается автоматический трим. Поэтому в энтерпрайз ссд трим не нужен
Василий
Василий
Я уже разрабатывал bash скрипт для автоматической репликации на бэкапы.
Ты сравнил смазать цепь велосипеда с разработать чуть ли не новый аатопилот для боинга
Alexander
Ты сравнил смазать цепь велосипеда с разработать чуть ли не новый аатопилот для боинга
Так я предлагаю всего лишь автоматизировать send | receive для кейса дефрагментации, только и всего.
Василий
А что же подходит, если мне нужен почти весь функционал ZFS + еще дефрагментация?
Тебя спасёт жирная хранилка с батарейкой и на много памяти)
Alexander
Тебя спасёт жирная хранилка с батарейкой и на много памяти)
Я не доверяю хранилкам, тем более жирным, тем более с батарейкой. Доверяю только ZFS без батарейки на максимально простом железе типа Core2. По крайне мере для критически важных проектных пулов для сорцов, где ненужна высокая производительность как в проде.
Василий
В хранилках, если что, их две
Василий
2 посиавь цеф
Alexander
2 посиавь цеф
Еще не хватало, мне важен не SLA, а сохранность данных, а это ZFS (а не CEPH).
Василий
2 и как твои реплики спасут если очередная альфаверсия зфс пошлёт везде кривой сенд?
Василий
Еще не хватало, мне важен не SLA, а сохранность данных, а это ZFS (а не CEPH).
Сохранность это бекап, а репликация это как раз сла
Alexander
2 и как твои реплики спасут если очередная альфаверсия зфс пошлёт везде кривой сенд?
У меня на источнике только недавно случился переход с 0.7.12 на 0.8.6, и старые то снэпшоты по крайне мере никуда не денутся на репликах.
Alexander
Сохранность это бекап, а репликация это как раз сла
И я периодически сравниваю файлы на оригинале и разных репликах с помощью rsync.
Василий
У меня на источнике только недавно случился переход с 0.7.12 на 0.8.6, и старые то снэпшоты по крайне мере никуда не денутся на репликах.
А это ещё надо разобраться как там сенд работает, может ли от фонаря сектор писать или нет
Василий
Why not, тормоза лучше?
Итого у тебя два зеркала. 4 к 1. Ссд уже дешевле получаются
Alexander
А это ещё надо разобраться как там сенд работает, может ли от фонаря сектор писать или нет
Снэпшоты же консистентны? Как последующие могут повлиять на предыдущие?
Василий
Купи ленту)
Alexander
Купи ленту)
Потом, сейчас пока достаточно m-disc.
Alexander
Озфс уже не бэта?
А разве есть в природе что-то надежнее ZOL 0.8.6 кроме проприетарного ZFS ? Btrfs ? :) ext4 ога щаз ...
Василий
кста, у тебя память с четностью везде?)
Alexander
в природе есть очень навороченные хранилки..
Свежо придание. Классический вопрос, что с ними произойдет после РЭБ атаки по питанию.
Василий
Свежо придание. Классический вопрос, что с ними произойдет после РЭБ атаки по питанию.
после мифической рэб атаки произойдет мифическая поломка
Alexander
кста, у тебя память с четностью везде?)
Нет конечно, уже 10 лет как, причем. Ессно я ее много раз гонял в memtest по нескольку дней на каждом хосте. Смешно слушать, что для ZFS необходим ECC, а для например XFS необязательно. Может еще проц с ECC поискать?
Василий
Нет конечно, уже 10 лет как, причем. Ессно я ее много раз гонял в memtest по нескольку дней на каждом хосте. Смешно слушать, что для ZFS необходим ECC, а для например XFS необязательно. Может еще проц с ECC поискать?
где ты вычитал что "не обязательна"? она везде актульная. просто "феноменальная" надежность зфс без црц сильно страдает это как построить бетонное убежище и поставить калитку с парка. просто хфс не бетонное, там калитка уже смотрится более уместно
Alexander
у меня г8 дома. шумит зараза. почти всегда выключен
Пока все хорошо на обычных десктопных без ECC.