Alexander
это на уровне пула?
George
Alexander
в таком случае слог и не даст ничего, т.е. не нужен, так?
Alexander
понял. спасибо
Maksim
а какие вообще цели для этого slog? что там за нагрузка такая что его хочется добавить?
Vladislav
а какие вообще цели для этого slog? что там за нагрузка такая что его хочется добавить?
Он используется как промежуточное звено между оперативкой и записью на диск
Maksim
Он используется как промежуточное звено между оперативкой и записью на диск
я понимаю что такое slog, вопрос в том какие задачи человек им пытается решить
Vladislav
я понимаю что такое slog, вопрос в том какие задачи человек им пытается решить
Питание пропадает, данные в оперативной память, которые ещё не успели записаться исчезают.
Почему не успевают записаться?
Большой массив HDD тротлит и не успевает записывать все поступающие данные, поэтому Sync Ack задерживается, а данные копятся
Vladislav
Поэтому slog иногда позволяет ускорить запись в некоторых массивах
Vladislav
Вру, это ZIL*
Maksim
zil==slog, нет разве?
Maksim
но вообще вопрос был что за задачи такие у человека, что он хочет ZIL на как он говорит домашнем NAS
Vladislav
ZIL стоит после оперативной памяти
SLOG параллельно
Vladislav
Vladislav
Vladislav
Точнее будет сказать, что ZIL это то, что хранится на SLOG устройстве
Maksim
да, вы правы, чуть запутался в терминах. обычно просто читал про zil именно в контексте того что под него отдельный девайс выделяют (то есть как раз slog), поэтому и смешалось в голове
Δαρθ
а какие вообще цели для этого slog? что там за нагрузка такая что его хочется добавить?
если прога дает sync() ось идет и флашит все незаписанное на диск. флашить целиком дерево zfs --долго, потому флашится в кольцевой буфер и это быстрее.
он или на тех же дисках что пул или на отдельном -- slog
Δαρθ
на отдельном еще быстрее тк не надо бошками основным дискам елозить лишний раз
Maksim
вы все отвечаете не на тот вопрос. я спрашиваю зачем человеку slog понадобился, какую проблему он на домашнем насе задумался решить при его помощи, может надо наоборот его отговаривать заниматься ерундой
Δαρθ
вы все отвечаете не на тот вопрос. я спрашиваю зачем человеку slog понадобился, какую проблему он на домашнем насе задумался решить при его помощи, может надо наоборот его отговаривать заниматься ерундой
ну например если звол с зилом -- то это зачастую работает быстрее чем тот же диск отданный виртуалке в сыром виде
Δαρθ
просто для файлопомойки -- соглашусь что ни к чему.
Art
понял, спасибо. т.е. получается на не продакшн системе (домашний нас) использование slog без избыточности вполне вариант
Народ интересуется, а для чего в домашнем НАСе вообще нужен слог?
Алексей
970evo 1.3гб/сек на чтение
Ребята всем привет.
подвожу этоги несколькомесячной эксплуатации dedup устройства zfs для бэкап хранилища. Вывод: не используйте дедупликацию zfs для veeam.
вообще её не используйте)
Sebastian
Алексей, а чуток деталей расскажите?
Алексей
какие именно интересуют, спрашивайте расскажу
Sebastian
Ну, не просто так же вы не рекомендуете ее не использовать? Печальный опыт?
Алексей
Дедуп низкий хотя и делал всё по науке.
Алексей
Очень сильно жрет нвме
Ivan
Алексей
При удалении почему то заканчивается место на дедуп девайсе. Что мне вообще не понятно
Алексей
При удалении почему то заканчивается место на дедуп девайсе. Что мне вообще не понятно
В процессе удаления. Возможно по завершению откатит обратно. Сижу смотрю и жду
Алексей
Ну и удаляет очень долго
Алексей
Я как бы представляю что такое удалить 10тер. Но тут дольше прям вообще
Алексей
Грандфазер фазер сон. Схема хранения бакапов
Алексей
В общем ща удалю и буду тестить xfs прости господи за крамолу))
Art
Ребята всем привет.
подвожу этоги несколькомесячной эксплуатации dedup устройства zfs для бэкап хранилища. Вывод: не используйте дедупликацию zfs для veeam.
вообще её не используйте)
Прикол, я тут прорабатываю холодное хранилище с дедупликацией, и всё думал тебя тегнуть с кучей вопросов)
Пока только один... А на что ты рассчитывал с Виамом? Просто бэкапы Виама уже сами по себе дедуплицированы?
Алексей
Прикол, я тут прорабатываю холодное хранилище с дедупликацией, и всё думал тебя тегнуть с кучей вопросов)
Пока только один... А на что ты рассчитывал с Виамом? Просто бэкапы Виама уже сами по себе дедуплицированы?
повторные фуллы он не дедуплицирует. хранит как свинья целиком
Алексей
вот я тут вычитал что он с xfs как-то хитро дружит, поэтому буду ща переделывать на неё
Ivan
ваще пожатые блобы плохо дедупятся
Алексей
пожатые чем
Алексей
я ж говорю по науке всё делал....
Art
повторные фуллы он не дедуплицирует. хранит как свинья целиком
Аа, понял, это да, файл бэкапа вима внутри себя дедуплицирован, а между собой они нет
Алексей
а у меня как бы тоже эксчендж пять раз хранить на 10 тер не улыбыается...
Алексей
при том что там 100% хренова гора чего сдедупить
Ivan
а у меня как бы тоже эксчендж пять раз хранить на 10 тер не улыбыается...
он у тебя в вм ?
насколько компактней pbs хранит ?
Алексей
пбсом еще вмварю не бэкапил ни разу...
Andrew
Ребята всем привет.
подвожу этоги несколькомесячной эксплуатации dedup устройства zfs для бэкап хранилища. Вывод: не используйте дедупликацию zfs для veeam.
вообще её не используйте)
Ну тут как бы понятно. Внутри вима своя дедубликация, плюс он архивы жмёт. Вообще непонятно, зачем включать дедуп ещё и на zfs.
Алексей
Ну тут как бы понятно. Внутри вима своя дедубликация, плюс он архивы жмёт. Вообще непонятно, зачем включать дедуп ещё и на zfs.
своя компрессия и дедупликация выключена.
Алексей
корчое он там с 50тер надедуплил примерно 4
Art
я ж говорю по науке всё делал....
Я так понимаю нвме у тебя не весь пул, а девайс под таблицу ddt?
И ты говоришь дедуп жрёт нвме - в смысле много перезаписи или много места отожралось?
Алексей
хотя реально там тер 20 можно было как с куста легко
Алексей
Я так понимаю нвме у тебя не весь пул, а девайс под таблицу ddt?
И ты говоришь дедуп жрёт нвме - в смысле много перезаписи или много места отожралось?
да, на нвме спешл и дедуп. дедуп дев жрёт как не в себя. и чем больше данных тем он больше жрёт на запись именно
Алексей
места отжирает прогнозируемо, а вот иопсы прям вообще
Art
да, на нвме спешл и дедуп. дедуп дев жрёт как не в себя. и чем больше данных тем он больше жрёт на запись именно
То есть по мере разрастания ddt айопсы на запись просели существенно?
Алексей
То есть по мере разрастания ddt айопсы на запись просели существенно?
я не могу сказать просели ли они или нет, т.к. у меня сама по себе запись достаточно медленная - гигабит всего. Но то что он всё больше и больше пишет видно невооруженным взглядом.
Art
я не могу сказать просели ли они или нет, т.к. у меня сама по себе запись достаточно медленная - гигабит всего. Но то что он всё больше и больше пишет видно невооруженным взглядом.
Понятно... А примерно сколько места отожралось под ddt? Теория сошлась с практикой ли, 1 гб на 1 тб данных?
Алексей
Понятно... А примерно сколько места отожралось под ddt? Теория сошлась с практикой ли, 1 гб на 1 тб данных?
примерно 90гиг на 50тер сжатых данных (сжались примерно в 1.4 раза)
Алексей
вполне сносно. recordsize 512K
Art
примерно 90гиг на 50тер сжатых данных (сжались примерно в 1.4 раза)
Нифига себе, погоди - компрессия зфс пожала тебе данные на 40%?
Алексей
да, zstd сжало на 40% несжатое вимом
Art
да, zstd сжало на 40% несжатое вимом
Да ты... Чем ты тогда недоволен вообще)
Дата ужалась в два раза почти, и ещё 4 тб отдедупилось)
Алексей
дедуп должен был сдедупить минимум тер 20
Алексей
так как там хренова гора почти одинаковых фуллов
Art
так как там хренова гора почти одинаковых фуллов
Да вот видно не такие уж они одинаковые... На блочном уровне всм
XFS кстати вряд ли что-то даст, там ведь дедуп файловый, не блочный - по моему
Если не ZFS, то VDO остаётся пробовать
Алексей
Да вот видно не такие уж они одинаковые... На блочном уровне всм
XFS кстати вряд ли что-то даст, там ведь дедуп файловый, не блочный - по моему
Если не ZFS, то VDO остаётся пробовать
вим использует какую то свою технологию fast clone и я подозреваю там будет дедуплицировать как раз таки как я и хотел
Art