ОЗУ что для прикола стоит чтобы так глупо ограничивать?

всё правильно, это тестовая машина тут просто было больше оперативки, что мне её вытаскивать что ли чтобы потом обратно ставить? там где всё будет крутиться оперативки меньше

а мой подход состоит в том что я делаю сервак под удалённый бэкап где я буду хранить данные ретроспективно несколько лет, и зачем там лишняя озу пока не выяснил

промежуточный итог2: записано мусора ~26,6ТБ размер DDT ~50,5ГБ скорость генерации/записи мусора 167МБ/сек скорость записи на dedup ~20МБ/сек скорость чтения на dedup ~7МБ/сек заполненность пула 64% фрагментация 0% можно констатировать что скорость генерации/записи мусора продолжает деградировать, а объем данных читаемых/записываемых в dedup устройство стабилизировался. К сожалению точных метрик я не снимал, но выглядит так, что чем больше размер DDT, тем больше dedup устройству приходится совершать операций read (при внешне одинаковом объеме прочитанных данных), отнимая при этом свободный ресурс который остаётся для write операций, тем самым понижая итоговую скорость записи мусора. пишем дальше...

интересные штуки крутишь) вопрос, а в итоге рандом дедупится ли вообще и если да, то насколько? Какой коэффициент сейчас? и в итоге используется ли в это сетапе дедуп-девайс под DDT ?

рандом не дедуплится поскольку это рандом. Этого и не должно быть - задача как раз сделать максимально большую таблицу дедупликации, чтобы протестировать её размер, скорость, иопсы и как оно вообще работает. да, отдельный дедуп девайс самый дешевый ssd adata su750 256gb это тест.

промежуточный итог2: записано мусора ~26,6ТБ размер DDT ~50,5ГБ скорость генерации/записи мусора 167МБ/сек скорость записи на dedup ~20МБ/сек скорость чтения на dedup ~7МБ/сек заполненность пула 64% фрагментация 0% можно констатировать что скорость генерации/записи мусора продолжает деградировать, а объем данных читаемых/записываемых в dedup устройство стабилизировался. К сожалению точных метрик я не снимал, но выглядит так, что чем больше размер DDT, тем больше dedup устройству приходится совершать операций read (при внешне одинаковом объеме прочитанных данных), отнимая при этом свободный ресурс который остаётся для write операций, тем самым понижая итоговую скорость записи мусора. пишем дальше...

А генерация мусора в /dev/null сильно быстрее идёт, чем на диск?

А генерация мусора в /dev/null сильно быстрее идёт, чем на диск?

промежуточный итог3: записано мусора ~38,7ТБ размер DDT ~76,2ГБ скорость генерации/записи мусора 165МБ/сек скорость записи на dedup ~20МБ/сек скорость чтения на dedup ~7МБ/сек заполненность пула 93% фрагментация 0% очень интересные результаты, надеюсь вам понравилось так же как и мне :) и да это было в режиме sata 3гбит/сек, на следующей неделе протестирую 6гбит должно быть повеселее

Ssd? Hdd?

Raidz2 из 8 hdd + dedup ssd

Ну 6 гигабит тогда вряд ли сильно быстрее будут 🤔для 8 винтов

Будут сильнее существенно

С чего бы ? )) существенно то ? ))

С того что пропускная скорость выше и ссд будет переваривать больше данных

Сейчас узкое звено - ssd на 3гбит

От того, что пропускная способность шоссе выше, каток по ней бытярее не поедет

Посадите его на pci e🤷🏻‍♂️u2 возьмите ssd

давайте вы не будете голословно заявлять, а мы дождёмся моих тестов на следующей неделе, я обязательно отпишусь и всё станет ясно, ускоряет сата 6гбит в отличии от сата 3гбит или нет

В смысле , голословно??? Я вам рассказал - почему нет 8 дисков не выжрут sas1 подключение 😱Зачем проверять, когда понятно из спецификации Чтобы на 6 гигабитах увидеть - вам бы дисков 10-12 повестить🤷🏻‍♂️ Ну и да - на sas1 8 винтов hdd норм

потому что сейчас они (блины в режиме sata 3гбит в raidz2) пишут 200 мегабайт в секунду в режиме дедупликации, а без дедупликации раскочегариваются до 700 мегабайт в секунду. в режиме дедупликации ssd в dedup устройстве не успевает обновлять DDT так быстро чтобы писалось быстрее чем 200

До 700 - это на все блины соответсвенно же ? А чем ssd по pci плох ?

Фрагментация выросла из-за того, что пул под завязку. Zfs не знает, куда запихать целый блок и бьёт его на маленькие.

а если учесть что литься туда будет по гигабиту через инет то и подавно вообще

всё. под завязку 41.2T фрагментация внезапно 2%

вы скорее всего фрагментацию метаданных смотрите

В дедупе фрагментация есть. А в пуле нету

ну да, фрагментация меты на основных вдевах минимальна потому что там меты считай нет

Дедуп еще и как спешл vdev работает?

а, блин, у вас же для дедупа только? тогда да, пока не было перезаписи фрагментация просто не растёт особо

а, блин, у вас же для дедупа только? тогда да, пока не было перезаписи фрагментация просто не растёт особо

@Zer6918 поделитесь пожалуйста, что за методика записи нагрузки?

Что делать, если скорость в пуле деградировала?

Кстати действительно можно что-то сделать?

ashift=12, почему всего 28 блока размера 4к? https://cl1p.net/uqzudfoqdkt1t

4М, но полно мелких файлов

и почему блоку не быть меньше ашифта? )