??? Это логика работы самого микрокода контроллера HDD. "Это интерфейс, который все жесткие диски с поддержкой Streaming Feature Set предоставляют хост-контроллеру. А вот как диск распорядится полученными параметрами — вопрос к микропрограмме. Набор алгоритмов AllFrame, разработанных WD для дисков Purple, пришел на смену «технологии» SilkStream, которая применялась в дисках WD-RE GP."

Не отключить это никак?)

Не отключить это никак?)

Ну разве что перепрошить микроконтроллер

Фиолетовый просто скипает их, красный пытается 5(?) секунд, помечает, что надо будет потом его восстановить (когда нагрузка уйдёт) и идёт дальше Остальные пытаются пока либо не считают, либо не пройдёт секунд 15 вроде и сразу пытаются восстановить данные с него

Не знаю про zfs вопрос или убунту, но не встречал ли кто такого - убунта 22.04, hwe ядро, с 6.2 всё отлично, приехало новое 6.5 и на одном из серверов при установке zfs пишет что не хватает CONFIG_MODULES=y Вот только cat /boot/config-6.5.0-15-generic | grep CONFIG_MODULES= CONFIG_MODULES=y В куда стоит посмотреть? Результат одинаков с zfs из любого ppa, в основном ppa:arter97/zfs использую.

Не знаю про zfs вопрос или убунту, но не встречал ли кто такого - убунта 22.04, hwe ядро, с 6.2 всё отлично, приехало новое 6.5 и на одном из серверов при установке zfs пишет что не хватает CONFIG_MODULES=y Вот только cat /boot/config-6.5.0-15-generic | grep CONFIG_MODULES= CONFIG_MODULES=y В куда стоит посмотреть? Результат одинаков с zfs из любого ppa, в основном ppa:arter97/zfs использую.

grep CONFIG_MODULES /usr/lib/modules/*/build/include/generated/autoconf.h

А тут что?

Забавно

А в буте есть другие конфиги?

А в буте есть другие конфиги?

нет

но может я неудачно ппа выбираю и надо поставить не из ppa:arter97/zfs ?

но может я неудачно ппа выбираю и надо поставить не из ppa:arter97/zfs ?

Самый лучший вариант собирать самому

в готовых ppa докидывают и как-то поддерживают убунту-специфичные патчи и бекпорты из мастера. Я сам это не осилю по времени :(

с ppa:mike-mlb/zfs-release то же самое. в /var/lib/dkms/zfs/2.2.2/build/make.log (с первым ппа то же самое) DKMS make.log for zfs-2.2.2 for kernel 6.5.0-14-generic (x86_64) Sat Jan 27 22:28:05 MSK 2024 make: *** No targets specified and no makefile found. Stop.

и точно так же для последнего hwe 6.2 ядра всё собирается

в готовых ppa докидывают и как-то поддерживают убунту-специфичные патчи и бекпорты из мастера. Я сам это не осилю по времени :(

Я не уверен, что за специфичные патчи есть для ubuntu......

Ну и в целом инфы про Juhyung Park и его репозиторий с гулькин нос

Не уверен, что это самый надёжный репозиторий

У них есть специфичные патчи да, и поэтому у них версия слегка по нумерации отличается, но эти патчи приводят к https://bugs.launchpad.net/ubuntu/+source/zfs-linux/+bug/1906476

ценность кажется именно в бекпорте из мастера хотфиксов

до этого я длительное время просидел ppa:patrickdk/zfs до 2.1.14 без каких-либо проблем

Странноватые патчи, но пусть

Не знаю про zfs вопрос или убунту, но не встречал ли кто такого - убунта 22.04, hwe ядро, с 6.2 всё отлично, приехало новое 6.5 и на одном из серверов при установке zfs пишет что не хватает CONFIG_MODULES=y Вот только cat /boot/config-6.5.0-15-generic | grep CONFIG_MODULES= CONFIG_MODULES=y В куда стоит посмотреть? Результат одинаков с zfs из любого ppa, в основном ppa:arter97/zfs использую.

В общем это делает dkms видимо и у меня на чистой ubuntu нормально заводится на 6.5

да, на чистой в виртуалке у меня тоже завелось. Но вот на существующем сервере как собрать?

что любопытно - в варианте поставить родное от noble (с пиннингом по мотивам https://devblog.yvn.no/posts/zfsutils-linux-and-hwe-kernels/ ) точно так же не работает, ну т.е. видимо дело не в zfs, а в убунте (

да, на чистой в виртуалке у меня тоже завелось. Но вот на существующем сервере как собрать?

Надо проверять, поставить из ppa, забилдить ванилу, поставить deb пакеты

@gmelikov кстати говоря, на вики не хватает пакета libpam0g-dev для билда через native-deb-utils

По ext4 что могу сказать. Так то на qcow скорость норм. Но конечно xfs лучше для ssd. Дедупликация таки. Мой кейс это чисто один сервер виртуализировать чтобы переносить бекапы и т.д. ну может контейнер маленький не более. Выбирайте xfs, если из не zfs.

Xfs онлайн fsck когда прикрутят не в курсе?

Еще чисто вопрос. discard это я правильно прикрутил к твердотельнику, уже запамятовал

С этим надо в чат XFS, если такой есть.

Фиолетовый просто скипает их, красный пытается 5(?) секунд, помечает, что надо будет потом его восстановить (когда нагрузка уйдёт) и идёт дальше Остальные пытаются пока либо не считают, либо не пройдёт секунд 15 вроде и сразу пытаются восстановить данные с него

Фиолетовый вроде только при соответствующей ATA команде так делает, т.е. технология не обязательная. А остальные пытаются до талого исправить, вешая IO, именно по этому битые блюшки например вешаются часто.

@gmelikov кстати говоря, на вики не хватает пакета libpam0g-dev для билда через native-deb-utils

пулл реквесты приветствуются, с меня ревью и влитие)

Xfs онлайн fsck когда прикрутят не в курсе?

Скоро, уже есть пачти в ядре.

Скоро, уже есть пачти в ядре.

А если у меня на zfs твердотелы, то мне надо что то сетить в пул?

Ну типа дискард или вроде того?

/report

/report

А преимущества передачи снопшотов по сравнению с rsync начинают быть заметны на инкрементной передаче, особенно, если файлов достаточно много. И при использовании снимков вы пропускаете этап проверки всех этих файлов.

Да вот наблюдаю за работой syncoid пока 4 дня полет норм. Мне в принципе по чесноку, если все будет гуд не нужны никакие pbs. А зачем тогда? Вот я слил в пул локальный, оттуда реплицировал и погнали дальше по стораджам. Так смысл в нем тогда?

Типа -> локальный -> сетевой датасет серв1 -> сетевой датасет серв2 и т.д. Я могу эти хранилища подключить на любых гипервизорах и сливать оттуда бекапы если надо.

Ну ща вот добрасывать сверх что было норм. А вот когда я первый раз запустил на 3тб - ой оно мне забило.

Да вот наблюдаю за работой syncoid пока 4 дня полет норм. Мне в принципе по чесноку, если все будет гуд не нужны никакие pbs. А зачем тогда? Вот я слил в пул локальный, оттуда реплицировал и погнали дальше по стораджам. Так смысл в нем тогда?

Если сбой хоста или хост с гипервизором взломан, старые снимки удалены, а в текущее состояние образов записан мусор? Обычная синхронизация всё это и распространит дальше.

Если сбой хоста или хост с гипервизором взломан, старые снимки удалены, а в текущее состояние образов записан мусор? Обычная синхронизация всё это и распространит дальше.

Оу ну если оно взломано, тогда все пипец при любом раскладе. Есть у меня недельный бекап отдельный вообще тупо рсинком. На долгое хранение до года что кладет. А больше никак

Просто сервачок на подоконнике с ссд на долговременное. И оно не мешает, просто копирует туда с одной реплики и все

Оу ну если оно взломано, тогда все пипец при любом раскладе. Есть у меня недельный бекап отдельный вообще тупо рсинком. На долгое хранение до года что кладет. А больше никак

Если взломан гипервизор, это не факт, что взломан PBS

Если сбой хоста или хост с гипервизором взломан, старые снимки удалены, а в текущее состояние образов записан мусор? Обычная синхронизация всё это и распространит дальше.

это не мешает использовать бэкап второго уровня. складывать на второй сервер под своим пользователем и рутом хранить дополнительные снимки

где можно подсмотреть адекватные параметры модуля zfs для raidz2 на жестких дисках, с огромным количеством снэпшотов. подключил очередной сервер с которого сливаю снэпшоты полученные посредством zfs-auto-snapshot и налетел на невероятные тормоза. думал мой тюнинг в основном на тему vdev cache и очередей кривой (пул помер, перешел в suspended), отключил, понадеевшись на дефолт/авто-тюнинг, вышло еще хуже

zfs list -r -t all на этой fs задумывается секунт на 30

единственное что более-менее помогло это выставить dbuf_metadata_cache_max_bytes 12гб, памяти на сервере достаточно

В том то и дело, что тюнить zfs - очень коварная история. Авто снапшот скрипт, когда он мне там наплодил снапшотов - выкинул. Проще crontab четко прописать, чем отдать это скрипту, который их множит как ненормальный.

не, мне надо много снэпшотов для возможности отката

Сколько я не тюнил zfs - чуда не происходило. Объективно слишком мало положительных изменений из за которых это стоило бы делать.

все работает как запланированно, вот только хранилка с жесткими не справляется

не, мне надо много снэпшотов для возможности отката

zfs snapshot /dataset переменная твоя каждые сколько там минут?

раз в минуту

Ну и все. Обычный кронтаб в название переменную с минутами и датами впиндюрь

Ща просто на диване лежу, в лом к компу идти но ты найдешь кучу примеров.

дело не в том что на исходнике много снэпшотов, а в том что на приемнике может тысяч 30 уже

вот он и тормоэит адово

Снаашоты чистить тоже надо. Зачем тебе снаашоты на месяц или на сколько там. Ограничь это. zfs-prune-snapshot хорошо работает. Я очищаю например более 2х недель.

с более свежим zfs и ssd приемлимо, но у меня нету 30тб на ссд

дело не в том что на исходнике много снэпшотов, а в том что на приемнике может тысяч 30 уже

Так выбери дельту в каком промежутке хранить. Зачищай излишки, будет быстрее.

я знаю

вопрос не в том что надо чистить а как затюнить

Никак. Тюнинг zfs себя не оправдал ни разу. Оперативы добавить только, но оно и так динамически по моему.

если бы я собирался чистить то спросил бы сколько снэпшотов/датасетов оно вынесет если дать ему гигов 50 оперативки

В дефолт скинь и не увидишь большой разницы. Нет там чудес

единственное что более-менее помогло это выставить dbuf_metadata_cache_max_bytes 12гб, памяти на сервере достаточно

вот тут оно настраивается

вот тут оно настраивается

Ну и все больше там ниче мне не дало. Я столько перерыл всяких статей. На SSD поставил и красота.

#options zfs zfs_vdev_cache_size=1310720 #options zfs zfs_vdev_cache_max=131072 #options zfs zfs_vdev_cache_bshift=17 #options zfs zfs_read_chunk_size=1310720 #options zfs zfs_vdev_async_read_max_active=16 #options zfs zfs_vdev_async_read_min_active=8 #options zfs zfs_vdev_async_write_max_active=16 #options zfs zfs_vdev_async_write_min_active=8 #options zfs zfs_vdev_sync_read_max_active=16 #options zfs zfs_vdev_sync_read_min_active=8 #options zfs zfs_vdev_sync_write_max_active=16 #options zfs zfs_vdev_sync_write_min_active=8 #options zfs zfs_top_maxinflight=320 #options zfs zfs_txg_timeout=15 #options zfs zfs_dirty_data_max_percent=10 вот это снес, настраивал году так в 18-м, и еще больше поплохело

write amplification на каждый чих

4tb самсунги взяли и вот это реальный тюнинг. Сама по себе zfs НЕ БЫСТРА. Что аппаратным рейдам, что mdadm, что просто как файловая система проигрывает в скорости

не быстра это openzfs с ливерморскими макаками

оригинал и порт под фрей так не тормозил

Не знаю. Там из соляры по моему взято. Ну вот что на дебиане разговор веду.

нет

там переписано

ZoL это не порт

вот в 2008 под фрю спортировали, там все четко работало