« Rev
@ru_zfs   63
Fwd »


nikolay
ну всегда есть какой-то лаг между выходом релиза и выходом модулей zfs kmod, вот issue по 7.8: https://github.com/openzfs/zfs/issues/10261
во, спасибо. то что нужно. а то задергали меня по срокам и не хотят понижаться до 7.7 или переходить на 8.х в принципе я все поставил с dkms модулем и оно работает, но я уже привык использовать kmod, с ним проще обновляться. кстати при переходе на 7.8 даже версия ядра не меняется, только kernel id))
Sergey
Версия в центоси внутри major release никогда не меняется
nikolay
Версия в центоси внутри major release никогда не меняется
разве? минорные апдейты ядра прилетают же.. понятно что major kernel number такой же остается в рамках одной ветки. просто сейчас версия ядра один в один по номерам между 7.7 и 7.8 осталась..
Sergey
3.10.0 внутри 7.х не меняется
Fedor
@kernelorg привет, извини, бот бестолковый
Fedor
Сегодня попробую снова комбота ввернуть
Vladislav
надо бабушку на четверть ставки посадить, она лучше будет ботов фильтровать
Ivan
так на полный день можно чатов 50 взять на обслуживание
Fedor
?
Ты скинул ссылку на опеннет, он решил, что это спам 😁
Grzegorz
Я ? Вроде ничего не кидал.
Ivan
🤔
Fedor
Smr:)
Олег
Т.е какой-то опеннотовский спам через вирус?)))))
Fedor
Ну опеннет, конечно, несколько потерял в качестве, но это пока не вирус.
Grzegorz
Ты скинул ссылку на опеннет, он решил, что это спам 😁
Мне пришлось в панике все перепроверять , есть какой-то скриншот или лог ? Какая там ссылка была ?
Fedor
Fedor
Или это он не тебя 😁
Vlad
Хай! Может подскажете: как настроить чтобы zfs кешил запись в память по максимуму? У меня, условно, физически винчи выжимают 400 мбайт/с записи. Если я строю на них btrfs или LVM+XFS, то dd пишет в файл со скоростью 1500 мбайт/с, а дальше при размонтировании долго флашит на диск. То есть на самом деле просто буферизует запись где-то в памяти. А если строю ZFS, то dd пишет под 400 мбайт, зато размонтируется мгновенно. Вот я хочу настроить, чтобы ZFS тоже использовала такой же буфер в памяти, а потом уже в фоне спокойно писала на диски. Как это затюнить? (на масштабах десятков мегабайт оно уже так и делает, но хочется чтоб условно 30 гигов можно было так закешить на полной скорости)
Vlad
да, я этот риск принимаю
Vlad
пробовал ради теста включить рамдиск как SLOG (zpool add rpool log /dev/ram0) - не увеличилась скорость
Ivan
тогда отключайте синхронную запись
Vlad
-o sync=disabled?
Vlad
да
Сергей
dd это не совсем правильный способ для измерения производительности. используйте лучше fio
Сергей
почитайте тут, может что-то сможете применить у себя: http://onreader.mdl.ru/AdvancedZFS/content/Ch08.html
Vlad
спасибо, гляну
Сергей
пробовал ради теста включить рамдиск как SLOG (zpool add rpool log /dev/ram0) - не увеличилась скорость
SLOG увеличивает в первую очередь производительность при sync writes. То что вы просите скорее относится к отложенной записи, через регулировку txg
Vlad
я выкрутил для теста всякие *_dirty_* в максимум: zfs_dirty_data_max=80gb zfs_dirty_data_max_percent=100 zfs_dirty_data_sync_percent=100 zfs_txg_timeout=600 И теперь словил такой эффект: начинает кешировать запись на полной скорости, и держится — как и хотел, — а потом бац на отметке 22.5 гигов скорость записи обрубается в 0 (процесс полностью столлится), и zpool iostat показывает, что начинает флашить на диск. Только когда зафлашит всё целиком, продолжает принимает запись от процесса
Vlad
я представляю, должно быть так: буферизует пока хватает буфера, и при этом асинхронно из этого буфера сбрасывает на диск. Если буфер забился — запись ограничивается скоростью сбрасывания на диск
Vlad
а получается, что при дефолтных настройках ZFS всё время норовит ограничить до скорости сбрасывания на диск, а при вот тех — наоборот, максимально отсрачивает сбрасывание (не пишет вообще на диск, пока 22.5 гб не наберётся), а затем вообще ничего не принимает в буфер, пока целиком старый не очистит
Сергей
а sync при этом как установлен?
Vlad
не устанавливал, сейчас попробую с always и disabled
Vlad
sync=always — скорость низкая, сразу пишет на диск sync=disabled — то же поведение, 22.5 гб насасывает ничего не флаша, а затем столлится и флашит
Vlad
при этом рамы 180гб, т.е. я вообще не понимаю откуда число 22.5 берётся
Vlad
хотя, 180/8...
Сергей
Мне пока в голову ничего не приходит, может @gmelikov чуть позже глянет сообщения и что-то лучшее предложит. Но надо сказать что у вас не совсем "целевое" применение zfs))
Vlad
похоже да :) но я надеюсь таким образом сгладить пики нагрузки — чтобы можно было быстро записать 30 гигов и с ними работать, а они пускай там себе в фоне на диск пишутся
Алексей
Вся фигня в dirty percent
Алексей
Я не помню как точно называются параметры, но смысл в том что при достижении максимума грязных данных он начинает только писать до какого-то процента, очищая кэш. всё остальное на паузе. Нужно сравнять эти проценты, тогда такого троттлинга бытт не должно
Алексей
Что-то типа dirty_max и dirty_max_max
Алексей
Я не помню точно, но ковырять надо в эту сторону
George
я выкрутил для теста всякие *_dirty_* в максимум: zfs_dirty_data_max=80gb zfs_dirty_data_max_percent=100 zfs_dirty_data_sync_percent=100 zfs_txg_timeout=600 И теперь словил такой эффект: начинает кешировать запись на полной скорости, и держится — как и хотел, — а потом бац на отметке 22.5 гигов скорость записи обрубается в 0 (процесс полностью столлится), и zpool iostat показывает, что начинает флашить на диск. Только когда зафлашит всё целиком, продолжает принимает запись от процесса
вы начали смотреть в правильную сторону. Это буфер только для асинхронной записи. Его можно выкрутить, но когда вы упираетесь в него - получаете что видите - 0 иопс пока не сбросится. Т.е. если его сильно выкрутить можно получить желаемое вами, но с вот таким эффектов в худшем случае. Читать здесь https://github.com/openzfs/zfs/wiki/ZFS-Transaction-Delay Чем больше буфер и задержка - тем хуже будет троттлинг в самом печальном сценарии, потому что сбросить то данные надо На других ФС при переполнении ОЗУ у вас тоже будет деградация производительности, в общем то.
George
Хотите стабильных иопс - оставьте по дефолту, хотите покрутить - будьте готовы к 0 иопс просто.
George
там не просто так по дефолту макс 4ГБ сейчас
Vlad
А это особенность ZFSа, или у меня что-то криво? Кажется логично чтоб, пока место в буфере есть, скорость была равна скорости складывания в ram, а когда буфер заполнен — скорости складывания на диск. Типа на диск флашится, место в буфере освобождается, новая порция от процесса подгружается
Vlad
Наверняка я просто настройки перекрутил %)
Vlad
Но странно, что в дефолтном сетапе буфер практически нулевой
Fedor
Почему странно. Вообще такое использование идёт вразрез с идеологией фс в плане сохранения целостности данных. RPO выбран так, чтобы приложения чувствовали себя вполне комфортно в условиях даже высоких показателей записи и при сбоях не очень много данных потерялось.
George
А это особенность ZFSа, или у меня что-то криво? Кажется логично чтоб, пока место в буфере есть, скорость была равна скорости складывания в ram, а когда буфер заполнен — скорости складывания на диск. Типа на диск флашится, место в буфере освобождается, новая порция от процесса подгружается
Я скинул вам ссылку как оно работает, если проценты покрутить, то теоретически можно довести до адекватного. Но от 0 иопс в FIO на полную дурь это не спасёт, это синтетика. Вы учитывайте, что там транзакции, а не "записать потом как ляжет и пофиг"
Fedor
Вот то же самое про транзакции думал добавить
Vlad
а что нужно учитывать про транзакции?
Fedor
Попробуйте с устройством в кеширующем запись режиме поиграться. Пример - у меня на флешах как раз такое поведение в системе.
George
но я не спорю, что есть простор для совершенствования, PRs are welcome :)
Fedor
а что нужно учитывать про транзакции?
Транзакция завершается записью всех данных в ней
George
Транзакция завершается записью всех данных в ней
там скорее нюанс про количество висящих транзакций открытых, из коробки их чтоли 3
Fedor
Ну чот такое. Я не столь углублялся, увы.
Vlad
эх блин, сложно 🤔
Vlad
спасиб, буду пробовать чёто подтвикать, приблизиться к поведению бтрфса/lvm+xfs (сначала скорость рамы по размеру буфера, потом ограничивается скоростью диска)
George
ибо кажется, что там есть что править для такого кейса
Fedor
Только это одноразовая фс у вас будет, до первого сбоя:) и выключаться будет очень долго
Vlad
Только это одноразовая фс у вас будет, до первого сбоя:) и выключаться будет очень долго
это больше для сглаживания пиков - в основном нагрузки на диск нет, но будет удобно если можно положить на фс 30 гигов без iowait, и потом спокойно пару минут их флашить в фоне
Fedor
если нужно не так много данных одновременно - может, проще взять рамдиск на 30, и синкать его постоянно либо по нотифаям на блины?)
Vlad
это как-то странно :) хочу чтоб за меня это фс делала))
Fedor
нуу. можно написать свою)
Fedor
и будет делать
Fedor
тебе нужна тупая FIFO
Fedor
на запись
Vlad
угу, только ещё и всё остальное что фс делает :)))
Vlad
если без принудительного sync-а
« Rev
@ru_zfs   63
Fwd »