Линейно читал звол, префетч вообще не шелохнулся процентно

По идее не связано, префетч просто запрашивает заранее следующие блоки в объекте

Не важно где они на диске

Вот не попадал он вообще, хотя линейно читал звол

Один раз после почти террабайта у него получилось на пару минут поработать эффективно

Вот не попадал он вообще, хотя линейно читал звол

Не попадал в префетч (уже поднятое в арк), или префетч даже не вызывался?

линейное чтение должно показывать попадание в префетч, если он включен и ему хватает места в озу (т.е. Не перекручены настройки)

Не попадал в префетч (уже поднятое в арк), или префетч даже не вызывался?

Видимо, не попадал в префетч. Но по поводу места - у меня из 224 свободно порядка 20 чтоль

Не попадал в префетч (уже поднятое в арк), или префетч даже не вызывался?

Данные холодные

У меня собираются почти все переменные зфс, включая счётчики по префетчу что меты, что данных

Вот по ним - префетч и при рандом реад в фоне, и при линейном чтении - одинаков

Плавает от 20 до 30 процентов в среднем

Хм, посмотрел.. У всех Latency =)

Амплификейшн где-то порядка 4 у меня.

И да, у меня не зол немножк.

линейное чтение должно показывать попадание в префетч, если он включен и ему хватает места в озу (т.е. Не перекручены настройки)

а для префетча какие условия должны быть соблюдены в озу? процентные какие-то помимо zfs_arc_size, или еще чего-то?

а вот эффективность префетча при линейном чтении звола.

в 2 с небольшим ночи провал - я его отключал для проверки

Вопрос, наверное, тогда такой.. Где хранятся хедеры для л2арк, в zfs max mem или отдельно?

а вот эффективность префетча при линейном чтении звола.

вообще он как бы работает, показатели на весь arc, 100% можно увидеть только если на пул не прилетает больше никакой другой нагрузки. Как тестити?

Вопрос, наверное, тогда такой.. Где хранятся хедеры для л2арк, в zfs max mem или отдельно?

iirc в общем пуле arc

это не тест - это чтение 1.2тб звола

при этом иопсов на полтора порядка больше этим чтением генерирую, чем остальная фоновая рандреадврайт

это не тест - это чтение 1.2тб звола

больше на системе не было нагрузки на другие пулы/зволы/датасеты?

было - рандрв

было - рандрв

99% оно показатели и размывает

Но там ио на полтора порядка меньше

В сумме

Но там ио на полтора порядка меньше

хм, а напомни ось и какой по времени у неё примерно срез zfs из иллюмоса, если это опенсолярис?

вообще по prefetch много коммитов за тот же 2016й год было в zol

да и свежее есть

мб ты на какой-то момент наткнулся

omnios

илллюмос практически латест

ну мож месяца три назад накатывал латест

илллюмос практически латест

хм, ну за 2016й тогда изменения точно есть

а как ты остальные io мерял?

дельтой между известным и общим

я снимаю весь кстат

кстат по зфс и по стмф (искази)

у меня нфс нагрузка ещё есть, но пока не аккаунтил

дельтой между известным и общим

смотришь сколько попаданий в arc было при этом же?

пул не только создан же? https://github.com/openzfs/zfs/commit/944a37248a0db8a3f8c5aee3864d9857a3486672

хотя нет, он бы тогда вообще не работал

смотришь сколько попаданий в arc было при этом же?

да - ни одного, данные холодные

пул не только создан же? https://github.com/openzfs/zfs/commit/944a37248a0db8a3f8c5aee3864d9857a3486672

давно создан

да - ни одного, данные холодные

интересно

да - ни одного, данные холодные

потестил zol 0.8.4, ощущение что статистика по префетчу либо врёт, либо говорит что-то другое

отключение префетча явно влияет на перформанс, ощущение что с какого-то момента статистика начинает идти как попадание в arc, а не в prefetch

root@foton:~# arcstat -f hit%,ph%,pm% 1 hit% ph% pm% 100 0 0 74 0 100 76 0 100 73 0 100 ^C root@foton:~# echo 1 > /sys/module/zfs/parameters/zfs_prefetch_disable root@foton:~# arcstat -f hit%,ph%,pm% 1 hit% ph% pm% 50 0 0 50 0 0 50 0 0 49 0 0 50 0 0 ^C root@foton:~# echo 0 > /sys/module/zfs/parameters/zfs_prefetch_disable root@foton:~# arcstat -f hit%,ph%,pm% 1 hit% ph% pm% 65 0 100 75 0 100 74 0 100 77 0 100 74 0 100 т.е. после включения префетча он как бы даёт 100% мисс, но зато хиты в arc резко растут

создавай баг-репорт

создавай баг-репорт

рано, сначала ещё мастер надо потестить, там кривой подсчёт арк как раз фиксили

хорошо, что фактически префетч работает)

Вот только у меня префетч никакого эффекта не давал

Надо б наверное стенд какой нибудь собрать :)

По разным слухам, стек зфс иллюмос не развивается. Это так, в целом?

По разным слухам, стек зфс иллюмос не развивается. Это так, в целом?

За иллюмосом не слежу, но в openzfs сейчас всё активно и весь delphix теперь там

Понятно.

Freebsdшники тоже весьма активны сейчас, дошлифовывают интеграцию

бсд шикарная система.

шикарная ветка вообще

За иллюмосом не слежу, но в openzfs сейчас всё активно и весь delphix теперь там

А что там с fpu на zol? Векторные инструкции работают на ядрах > 5?

А что там с fpu на zol? Векторные инструкции работают на ядрах > 5?

Всё работает

рано, сначала ещё мастер надо потестить, там кривой подсчёт арк как раз фиксили

Это в 2.0.0 должно попасть или позже? Забавно иногда минусовые показатели наблюдать :D

Это в 2.0.0 должно попасть или позже? Забавно иногда минусовые показатели наблюдать :D

Iirc в 2.0

Iirc в 2.0

посмотрю на графики как релизнется)

#Вопрос Нужно обновить прошивку на 2-х ssd в зеркале (special + slog) пула. Лучше сделать через offline ? 1) zpool offline pool disk 2) обновляю прошивку 3) zpool online pool disk Или через detach ? 1) zpool detach pool disk 2) обновляю прошивку 3) zpool attach pool disk Detach Я так понял применяется богльше при замене диска, когда из строя выходит. А тут мне надо обновить только, и потом тот же диск снова в работу завести.

#Вопрос Нужно обновить прошивку на 2-х ssd в зеркале (special + slog) пула. Лучше сделать через offline ? 1) zpool offline pool disk 2) обновляю прошивку 3) zpool online pool disk Или через detach ? 1) zpool detach pool disk 2) обновляю прошивку 3) zpool attach pool disk Detach Я так понял применяется богльше при замене диска, когда из строя выходит. А тут мне надо обновить только, и потом тот же диск снова в работу завести.

Так рубани сервак, обнови прошивку и включи сервак)))

Так рубани сервак, обнови прошивку и включи сервак)))

не вариант рубать сервак. Да и рубать - это надо идти и вытаскивать диски тогда и шить где-то в другом месте. А там одна команда и прошивка обновляется.

Ну детач-аттач или анмоунт-моунт

#Вопрос Нужно обновить прошивку на 2-х ssd в зеркале (special + slog) пула. Лучше сделать через offline ? 1) zpool offline pool disk 2) обновляю прошивку 3) zpool online pool disk Или через detach ? 1) zpool detach pool disk 2) обновляю прошивку 3) zpool attach pool disk Detach Я так понял применяется богльше при замене диска, когда из строя выходит. А тут мне надо обновить только, и потом тот же диск снова в работу завести.

Если прошивка не затирает данные, то offline/online, в таком случае ресильвер сможет только изменённое за это время обновлять. Стоит проверить на тестовом пуле для спокойствия

Detach/attach вызовет полный ресильвер по идее

Если прошивка не затирает данные, то offline/online, в таком случае ресильвер сможет только изменённое за это время обновлять. Стоит проверить на тестовом пуле для спокойствия

Проверит не могу, диски только там имеются такие.

Проверит не могу, диски только там имеются такие.

Не, проверить поведение zfs

на файлах пул просто создайте

Detach/attach вызовет полный ресильвер по идее

на нём данных на 10Гб. ресильвер - это же просто синхронизация ? тогда это быстро пройдёт

И сделайте оффлайн онлайн без затирания файлика и с затиранием, между этим записав на пул что-то

на нём данных на 10Гб. ресильвер - это же просто синхронизация ? тогда это быстро пройдёт

А, 10гб

Тогда пофиг, можно и детачем тогда

на нём данных на 10Гб. ресильвер - это же просто синхронизация ? тогда это быстро пройдёт

Да, синхронизация, просто она может быть с нуля, а может только изменённых данных