Dmitry
подскажите, есть какой-то способ сбросить arc кеш, без перезагрузки? нужно для бенчмарков postgres (чтобы оценивать скорость выполнения запросов в разных обстоятельствах)
George
потом для спокойствия проверить размер в arcstat
Dmitry
полный сброс - sync; echo 3 > /proc/sys/vm/drop_caches
не знал что для arc тоже работает, спасибо
Dmitry
arcstat кажется вам скажет именно что с диска а что из кеша идёт)
это да, но это в целом для системы, если есть несколько постгресов или еще кто-то работает с темже пулом, то разобрать кто откуда прочитал не удастся, или есть какой-то способ сегрегировать?
Dmitry
полный сброс - sync; echo 3 > /proc/sys/vm/drop_caches
до конца я так понимаю он не очищается root@ip-172-31-30-155:~# arcstat time read miss miss% dmis dm% pmis pm% mmis mm% arcsz c 07:51:04 0 0 0 0 0 0 0 0 0 51M 83M root@ip-172-31-30-155:~# sync; echo 3 > /proc/sys/vm/drop_caches root@ip-172-31-30-155:~# arcstat time read miss miss% dmis dm% pmis pm% mmis mm% arcsz c 07:51:10 0 0 0 0 0 0 0 0 0 51M 83M
George
а так да, на 100% видимо он не сбрасывает, но данные точно дропает
Dmitry
просто это после нескольких попыток его сбросить
Владимир
Всем привет. Кто-то проходил сертификацию на тему хранения персональных данных с ZFS?
Aleksey
с шифрованием?
Dmitry
per dataset есть сырая статистика, можно в ней посмотреть
подскажите, пожалуйста а как эту статистику по датасетам получить?
Владимир
с шифрованием?
ну на данный момент у нас нет шифрования
Владимир
и хотелось бы без него
George
Всем привет. Кто-то проходил сертификацию на тему хранения персональных данных с ZFS?
wat? кто-то сертифицирует по zfs? или это оракловый zfs имеется в виду?
George
по openzfs не видел, да и не искал
Владимир
wat? кто-то сертифицирует по zfs? или это оракловый zfs имеется в виду?
сертификацию чтобы пройти нужно соответствовать по помещению, железу, ПО
Владимир
так что ZFS туда тоже относится
d
Всем привет. Кто-то проходил сертификацию на тему хранения персональных данных с ZFS?
Сертификация нужна чтобы взятки брать. Соответственно, от FS её прохождение не зависит.
Sergey
@dmitry_fomin примерно так, вот pr с описанием https://github.com/openzfs/zfs/pull/7705
ага, спасибо, там в целом что внутри понятно а id оказался айдишиком objsetid вроде
Sergey
а, не обратил внимание, ничего)
Sergey
Коллеги, добрый день. Вопрос по TxG. В /proc/spl/kstat/zfs/<poolname>/txgs можно посмотреть TxG, сколько они длились и т.п. А как посмотреть, для конкретной TxG что ее "вызвало" - таймаут? Порог грязных буферов? еще какие-то события?
Sergey
подскажите, пожалуйста а как эту статистику по датасетам получить?
в целом описание Гергий прислал, там надо смотреть objsetid датасета, находить в кстате файл с его id и парсить
Dmitry
в целом описание Гергий прислал, там надо смотреть objsetid датасета, находить в кстате файл с его id и парсить
вот пример вывода 27 1 0x01 7 2160 7370432300 6849226012670 name type data dataset_name 7 dblab_pool writes 4 91 nwritten 4 566139 reads 4 25153 nread 4 194891846 nunlinks 4 15 nunlinked 4 15 что-то не совсем понимаю как отделить в этой статистике чтения с диска и чтения из arc
Sergey
А, по отдельным датасетам не находил стату по чтению из арка
Sergey
Есть только подробная статистика самого арка
George
если с учётом, то тогда только на уровне пула можно примерно понять из arc или нет было чтение на основе zpool iostat к примеру
George
Коллеги, добрый день. Вопрос по TxG. В /proc/spl/kstat/zfs/<poolname>/txgs можно посмотреть TxG, сколько они длились и т.п. А как посмотреть, для конкретной TxG что ее "вызвало" - таймаут? Порог грязных буферов? еще какие-то события?
вообще не припомню чтобы была явная возможность это посмотреть легко, на памяти только дебаггерами вешаться на нужные места. пороги буферов можно понять по размеру txg, таймаут - по времени в общем то
Николай Орлов
Закончился мой печальный опыт с кривыми руками и восстановлением данных после этой криворукости))). Результат восстановил 100% информации. Если кому интересно или вдруг будет такая же ситуация с кривыми руками, то могу порекомендовать приложение UFS explorer, с лицензией за 60евреев.
Николай Орлов
да
Николай Орлов
я бы сказал она поддерживает все файловые системы
Николай Орлов
нет
Владимир
круто)
Николай Орлов
видимо я не сильно вредный )))
Николай Орлов
ну опять же, я не перезаписывал данные, создал пул и увидел ошибку, может изза этого все так получилось
Владимир
вовремя спохватился
Николай Орлов
спасибо всем кто оказал поддержку в трудную минуту
Владимир
у меня был всего один случай восстановления данных с ZFS), и довольно лёгкий. Всё прошло по маслу. Там кто-то удалил раздел который был состояющей частью vdev что сломало его. Я просто создал раздел ровно с того же места с которого он был создан и окончание сделал на том месте где он раньше кончался. И всё завелось)
Николай Орлов
может и сработает банальное восстановление пула и датасета
Владимир
так увеличивают криво разбитые виртуальные диски ) первый раз страшно удалять разделы, даже при наличии бэкапов )
да какой там первый)), я наверное через год только свыкся и понял что точно всё норм))
Владимир
а сейчас даже логические разделы таким образом в первичные превращаю))
LordMerlin
Кстати, тут про мониторинг и zfs говорили, ни кто не пробовал с помощью netdata помониторить? Там вроде есть поддержка zfs
Alexandr
я пробовал
Alexandr
для краткосрочного мониторинга ок
LordMerlin
Просто пользую её в общем для мониторинга поверхностного. И какие данные по zfs показывает? У меня просто его еще нет)
Alexandr
Alexandr
Alexandr
все показывать не буду, наспамлю
Alexandr
ставится 1й командочкой
Alexandr
рекомендюу попробовать
LordMerlin
Не, нетдата у меня есть. У меня ЗФС нету)))
Alexandr
аааа)
LordMerlin
Хотел посмотреть, что оно вообще показывает по ней
LordMerlin
Ну и как вообще, быстро оценить здоровье и что происходит помогает?
Alexandr
вообще не очень
Alexandr
как я писал вышел, эт охорошо только для краткосрочного мониторинга
Alexandr
если мне надо увидеть что вот за последнее время было
Alexandr
(до 24 часов)
Alexandr
но мне часто нужно значт за гораздо большие периоды, от недели и до месяцев
Alexandr
вот там уже лучше использовать чтото другое
Alexandr
например zfs умеет слать прямо в базу метрики, откуда их можно потом отрировывать тойже графаной
Alexandr
или испольовать telegraf для сбора метрик
Alexandr
или прометеуса с експортером
LordMerlin
За малым ты щас вельзевула не вызвал своими заклинаниями))