Fedor
Огурцов не спрашивают...
@kote_matroskin покорректнее общайся, плз. Ро три дня.
Vladislav
Как до этого дошли вообще от темы про корректность использования бэкапов?
sexst
@kote_matroskin покорректнее общайся, плз. Ро три дня.
Да ну ладно вам, это он по фактам, я ж и правда огурец =)
sexst
Как до этого дошли вообще от темы про корректность использования бэкапов?
Я не знаю, я пытался объяснить что использование rm это очень частый случай в реальном мире, особенно там, где используется zfs
Станислав
Тьфу, тьфу, тьфу, уже лет 7 их не видел у себя... Просто грамотно порезанные права и фильтрация)
Я у себя вообще не видел этого. Больше скажу! У клиентов, которым настраивал по своему уму, тоже.
Станислав
Я как пользователь винды тихонько промолчу
🪓 держите, Вам нужно ПК поправить немного
ivdok
!report
Group Butler
!report
Reported to 1 admin(s)
Илья
Коллеги есть рецепты поднять производительность 4к блока в рандом доступе?
Alexey
🤷‍♂️
Илья
Alexey
Переключить что?
Очевидно, волум?:)
central
/report
Group Butler
/report
Reported to 1 admin(s)
Free
Какие есть способы мониторить статус zfs, аналогичных (зависающей, вот сволочь 😡) команде zpool status? Делал себе мониторинг состояния пулов на основе проверки статуса пула zpool status. Столкнулся с тем, что иногда команда просто зависает (часто вместе с ней - и другие команды, например, zfs list). Происходит такое, в частности, если на пуле из одиночного диска происходит ошибка i/o и он переходит в статус suspended. Наиболее типично, по отзывам в интернете - если сбойнёт внешний USB диск, но у меня и с внутренними иногда бывает. Думал, у меня что-то не так с настройками. Ведь если после сбоя диск восстановился - его вполне можно было бы вернуть в статус online средствами zfs (командами zpool)! Сегодня обнаружил, что (по крайней мере у Oracle) это считается совершенно стандартным поведением 😱: Commands such as zfs(1M) and zpool(1M) will hang even if the commands are not associated with the zpool that is suspended. A panic or reboot is the only way to clear the hang. (https://support.oracle.com/knowledge/Sun%20Microsystems/1457074_1.html) Не нашел явно, но подозреваю, что в openzfs это также не исправлено. В связи с этим вопрос: Каким способом хотя бы отследить, что пул suspended (чтобы идти перегружать сервер)?
central
Какие есть способы мониторить статус zfs, аналогичных (зависающей, вот сволочь 😡) команде zpool status? Делал себе мониторинг состояния пулов на основе проверки статуса пула zpool status. Столкнулся с тем, что иногда команда просто зависает (часто вместе с ней - и другие команды, например, zfs list). Происходит такое, в частности, если на пуле из одиночного диска происходит ошибка i/o и он переходит в статус suspended. Наиболее типично, по отзывам в интернете - если сбойнёт внешний USB диск, но у меня и с внутренними иногда бывает. Думал, у меня что-то не так с настройками. Ведь если после сбоя диск восстановился - его вполне можно было бы вернуть в статус online средствами zfs (командами zpool)! Сегодня обнаружил, что (по крайней мере у Oracle) это считается совершенно стандартным поведением 😱: Commands such as zfs(1M) and zpool(1M) will hang even if the commands are not associated with the zpool that is suspended. A panic or reboot is the only way to clear the hang. (https://support.oracle.com/knowledge/Sun%20Microsystems/1457074_1.html) Не нашел явно, но подозреваю, что в openzfs это также не исправлено. В связи с этим вопрос: Каким способом хотя бы отследить, что пул suspended (чтобы идти перегружать сервер)?
А чего бы не взять готовый экспортер?
llacqie
Для чего?
Экспортеры вроде у прометеуса
llacqie
https://ya.ru/search/touch/?text=zfs+exporter+prometheus+&lr=54
Free
Насколько я понял - это нечто сбоку от zfs, что запрашивает у zfs какие-то параметры, анализирует, и посылает при необходимости. Но если базовые команды zfs подвиснут - то оно ничего не сможет получить и сообщить. Если кто-то реально этим пользуется - скажите, работает ли оно с зависшим zpool?
Free
когда что-то такое странное происходит - следует убедиться что версия zfs не расходится с версией загруженного модуля.
root@S04:~# zpool upgrade This system supports ZFS pool feature flags. All pools are formatted using feature flags. Every feature flags pool has all supported and requested features enabled.
Roman
Какие есть способы мониторить статус zfs, аналогичных (зависающей, вот сволочь 😡) команде zpool status? Делал себе мониторинг состояния пулов на основе проверки статуса пула zpool status. Столкнулся с тем, что иногда команда просто зависает (часто вместе с ней - и другие команды, например, zfs list). Происходит такое, в частности, если на пуле из одиночного диска происходит ошибка i/o и он переходит в статус suspended. Наиболее типично, по отзывам в интернете - если сбойнёт внешний USB диск, но у меня и с внутренними иногда бывает. Думал, у меня что-то не так с настройками. Ведь если после сбоя диск восстановился - его вполне можно было бы вернуть в статус online средствами zfs (командами zpool)! Сегодня обнаружил, что (по крайней мере у Oracle) это считается совершенно стандартным поведением 😱: Commands such as zfs(1M) and zpool(1M) will hang even if the commands are not associated with the zpool that is suspended. A panic or reboot is the only way to clear the hang. (https://support.oracle.com/knowledge/Sun%20Microsystems/1457074_1.html) Не нашел явно, но подозреваю, что в openzfs это также не исправлено. В связи с этим вопрос: Каким способом хотя бы отследить, что пул suspended (чтобы идти перегружать сервер)?
мониторь долгие процессы в D, как вариант.
Free
zfs -V
root@S04:~# zfs -V zfs-2.2.3-1~bpo12+1 zfs-kmod-2.2.3-1~bpo12+1 PS Там пулы были с более древней версии перенесены, и я их апгрейдил - думал, про это вопрос.
LordMerlin
Netdata мне на почту шлет алерты. И что пул развалился и что процессоры заняты долгое время и то память на исходе. Сам какие хочешь триггеры пиши, ещё и запись есть показаний, смотреть в прошлое, что случилось. Локально на каждой ноде ставится.
LordMerlin
https://www.netdata.cloud/blog/netdata-vs-prometheus-performance-analysis/
George
Какие есть способы мониторить статус zfs, аналогичных (зависающей, вот сволочь 😡) команде zpool status? Делал себе мониторинг состояния пулов на основе проверки статуса пула zpool status. Столкнулся с тем, что иногда команда просто зависает (часто вместе с ней - и другие команды, например, zfs list). Происходит такое, в частности, если на пуле из одиночного диска происходит ошибка i/o и он переходит в статус suspended. Наиболее типично, по отзывам в интернете - если сбойнёт внешний USB диск, но у меня и с внутренними иногда бывает. Думал, у меня что-то не так с настройками. Ведь если после сбоя диск восстановился - его вполне можно было бы вернуть в статус online средствами zfs (командами zpool)! Сегодня обнаружил, что (по крайней мере у Oracle) это считается совершенно стандартным поведением 😱: Commands such as zfs(1M) and zpool(1M) will hang even if the commands are not associated with the zpool that is suspended. A panic or reboot is the only way to clear the hang. (https://support.oracle.com/knowledge/Sun%20Microsystems/1457074_1.html) Не нашел явно, но подозреваю, что в openzfs это также не исправлено. В связи с этим вопрос: Каким способом хотя бы отследить, что пул suspended (чтобы идти перегружать сервер)?
https://github.com/ClusterLabs/resource-agents/blob/main/heartbeat/ZFS#L159
George
Этот метод неблокирующий
Group Butler
Reported to 1 admin(s)
Кот Матроскин
Подскажите, как лучше затюнить ZFS в режиме файлопомойки под бэкапы, фильмы, сериалы, и какие то там архивы инфы, которую по сути можно перекачать, если что. Будут как огромные файлы до 500-1000 Gb, так и мелочь всякая, чуть ли не по сотни мегабайт. Может быть небольшое количество мелочи в килобайтах. Есть 14x4 Tb в RAIDZ2 (WD RED), 2xPCIeX1 на 6 портов каждый и 2 SATA порта на материнке. Сетевой порт пока что встройка на гигабит, возможно потом будет 10G, но больше 5G всё равно не прокачает, т.к. шина там X2 всего. Какой лучше всего recordsize установить для массива и что ещё можно подтюнить?
Кот Матроскин
Сжатие и дедупликацию включать не хочу, т.к. во первых там всего 16 Gb RAM, а во вторых слабый CPU для этого, т.к. материнка с очень энергоэффективным процем для пассивного охлаждения.
Кот Матроскин
128k на блок мало будет?
Δαρθ
Кот Матроскин
эмм, а что я написал ты прочел?
Не хочу сжатие, написал же что проц дохлый. Да и восстановление данных сложнее будет, в случае чего.
Δαρθ
Ну ок. Делай 128к потом качай торренты и получай расфрагрментированное всё в хлам. или теряй на каждом файле +500к на полный блок без сжатия
Кот Матроскин
Больше ни у кого идей нет?
Artem
Так сжатие можно врубить только на файлуху с килобайтоой мелочью, или я путаю? Для гигабайтных видео понятно, что смысла в сжатии не особо
Δαρθ
Так сжатие можно врубить только на файлуху с килобайтоой мелочью, или я путаю? Для гигабайтных видео понятно, что смысла в сжатии не особо
у меня есть некототые видео которые жмутся на 10%, например. вся помойка с мр3 у меня тоже жмётся примерно так же
Artem
Δαρθ
Мп3 - это килобайтная мелочь. А с видео - всегда есть исключения из правил.
ну тогда уж мегабайтная. а вообще пофиг и п.1 и п.2 жмутся равномерно в каждом месте, значит при блоке 1м можно выигрывать ~20 секторов по 4к на каждом
Δαρθ
для дохломощных процов в сабже придумали lz4 которое (не) жмёт почти со скоростью копирования
Δαρθ
ставить gzip (полный пэ) или zstd-9 никто не предлагает
Fedor
Меня немного смущает выбор дисков для задачи и память потенциально без коррекции ошибок.
Fedor
Перед втаскиванием данных нужно очень хорошо оттестировать на пограничных кейсах при забитых дисках. Есть риск, что обмен может встать колом при какой-то активности на запись из-за потенциального smr в дисках.
Кот Матроскин
у меня есть некототые видео которые жмутся на 10%, например. вся помойка с мр3 у меня тоже жмётся примерно так же
На электричестве не больше экономия выходит?) Когда сжатие и распаковка постоянно.
Fedor
На электричестве не больше экономия выходит?) Когда сжатие и распаковка постоянно.
Там очень легковесные алгоритмы. На самый крайний случай можно провести тесты.
Кот Матроскин
Меня немного смущает выбор дисков для задачи и память потенциально без коррекции ошибок.
Что не так с дисками? ECC в хоум железе нет к сожалению, а серверное пассивное не делается.
Fedor
Если диски SMR, может стрелять по производительности.
Кот Матроскин
Если диски SMR, может стрелять по производительности.
Там и те и те есть, и вообще это палёный китай с озона)
Кот Матроскин
9 дисков SMR, 5 дисков CMR.
Кот Матроскин
Один SMR какой то глючный был, ронял NAS на мертво при добавлении, заменил на CMR.
Кот Матроскин
Но при этом в док станции он все тесты виктории проходит, файлы пишутся и корректно на всём объёме.
Δαρθ
На электричестве не больше экономия выходит?) Когда сжатие и распаковка постоянно.
постоянно 24/7 крутить диски и париться о 0.1% на распаковку
Кот Матроскин
постоянно 24/7 крутить диски и париться о 0.1% на распаковку
Не 24/7, это помойка же, только скинуть и считать с неё.
central
Кот Матроскин
и как часто вы ее будете включать?
Слить бекапы, слить фильмы, может чё то посмотреть с неё.
central
Слить бекапы, слить фильмы, может чё то посмотреть с неё.
есть всего два типа людей которые проверяют уже проверяют бекапы и которые нет
Кот Матроскин
central
Они проверяются при сливе, а дальше это уже забота ZFS.
в том сценарии как вы хотите делать это ваша забота а не zfs
Кот Матроскин
уверен на соточку что нет
Ставите своё очко, сэр? 😂
Кот Матроскин
в том сценарии как вы хотите делать это ваша забота а не zfs
Не моя, иначе тогда ZFS нафиг не нужон, как некоторые говорят.
Вадим «Дым» Илларионов ☭
Коллеги, словил глюк на новом сервере с новыми дисками на свежеустановленном проксмоксе: root@pve-0:~# zpool status pool: rpool state: DEGRADED status: One or more devices could not be used because the label is missing or invalid. Sufficient replicas exist for the pool to continue functioning in a degraded state. action: Replace the device using 'zpool replace'. see: https://openzfs.github.io/openzfs-docs/msg/ZFS-8000-4J scan: scrub repaired 0B in 01:05:25 with 0 errors on Sun Apr 14 01:29:26 2024 config: NAME STATE READ WRITE CKSUM base DEGRADED 0 0 0 raidz2-0 DEGRADED 0 0 0 sda ONLINE 0 0 0 sdb ONLINE 0 0 0 sdc ONLINE 0 0 0 sdd ONLINE 0 0 0 sde ONLINE 0 0 0 sdf ONLINE 0 0 0 sdg ONLINE 0 0 0 sdh ONLINE 0 0 0 sdi ONLINE 0 0 0 sdj ONLINE 0 0 0 18306792666249521913 OFFLINE 0 0 0 was /dev/sdk1 9719412968676584709 FAULTED 0 0 0 was /dev/sdl1 errors: No known data errors Ни смарт не выдаёт ошибок, ни megacli не ропщет. Возможно ли эти два дивайса вернуть в пул, не перезагружаясь и не перетыкая их?
Fedor
Там и те и те есть, и вообще это палёный китай с озона)
тогда лучше не надо собирать это на зфс.
Вадим «Дым» Илларионов ☭
а диски вообще живые и разьемы куда они воткнуты?
Новые. Сервер новёхонький. И снова: смартктл на них не ругается, ошибок не показывает.
Fedor
и куда они вообще из системы делись.
Fedor
One or more devices could not be used because the label is missing or invalid.