это все верно - думал сократить путь

Бекапы есть?

если есть специфика в пуле - то лучше лаба

там 240 ТБ БД

ее в принципе не архивируют - это оборудование СОРМ

6 груп по 5 дисков по 18ТБ

в одной группе диск ушел в дегрейдет

там 240 ТБ БД

Ну тогда выбор пути очевиден

Ну тогда выбор пути очевиден

соглашусь

там 240 ТБ БД

БД 240 ТБ? это что за бд такая?

постгре

прям вот реально 240ТБ база одна?

ну да - там 180 дней статистики с канала 40гбит

постгре

Oof, решили получить ачивку убили постргрю?

Oof, решили получить ачивку убили постргрю?

не уловил смысл - можете подробнее?

а какая разница как этот диск отображаться будет ?

а какая разница как этот диск отображаться будет ?

кому как удобнее - это никс

кому как удобнее - это никс

ну я к тому что зная как делается замена неважно какое там у диска название

проблема не в этом - если следовать первоначальной логике номенклатуры vdev нужно перед реплейсом присвоить vdev альяс сделать это за один хоп - не получается по этому спросил - про udevadm trigger - я уже читал ранее не был уверен что при обновлении дерева udev - не будет проблем

проблема не в этом - если следовать первоначальной логике номенклатуры vdev нужно перед реплейсом присвоить vdev альяс сделать это за один хоп - не получается по этому спросил - про udevadm trigger - я уже читал ранее не был уверен что при обновлении дерева udev - не будет проблем

Лучше прописать альяс и переподключить диск. Тогда trigger не нужно делать

Лучше прописать альяс и переподключить диск. Тогда trigger не нужно делать

да - этот вариант был самый первый

Оффтоп - предупреждение, потом бан.

https://t.me/sds_flood для более пространных обсуждений

https://t.me/sds_flood для более пространных обсуждений

А как СДС соотносится с ЗФС?..

основной флуд почистил

А, увидел.

А как СДС соотносится с ЗФС?..

дружественный чат

основной флуд почистил

Ну ты моё и по делу сообщение удолил😞 И ответ на него тоже.

Да, увы. Но там было начало этого треда.

Ну ты моё и по делу сообщение удолил😞 И ответ на него тоже.

Я своё удалил — и по делу, и тебе контраргумент. Айда во флудилке продублируем. :)

Да, увы. Но там было начало этого треда.

Ладно, не особо ценным оно и было, проехали)

Ладно, не особо ценным оно и было, проехали)

Так и я над тем стебаюсь.

Я своё удалил — и по делу, и тебе контраргумент. Айда во флудилке продублируем. :)

не рекомендую поднимать там совсем уж спорные темы.

не рекомендую поднимать там совсем уж спорные темы.

Значит, назревает нужда в курилке, каковая для тем, неуместных во флудилке. :) Не проще чатик на темы попилить?..

Значит, назревает нужда в курилке, каковая для тем, неуместных во флудилке. :) Не проще чатик на темы попилить?..

там есть клауд флуд вроде бы в ссылках в том чате)

совсем на отвлеченные темы

там есть клауд флуд вроде бы в ссылках в том чате)

Там и ссылка на более привязанный к данному чатику флуд обнаружилась. :)

Коллеги! Всем доброго времени по итогам реплейса диска в пуле на 240ТБ создал мини хау-ту пожалуйста ознакомьтесь и дополните (если что-то будет дополнить) по возможности включите в FAQ канала

Чек-лист o Заменяемый диск идентичен по характеристикам faulted диска o WWN номер диска с этикетки записан (или сфотографирован) o Прошивка заменяемого диска обновлена до ревизии дисков в zfs пуле (важно для SMR дисков Seagate) o Геометрия логического блока подменного диска, идентична дискам в пуле (512/512е/4096 байт) o Идентифицирована корзина в сервере или дисковой полке с faulted диском o Собрана информация о состоянии grown defect list всех дисков в группе/пуле o Собрана информация о ошибках дисков в разделе ECC delayed Важно! Операции подготовки и замены диска могут длится часы / дни! Все действия проводить через сессию в screen или аналогичном шелл. На всех этапах контролируем корректность выполнения команд 1. Помечаем диск offline zpool offline external-sas s1-d08-part1 проверяем состояние пула через вывод zpool status –v vdev должен стать s1-d08-part1 OFFLINE 2. Извлекаем диск из корзины 3. Заменяем на подменный 4. Получаем имя подменного диска в виде /dev/disk/by-id/scsi… делая листинг ls –la /dev/disk/by-id/ 5. Вносим актуальные данные s1-d08 в vdev_id.conf 6. Обновляем информацию udev (udevadm trigger) проверяем наличие альяса /dev/disk/by-vdev/s1-d08 делая листинг устройств ls –la /dev/disk/by-vdev 7. Копируем таблицу разделов с любого диска в массиве на подменный sgdisk /dev/disk/by-vdev/s1-d00 -R /dev/disk/by-vdev/s1-d08 8. Создаем случайный uuid sgdisk -G /dev/disk/by-vdev/s1-d08 проверяем наличие раздела s1-d08-part1 делая листинг устройств ls –la /dev/disk/by-vdev/ 9. Делаем online диск в пуле zpool online external-sas s1-d08-part1 получаем предупреждение что пул по прежнему в деградации 10. Выполняем replace vdev zpool replace external-sas s1-d08-part1 11. Ждем перестроения группы raidz1-1 проверяем состояние пула zpool status -v

коллеги - в инструкции выше имена пула и vdev взяты из моего сетапа. в вашем случае имена будут другие

нужна помощь

процесс резилверинга практически не идет

начиналось в 10 утра примерно так

на текущий момент так - время завершения расчитать не может

активности диска нет

процесс резилверинга практически не идет

это ж на smr дисках ?

Да

Да

можно помониторить задержку дисков. если там тишина, то мб кто-то скраб придушил, чтоб он не влиял на производительность пула. хотя мне кажется что это норма для smr так медленно работать.

Думаю правда где-то в dmesg по этому диску

Нужно смотреть smart старого и нового диска, а так-же логи дисков группы raidz1-1

7м какая-то не правдоподобная скорость, даже для smr

7м какая-то не правдоподобная скорость, даже для smr

Мы не знаем что ещё там за диски в этом 240тб массиве

диски все одинаковые ironwolf 16tb

sas

Мы не знаем что ещё там за диски в этом 240тб массиве

Да, это интересно конечно, и как подключено тоже, и какой bpn. Но думаю dmesg будет полезно посмотреть.

две дисковые полки SAS2 включенные в один четырехканальный 9316

Ауч

а какая ось, версия zfs ?

debian 11 - 2.0.9 вроде такая - сейчас нет доступа к этому серверу

debian 11 - 2.0.9 вроде такая - сейчас нет доступа к этому серверу

тогда стоит посмотреть не меняли ли релевантные для zfs scrub tuning параметры

Ага

Проверю

Через эхо на лету можно менять?

вроде да

Зачем кстати партицию на диске делать? Никогда не понимал этого действия на дисках с лвм, по той же причине не понимаю зачем это делать с zfs.

Зачем кстати партицию на диске делать? Никогда не понимал этого действия на дисках с лвм, по той же причине не понимаю зачем это делать с zfs.

Разница в количестве секторов

И что, zfs разве не разберется с этим?

И что, zfs разве не разберется с этим?

Каким образом, если вы отдали целиком диск?

TrueNAS создаёт в 3 раздела именно по этой причине

использует то же количество секторов что и на других дисках пула например? LVM же с этим разбирается если делать raid

использует то же количество секторов что и на других дисках пула например? LVM же с этим разбирается если делать raid

Вы купили ВД и Тошибу У ВД 3000000 секторов, У тошибы 2999999 секторов Да, рейд создатся на 2999999 секторах А потом у Вас сдох диск и Вы пытаетесь заменить его на сигейт у которого 2999888 секторов

Какая то не гибкая стстема получается

Какая то не гибкая стстема получается

ZFS в кли не ведёт Вас за ручку в таких ситуациях.

Для этого есть TrueNAS

Где Вас не спрашивают

Мда, а я то все в консоли по старинке делаю, измельчали админы нынче

Мда, а я то все в консоли по старинке делаю, измельчали админы нынче

Консоль для тех кто понимает что делает обычно (no offense)

К примеру, ZFS в кли даст сделать reduce zvol size меньше чем он сейчас не спрашивая ничего

Логично, если не сделать предварительный resize со стороны ОС которой выдан этот zvol - получится пиздец