А, точно, спасибо за напоминание про спейры, совсем голова с недосыпа дырявая. Ок, пересчитаю диски и влевы, через сутки-двое соберу и потестирую, напишу, что получилось. Всем большое спасибо за участие! Вы лучшие)

👍 ждёмс результатов)

Т.е. Более жирный 1 raidz - больше полезного места, но иопсы одного диска.

и на запись и на чтение ?

и на запись и на чтение ?

Iirc да

Вчера обновился до убунты 20.05 и при загрузке каждый раз ошибка от zfs. Пишу exit и все грузится нормально.

Fsck

Fsck

Ghkt? Mymybyby?

Ещё возможно в граб пул Рут не прописался

Fsck

Вчера обновился до убунты 20.05 и при загрузке каждый раз ошибка от zfs. Пишу exit и все грузится нормально.

Initramfs может помочь перегенерить полностью, ещё посмотреть что там с zfs cache file, не помню в убунте увы подробнее

Вчера обновился до убунты 20.05 и при загрузке каждый раз ошибка от zfs. Пишу exit и все грузится нормально.

https://bugs.launchpad.net/ubuntu/+source/zfs-linux/+bug/1850130 Похоже на ваш случай

zpool export <poolname>

в августе сделаю страничку про восстановление данных с проблемных пулов, видимо будет полезно

Очень полезно. Заранее спасибо.

в августе сделаю страничку про восстановление данных с проблемных пулов, видимо будет полезно

есть дока же официальная

есть дока же официальная

Ссылку плиз. Если речь про солярисовую - openzfs уже свои фишки имеет, они не очень подробно описаны и не в одном месте пока. Вот занимаюсь консолидацией как раз.

Ссылку плиз. Если речь про солярисовую - openzfs уже свои фишки имеет, они не очень подробно описаны и не в одном месте пока. Вот занимаюсь консолидацией как раз.

а, окей

я про оф доки с rhel, я по ним данные восстанавливал, когда шатал

я про оф доки с rhel, я по ним данные восстанавливал, когда шатал

Рхел и зфс? А кинешь ссылку? Не видел у них док про зфс особо

я про оф доки с rhel, я по ним данные восстанавливал, когда шатал

лучше привести свой журнал работ

лучше привести свой журнал работ

пару лет прошло, я восстанавливал конкретные файлы

все свелось к dd в итоге

и часть данных я потерял

но я проверял устойчивость

так что меня эксперимент устроил :)

поищу доки, как дома буду

я про оф доки с rhel, я по ним данные восстанавливал, когда шатал

Это очень странно. Как минимум потому что редхат официально заявляет что zfs не поддерживается ни в одной версии рхел в том числе и в 8-ке ни самой редхат ни будучи установленной посредством сторонних ресурсов. Отсюда наличие какой-либо доки по zfs от редхат абсолютно невероятно. Думаю что произошло недоразумение. Не более. Всего-лишь путаница. И упоминаемая дока сторонняя.

скорее всго рх с ораклом попутали

скорее всго рх с ораклом попутали

+++

скорее всго рх с ораклом попутали

А оракл вроде гробовое молчание сохраняет по поводу ZFS в их форке редхата

Ни поддержки, ни обратного, вообще ни слова

https://bugs.launchpad.net/ubuntu/+source/zfs-linux/+bug/1850130 Похоже на ваш случай

Я там уже отвечал. Ту проблему я решил. Теперь новая, ссска, интересная и необычная. Достала эта штука уже. Рукожопые разрабы десять лет не могут доделать

Я там уже отвечал. Ту проблему я решил. Теперь новая, ссска, интересная и необычная. Достала эта штука уже. Рукожопые разрабы десять лет не могут доделать

надо было ставить debian !

скорее всго рх с ораклом попутали

да

надо было ставить debian !

убунту тоже дебиан. шаг в сторону и все падает

Нормально настроенная система не падает

Хоть убунту хоть дебиан хоть что

:)

пернул и порадовался?

Это я к тому, что надо знать систему, с которой работаешь.

Предупреждение.

убунту тоже дебиан. шаг в сторону и все падает

в убунте чаще мейнтейнеры косячат

Это я к тому, что надо знать систему, с которой работаешь.

причем тут знания если обновление кривое

Если кривое - тестирование это покажет.

Вчера обновился до убунты 20.05 и при загрузке каждый раз ошибка от zfs. Пишу exit и все грузится нормально.

А с какой версии. Только что установил убунту 20.04 и имитировал обновление до 20.04.1 - все в норме. И что за убунту 20.05? Альфа какая то?

А с какой версии. Только что установил убунту 20.04 и имитировал обновление до 20.04.1 - все в норме. И что за убунту 20.05? Альфа какая то?

Очепятка, там полугодовой каденс всегда

Очепятка, там полугодовой каденс всегда

Я это понял, что с версией что то не так, поэтому пытаюсь выснить с какой на какую бубунту обновлялись, т.к. чистая 20.04 -> 20.04.1 на zfs обновляется без косяков от слова совсем.

Я это понял, что с версией что то не так, поэтому пытаюсь выснить с какой на какую бубунту обновлялись, т.к. чистая 20.04 -> 20.04.1 на zfs обновляется без косяков от слова совсем.

YMMV

Бубунту без поинт-релиза ставить - суицид, она же глючная ппц на релизе

YMMV

Я в кэмбриджский словарь не полезу что бы разбираться что это за ДАЗДРАПЕРМА английская.

Я в кэмбриджский словарь не полезу что бы разбираться что это за ДАЗДРАПЕРМА английская.

ССЗБ

Бубунту без поинт-релиза ставить - суицид, она же глючная ппц на релизе

Я в курсе, поэтому и не ставил, но у человека проблема, и мне интересно при каких условиях она вылезла. Надо же держать нос по ветру.

Вообще бубунту ща завозит свой zsys ещё, и технически есть 2 уже пути ставить - по доке openzfs и по бубунтовски. В части загрузки рута дистры часто свои патчи накладывают так то

Вообще бубунту ща завозит свой zsys ещё, и технически есть 2 уже пути ставить - по доке openzfs и по бубунтовски. В части загрузки рута дистры часто свои патчи накладывают так то

Proxmox VE в этом плане насколько сильно девиирует, не знаете? По составу дистрибутив - почти ванильный Debian, но ZFS-on-root "из коробки", и пакетирован в своём репе.

Не подскажите, расширяю пул добавлением новых дисков zpool add data mirror /dev/da5 /dev/da6 freenas, получаю аля raid10 После так понимаю должна произойти ребалансировка? Сейчас вижу нагрузку на эти новые диски 100% хотя на остальные не более 30% samsung pro 512 стояли добавил samsung pro 1TB

Не подскажите, расширяю пул добавлением новых дисков zpool add data mirror /dev/da5 /dev/da6 freenas, получаю аля raid10 После так понимаю должна произойти ребалансировка? Сейчас вижу нагрузку на эти новые диски 100% хотя на остальные не более 30% samsung pro 512 стояли добавил samsung pro 1TB

Авто ребалансировки "на фоне" нет. Ребалансируется через новую запись постепенно

Proxmox VE в этом плане насколько сильно девиирует, не знаете? По составу дистрибутив - почти ванильный Debian, но ZFS-on-root "из коробки", и пакетирован в своём репе.

Коробочным инсталлятором не пользовался, у знакомых вроде ок он работает. Я соавтор openzfsной инструкции ручной, по ней и ставлю. Плюс у меня свои настройки для пула, мне удобнее его подготовить сначала а потом на него debootstrap натравить

А так - у меня есть и ванильный дебиан и проксмоксовый с zfs-on-root, всё ок

В дебиане хорошо, свежий стейбл зфс в бекпортах, не далёкий от апстрима сильно

Авто ребалансировки "на фоне" нет. Ребалансируется через новую запись постепенно

Очень интересно откуда нагрузка на последние тогда)))

root@freenas[~]# zpool status -v pool: data state: ONLINE scan: scrub repaired 0 in 0 days 00:19:19 with 0 errors on Sun Jul 12 00:19:19 2020 config: NAME STATE READ WRITE CKSUM data ONLINE 0 0 0 mirror-0 ONLINE 0 0 0 gptid/5608e040-8a6a-11ea-98d1-ac1f6b187332 ONLINE 0 0 0 gptid/560e9405-8a6a-11ea-98d1-ac1f6b187332 ONLINE 0 0 0 mirror-1 ONLINE 0 0 0 gptid/7da5c4c4-8a6a-11ea-98d1-ac1f6b187332 ONLINE 0 0 0 gptid/7dac280c-8a6a-11ea-98d1-ac1f6b187332 ONLINE 0 0 0 mirror-2 ONLINE 0 0 0 da5 ONLINE 0 0 0 da6 ONLINE 0 0 0

может то что их 6 стало а не 4

Очень интересно откуда нагрузка на последние тогда)))

Смотря чем нагрузку измерять. Мета то на все вдевы всегда пишется

на ребаланс 100% похоже

iostat -dx 5 10

Ну или жду идеи

что за чертовщина

))

Очень интересно откуда нагрузка на последние тогда)))

Ну запись идёт же видимо на пул, посмотрите zpool iostat в динамике

Обычная ровная запись. Только вот кажется, что новые диски несколько медленнее, чем старые.

Обычная ровная запись. Только вот кажется, что новые диски несколько медленнее, чем старые.

странно почему

в разы получается

и неравномерная запись какая-то

модели и ревизии одинаковы?

и неравномерная запись какая-то

лучше поставить интервал секунд в 30.

и действительно, посмотреть zpool iostat -v 30

модели и ревизии одинаковы?

неа и модели разные наверняка, посмотрю

pool alloc free read write read write -------------------------------------- ----- ----- ----- ----- ----- ----- data 562G 1.30T 14 577 736K 11.2M mirror 264G 208G 6 167 319K 1.98M gptid/5608e040-8a6a-11ea-98d1-ac1f6b187332 - - 2 112 127K 1.98M gptid/560e9405-8a6a-11ea-98d1-ac1f6b187332 - - 3 112 192K 1.98M mirror 274G 198G 7 210 390K 4.40M gptid/7da5c4c4-8a6a-11ea-98d1-ac1f6b187332 - - 4 147 223K 4.40M gptid/7dac280c-8a6a-11ea-98d1-ac1f6b187332 - - 3 147 166K 4.40M mirror 24.3G 928G 0 198 27.2K 4.80M da5 - - 0 146 11.2K 4.81M da6 - - 0 146 16.0K 4.81M

это второй вывод, ли перый?