Fedor
31337 😁
Георгий
/troll
Sergey
можно
Sergey
если чисто на поиграться с zfs - оно умеет создовать пулы не из дисков а из виртуальных файлов
Василий
бекапы на контабу?? забавно)
Flover
Flover
выкачивает 23 гига и падает. само хранилище degraded
Flover
A1EF
Скраб, как я вижу, не помогает. Тут остается сбросить счетчик ошибок и попробовать еще раз. Хотя если все диски сыплются, дело скверное..
Flover
Скраб, как я вижу, не помогает. Тут остается сбросить счетчик ошибок и попробовать еще раз. Хотя если все диски сыплются, дело скверное..
если сбросить счетчик оно даст диск выкачать?
Ivan
Скраб, как я вижу, не помогает. Тут остается сбросить счетчик ошибок и попробовать еще раз. Хотя если все диски сыплются, дело скверное..
там массив сделан на рейдконтроллере, каждый диск как массив подключен
A1EF
если сбросить счетчик оно даст диск выкачать?
Сброс уберет статус degraded, но если при копировании посыплются ошибки, можно будет оценить сколько за какое время. Увы, копирование вполне вероятно и тут прервется
Flover
по незнанию так сделал( и вот результат
A1EF
выкачивает 23 гига и падает. само хранилище degraded
Можно попытать счастья с токеном снапшот докачивать
Flover
это не сильно критично, но хотелось бы ее вытянуть хоть в каком нибудь виде
A1EF
по незнанию так сделал( и вот результат
Само по себе использование рейдов в качеств vdevs тут не источник проблемы - были бы три "битых" диска, все было бы тоже самое. Наоборот, может можно ребилдить нижестоящие рейд-массивы? Что там с дисками?
Flover
смартктл показывает - ок, но как я понимаю в конфигурации через рейд контроллер это не отражает реальной ситуации
Flover
ну и рейд там не собран, просто каждый диск это array
George
Flover
А вы не на тот же массив пишете?)
название такое же) но это отдельный диск на котором сам проксмокс стоит)) там хст4 вроде)
Ivan
Flover
Flover
Flover
George
George
Либо просто через ddrescue или аналог сам вольюм вычитайте нужный с пула
George
И уже дальше с повреждениями, если будут, разбираться
Flover
спасибо, буду думать
Alexander
Пожалуйста, подскажите, при уменьшении volsize файловая система не пострадает, если она заранее уменьшена с помощью resize2fs ? Вообще без разделов (партиций) FS все равно как бы занимает только цельное пространство типа партиции с начала диска + размер FS ?
Alexander
Т.е. остаток лишнего места считается непрерывным после FS? И при уменьшении volsize в пуле высвобождается именно остаток (как бы справа если бы смотреть по gparted если бы была партиция, но ее ведь нет ...)?
Alexander
Вообще можно ли чисто технически (пусть бессмысленно) задать volsize меньше размера FS, если она уже была заполнена однажды? Проход zerofree на это влияет?
Alexander
Предварительно повторилась проблема с вылетом ext4 over zvol в состояние RO, судя по zfs list осталось мало свободного места пуле/датасете.
Alexander
temp/docker_vol refreservation none
Alexander
Получается в прошлый раз аналогичное переполнение пула ZFS привело к вылету физического хоста Линоды? Фантастика какая-то ...
Alexander
Добавил доп устройство через iSCSI с другой VPS в пул в качестве отдельного vdev, ext4 смогла нормально отработать fsck в отличии от состояния, когда не было свободного места в ZFS. Потом сделал zerofree и убрал временное устройство из пула.
Alexander
Да чтож такое то, опять:
Step 11/13 : ADD files/download/xxx.tar.gz /opt
Error processing tar file(exit status 1): write /opt/xxx.so: read-only file system
+++ umount debian_xxx/files/download
Alexander
root@kube:~# df -h /var/lib/docker/
Filesystem Size Used Avail Use% Mounted on
/dev/zd0 23G 15G 7.1G 68% /var/lib/docker
Alexander
А ... был снэпшот, прошу прощения, он все место отожрал.
Alexander
Но все равно как то странно, зачем падать гипервизору из-за нехватки места? Вернее после зависания виртуалки и после 10 минут ожидания безуспешных попыток ее ребута завис для полного счастья еще и гипервизор :)
Ivan
Lisa David has been banned! Reason: CAS ban.
Lisa David has been banned! Reason: CAS ban.
Lisa David has been banned! Reason: CAS ban.
A1EF
В доке ZFS пишут, что не рекомендуется. В общем виде, как я понимаю, by design предполагается непосредственная работа с блочными устройствами, являющимися дисковыми накопителями. Работать, конечно, будет и если не следовать этому правилу, но мене оптимально и предсказуемо в общем случае
Fedor
У зфс при этом всем более точная рнформация о состоянии данных
Fedor
Эти нюансы она учитывает при фиксации данных и тому подобное
Василий
У зфс при этом всем более точная рнформация о состоянии данных
Ну я пока только две причины вижу. Кеш и смарт. Кеш отключается., смарт, да, проблеме
Δαρθ
После переполнения свободного места на ext4 контейнерами докера и потом частичной очистки через docker rmi
ext4 ушла в состояние R/O во время первого же очередного билда:
fsck -f /dev/zvol/temp/docker_vol
fsck from util-linux 2.33.1
e2fsck 1.46.2 (28-Feb-2021)
/dev/zd0: recovering journal
Superblock needs_recovery flag is clear, but journal has data.
Run journal anyway<y>? yes
fsck.ext4: Input/output error while recovering journal of /dev/zd0
fsck.ext4: unable to set superblock flags on /dev/zd0
/dev/zd0: ********** WARNING: Filesystem still has errors **********
scrub ничего не находит
"супернадежная" ext4?
input/output error -- это ext4 не может прочитать какой-то сектор. вроде как никакая FS если из нее выбить какие-то сектора (и она не делает raid сама) не выживает
Василий
Эти нюансы она учитывает при фиксации данных и тому подобное
Ну рейд гарантирует, что если он сказал что сохранил, то значит сохранил
Ivan
Ну я пока только две причины вижу. Кеш и смарт. Кеш отключается., смарт, да, проблеме
может выкинуть диск не дав прочитать с него читаемые данные
Василий
может выкинуть диск не дав прочитать с него читаемые данные
Ну в рейд 0 оно врядли так сделает
Fedor
Правила писаны потерями данных :)
Джифорсович
Всем доброго времени суток
Хочу попробовать zfs в качестве фс для данных, плюс дисков qemu
Мне хватит страницы с гентувики, или есть некоторые нетривиальные моменты? саму зфс хочу разместить на hdd 3тб, возможно еще один такой же веник добавлю в пул
Джифорсович
Еще есть nvme на 500 гиг, можно ли его заюзать для уменьшения задержек I/O? Или это его скорее убьет?
Vladislav
hdd на 3ТБ и выше довольно медленные, + скорее всего у них есть поддержка SMR
Vladislav
Еще есть nvme на 500 гиг, можно ли его заюзать для уменьшения задержек I/O? Или это его скорее убьет?
1) да, можно использовать
2) как повезет
Джифорсович
hdd на 3ТБ и выше довольно медленные, + скорее всего у них есть поддержка SMR
Ну 200мб скорость чтения, дальше падает, само собой
Джифорсович
Это тошиба п300
Джифорсович
Особых нагрузок не предполагается, но хочу получить от зфс эту плюшку с сабвольюмом
bes
> Мне хватит страницы с гентувики
лучше с арча, но ещё лучше с https://openzfs.github.io/openzfs-docs/
Fedor
Особых нагрузок не предполагается, но хочу получить от зфс эту плюшку с сабвольюмом
У зфс есть нюансы.
Требование к рам- надо отдавать не менее 8гб, плюс ецц чтоб при сбое не закарраптился блок.
Так же для предотвращения сбоя с корраптом блока хорошо б второй диск.
Fedor
Арк это усовершенствованный страничный кеш, который в ряде нагрузок даёт прирост.
Fedor
Больше нюансов вроде нет таких особых
Fedor
Выбор размера блока зфс - по той же методологии, что и выбор размера блока для рейда
Fedor
Ну и по опыту - в виртуализации префетч часто не даёт ничего, лишь мешает.
Джифорсович
Джифорсович
Fedor
Такое будет точно.
Джифорсович
Арк это усовершенствованный страничный кеш, который в ряде нагрузок даёт прирост.
за арк еще не читал, но это ли не тот кэш, который считает кол-во hit-ов?
Fedor
FRU
Джифорсович
не булет