Vladislav
https://openzfs.github.io/openzfs-docs/Developer%20Resources/Custom%20Packages.html#dkms-1
George
Плюс все остальные
Боржщ с глазаме
Боржщ с глазаме
Господа, а никто с совсем легаси дела не имел? Мне бы из ZiLog вывести CacheZill-у, Соляра 9 на спарке. Умом понимаю что проблем быть не должно но вдруг я не знаю и вы мне сейчас расскажите
Боржщ с глазаме
Там 2 кэшзиллы в зеркале и судя по всему им пришла пора уходить в страну вечной охоты
Fedor
Господа, а никто с совсем легаси дела не имел? Мне бы из ZiLog вывести CacheZill-у, Соляра 9 на спарке. Умом понимаю что проблем быть не должно но вдруг я не знаю и вы мне сейчас расскажите
Вроде бы не должно, если она в той версии это уже умеет. Можно попробовать поиграться на файликах (так же, если уже умеет), и провести такого рода тестирование. Гипотетически, проблемы могут быть с остановкой ио на время исключения этих дисков после их некоторого заполнения. У меня есть солярка, но десятая, и она сейчас в шатдауне, так бы проверил, самому интересно стало
Боржщ с глазаме
хотя эти работали 12+ лет, мое уважение
Fedor
Сильно просядет?
Боржщ с глазаме
Сильно просядет?
Ну хз, не попробуем не узнаем
Fedor
Вдруг может на ибее какие нибудь анюзд есть
Боржщ с глазаме
Сильно просядет?
Тут проблема именно в легаси, там спарк размером с холодильник и кода на него накручено столько что "бля, не трогай, пусть работает"
Fedor
А, знаю такое
Fedor
У меня в пол холодильника девятая была)
Боржщ с глазаме
Зато можно на горячую из PCI карточки вынимать)))
Fedor
Ага, и камни с рамой менять вроде тоже
Боржщ с глазаме
Ага, и камни с рамой менять вроде тоже
Ну не совсем на горячую, надо сначала камень+планки в майнтенанс. Но в целом подход к отказоустойчивым девайсам мне нравится
Боржщ с глазаме
У меня в пол холодильника девятая была)
Вы таки будете смеяться но одно время лет 8 назад у меня стоял DEC Alpha, модель уже не помню 5ххх какой то
Боржщ с глазаме
был потерян при продаже квартиры
Боржщ с глазаме
полхолодильника по объему, 700 ватт по электричеству
Боржщ с глазаме
Предполагаю, что новые хозяева вынесли его на помойку, а жаль
Боржщ с глазаме
Я с такого ушел. В последний момент перед смертью железа
Ну тут вопрос не ко мне, имеем то что имеем и пять девяток ломать тоже никто не даст
Боржщ с глазаме
у меня легаси кстати дожопы. Систем Z например и СанФаер если это о чем то вам говорит
Fedor
Опасно
Александр
Опасно
Первый вопрос, который я задал тогда: - А если последний БП сломается? - Молчи.
Fedor
Первый вопрос, который я задал тогда: - А если последний БП сломается? - Молчи.
Мне кажется, надо срочно поднять вопрос миграции на что-то актуальное)
Александр
Мне кажется, надо срочно поднять вопрос миграции на что-то актуальное)
Вот я и поднял. И мигрировал. Доделвывал новый биллинг уже на полетевшем старом
edo1
У меня kvm + zfs. И я точно знаю, что заполненность zfs-пула на 80%+ создает проблемы в виде падения скорости работы дисковой подсистемы вирт. машин на этом пуле.
edo1
цитата с хабра
edo1
правда?
edo1
у меня особого опыта с виртуалками на zfs нет
edo1
а с чем связано?
Fedor
Как и любая другая ФС. У каждого - своё. Фрагментация, поиск свободных блоков.. У ссд тоже такая история проявляется при заполненности и отсутствии компенсирующих механизмов
George
а с чем связано?
на самом деле связано и с размером пула, и с размером блока которым обычно пишут. чем больше zfs придётся бить блоки для успешной записи - тем хуже. плюс с определённого момента включится другой алгоритм аллокации, который позволит занять всё место но сильно медленнее, емнип после 95% на новых версиях openzfs
George
не найду быстро нормальный источник инфы правда
George
так для zvol обычно используется небольшой recordsize
он всё равно обычно больше чем sector size, плюс см про аллокатор
George
volblocksize == recordsize, не будем придираться
Сергей
На дебиане последняя версия зфс все чудовищно тормозит при менее 5%. Там прямо совсем конец
edo1
ну менее 5% — это как раз аллокатор другой, наверное
Николай Орлов
Всем привет, чет я туплю. На прокмосе у меня 2 zpool, по одной dataset из каждого пула имеют точку монтирования в корневой папке data. Далее папка data по nfs отдается xpenology, так вот в папке data на xpenology видны файлы только с одного пула, а со второго нет. Что я не так сделал?
Николай Орлов
Николай Орлов
или так тоже низя? хотя на вроксе они видны все
Николай Орлов
pvestorage/data /data
Николай Орлов
vmstorage/films /data/Кино
Александр
и кто из них не виден
George
crossmnt в nfs гляньте
Николай Орлов
Александр
кино не видно
Он смонтировался первым почему-то?
George
nfs просто так не будет ходить по маунтпоинтам внутри
Николай Орлов
Николай Орлов
Он смонтировался первым почему-то?
drwxrwxrwx 6 root root 27 Nov 26 16:05 Документы drwxrwxrwx 35 root root 98 Nov 29 11:52 Кино drwxrwxrwx 2 root root 2 Nov 24 20:16 Музыка
Николай Орлов
вот так выглядит data
Николай Орлов
crossmnt в nfs гляньте
Супер спасибо
Shaker
Кто-то сравнивал производительность по чтению ZFS Mirror из 2-3-4 дисков в зеркале ?
Shaker
Shaker
Есть некое сравнение конечно https://static.ixsystems.co/uploads/2020/09/ZFS_Storage_Pool_Layout_White_Paper_2020_WEB.pdf 3-6 стр
Shaker
Но хотелось-бы больше тестов и цифр
Andrey
Но хотелось-бы больше тестов и цифр
https://calomel.org/zfs_raid_speed_capacity.html
Egor
Подскажите, команда zfs snapshot выполняет сброс данных из кэша на диск?
Владимир
Это вроде как логично...
Владимир
И о каком сбросе из кеша идёт речь? Имеется ввиду буфер на запись?
Владимир
Или когда данные пишутся без синх
Egor
На запись, да sync = standard Данные пишутся с fsync() по команде
Nikolay
привет не могу удалить снапшот, mount-ов, hold-ов нет. Снапшоты делаются znapzend и в какой-то момент сломался ретеншен, обнаружилось только по занимаемому месту в пуле. Перегрузить сторажд пока нет возможности root@stor-02:~# zfs destroy ssd-pool-1/nfs/data@snap-2022-04-12-000000 cannot destroy snapshot ssd-pool-1/nfs/data@snap-2022-04-12-000000: dataset is busy root@stor-02:~# zfs holds ssd-pool-1/nfs/data@snap-2022-04-12-000000 NAME TAG TIMESTAMP root@stor-02:~# zfs get all ssd-pool-1/nfs/data@snap-2022-04-12-000000 NAME PROPERTY VALUE SOURCE ssd-pool-1/nfs/data@snap-2022-04-12-000000 type snapshot - ssd-pool-1/nfs/data@snap-2022-04-12-000000 creation Tue Apr 12 0:00 2022 - ssd-pool-1/nfs/data@snap-2022-04-12-000000 used 0B - ssd-pool-1/nfs/data@snap-2022-04-12-000000 referenced 222K - ssd-pool-1/nfs/data@snap-2022-04-12-000000 compressratio 1.00x - ssd-pool-1/nfs/data@snap-2022-04-12-000000 devices on default ssd-pool-1/nfs/data@snap-2022-04-12-000000 exec on default ssd-pool-1/nfs/data@snap-2022-04-12-000000 setuid on default ssd-pool-1/nfs/data@snap-2022-04-12-000000 createtxg 674088 - ssd-pool-1/nfs/data@snap-2022-04-12-000000 xattr sa inherited from ssd-pool-1 ssd-pool-1/nfs/data@snap-2022-04-12-000000 version 5 - ssd-pool-1/nfs/data@snap-2022-04-12-000000 utf8only off - ssd-pool-1/nfs/data@snap-2022-04-12-000000 normalization none - ssd-pool-1/nfs/data@snap-2022-04-12-000000 casesensitivity sensitive - ssd-pool-1/nfs/data@snap-2022-04-12-000000 nbmand off default ssd-pool-1/nfs/data@snap-2022-04-12-000000 guid 3534527439416275869 - ssd-pool-1/nfs/data@snap-2022-04-12-000000 primarycache all default ssd-pool-1/nfs/data@snap-2022-04-12-000000 secondarycache none inherited from ssd-pool-1 ssd-pool-1/nfs/data@snap-2022-04-12-000000 defer_destroy off - ssd-pool-1/nfs/data@snap-2022-04-12-000000 userrefs 0 - ssd-pool-1/nfs/data@snap-2022-04-12-000000 objsetid 1828 - ssd-pool-1/nfs/data@snap-2022-04-12-000000 mlslabel none default ssd-pool-1/nfs/data@snap-2022-04-12-000000 refcompressratio 1.00x - ssd-pool-1/nfs/data@snap-2022-04-12-000000 written 222K - ssd-pool-1/nfs/data@snap-2022-04-12-000000 logicalreferenced 43.5K - ssd-pool-1/nfs/data@snap-2022-04-12-000000 acltype off default ssd-pool-1/nfs/data@snap-2022-04-12-000000 context none default ssd-pool-1/nfs/data@snap-2022-04-12-000000 fscontext none default ssd-pool-1/nfs/data@snap-2022-04-12-000000 defcontext none default ssd-pool-1/nfs/data@snap-2022-04-12-000000 rootcontext none default ssd-pool-1/nfs/data@snap-2022-04-12-000000 encryption off default ssd-pool-1/nfs/data@snap-2022-04-12-000000 org.znapzend:src_plan 2weeks=>1days inherited from ssd-pool-1/nfs/data
Nikolay
ssd-pool-1/nfs/data@snap-2022-04-12-000000 org.znapzend:mbuffer_size 1G inherited from ssd-pool-1/nfs/data ssd-pool-1/nfs/data@snap-2022-04-12-000000 org.znapzend:recursive off inherited from ssd-pool-1/nfs/data ssd-pool-1/nfs/data@snap-2022-04-12-000000 org.znapzend:post_znap_cmd off inherited from ssd-pool-1/nfs/data ssd-pool-1/nfs/data@snap-2022-04-12-000000 org.znapzend:pre_znap_cmd off inherited from ssd-pool-1/nfs/data ssd-pool-1/nfs/data@snap-2022-04-12-000000 org.znapzend:mbuffer off inherited from ssd-pool-1/nfs/data ssd-pool-1/nfs/data@snap-2022-04-12-000000 org.znapzend:zend_delay 0 inherited from ssd-pool-1/nfs/data ssd-pool-1/nfs/data@snap-2022-04-12-000000 org.znapzend:enabled on inherited from ssd-pool-1/nfs/data ssd-pool-1/nfs/data@snap-2022-04-12-000000 org.znapzend:tsformat snap-%Y-%m-%d-%H%M%S inherited from ssd-pool-1/nfs/data root@stor-02:~# zpool list -v NAME SIZE ALLOC FREE CKPOINT EXPANDSZ FRAG CAP DEDUP HEALTH ALTROOT ssd-pool-1 27.9T 20.3T 7.67T - - 69% 72% 1.00x ONLINE - raidz2-0 27.9T 20.3T 7.67T - - 69% 72.6% - ONLINE scsi-STOSHIBA_KPM5XVUG3T84_X......... - - - - - - - - ONLINE scsi-STOSHIBA_KPM5XVUG3T84_X......... - - - - - - - - ONLINE scsi-STOSHIBA_KPM5XVUG3T84_Y......... - - - - - - - - ONLINE scsi-STOSHIBA_KPM5XVUG3T84_Y......... - - - - - - - - ONLINE scsi-STOSHIBA_KPM5XVUG3T84_Y......... - - - - - - - - ONLINE scsi-STOSHIBA_KPM5XVUG3T84_Y......... - - - - - - - - ONLINE scsi-STOSHIBA_KPM5XVUG3T84_Z......... - - - - - - - - ONLINE scsi-STOSHIBA_KPM5XVUG3T84_Z......... - - - - - - - - ONLINE подскажите куда копать ?
Mikhail
привет не могу удалить снапшот, mount-ов, hold-ов нет. Снапшоты делаются znapzend и в какой-то момент сломался ретеншен, обнаружилось только по занимаемому месту в пуле. Перегрузить сторажд пока нет возможности root@stor-02:~# zfs destroy ssd-pool-1/nfs/data@snap-2022-04-12-000000 cannot destroy snapshot ssd-pool-1/nfs/data@snap-2022-04-12-000000: dataset is busy root@stor-02:~# zfs holds ssd-pool-1/nfs/data@snap-2022-04-12-000000 NAME TAG TIMESTAMP root@stor-02:~# zfs get all ssd-pool-1/nfs/data@snap-2022-04-12-000000 NAME PROPERTY VALUE SOURCE ssd-pool-1/nfs/data@snap-2022-04-12-000000 type snapshot - ssd-pool-1/nfs/data@snap-2022-04-12-000000 creation Tue Apr 12 0:00 2022 - ssd-pool-1/nfs/data@snap-2022-04-12-000000 used 0B - ssd-pool-1/nfs/data@snap-2022-04-12-000000 referenced 222K - ssd-pool-1/nfs/data@snap-2022-04-12-000000 compressratio 1.00x - ssd-pool-1/nfs/data@snap-2022-04-12-000000 devices on default ssd-pool-1/nfs/data@snap-2022-04-12-000000 exec on default ssd-pool-1/nfs/data@snap-2022-04-12-000000 setuid on default ssd-pool-1/nfs/data@snap-2022-04-12-000000 createtxg 674088 - ssd-pool-1/nfs/data@snap-2022-04-12-000000 xattr sa inherited from ssd-pool-1 ssd-pool-1/nfs/data@snap-2022-04-12-000000 version 5 - ssd-pool-1/nfs/data@snap-2022-04-12-000000 utf8only off - ssd-pool-1/nfs/data@snap-2022-04-12-000000 normalization none - ssd-pool-1/nfs/data@snap-2022-04-12-000000 casesensitivity sensitive - ssd-pool-1/nfs/data@snap-2022-04-12-000000 nbmand off default ssd-pool-1/nfs/data@snap-2022-04-12-000000 guid 3534527439416275869 - ssd-pool-1/nfs/data@snap-2022-04-12-000000 primarycache all default ssd-pool-1/nfs/data@snap-2022-04-12-000000 secondarycache none inherited from ssd-pool-1 ssd-pool-1/nfs/data@snap-2022-04-12-000000 defer_destroy off - ssd-pool-1/nfs/data@snap-2022-04-12-000000 userrefs 0 - ssd-pool-1/nfs/data@snap-2022-04-12-000000 objsetid 1828 - ssd-pool-1/nfs/data@snap-2022-04-12-000000 mlslabel none default ssd-pool-1/nfs/data@snap-2022-04-12-000000 refcompressratio 1.00x - ssd-pool-1/nfs/data@snap-2022-04-12-000000 written 222K - ssd-pool-1/nfs/data@snap-2022-04-12-000000 logicalreferenced 43.5K - ssd-pool-1/nfs/data@snap-2022-04-12-000000 acltype off default ssd-pool-1/nfs/data@snap-2022-04-12-000000 context none default ssd-pool-1/nfs/data@snap-2022-04-12-000000 fscontext none default ssd-pool-1/nfs/data@snap-2022-04-12-000000 defcontext none default ssd-pool-1/nfs/data@snap-2022-04-12-000000 rootcontext none default ssd-pool-1/nfs/data@snap-2022-04-12-000000 encryption off default ssd-pool-1/nfs/data@snap-2022-04-12-000000 org.znapzend:src_plan 2weeks=>1days inherited from ssd-pool-1/nfs/data
Включать дебаг логи и смотреть в zfs лог (kstat)
Ivan
привет не могу удалить снапшот, mount-ов, hold-ов нет. Снапшоты делаются znapzend и в какой-то момент сломался ретеншен, обнаружилось только по занимаемому месту в пуле. Перегрузить сторажд пока нет возможности root@stor-02:~# zfs destroy ssd-pool-1/nfs/data@snap-2022-04-12-000000 cannot destroy snapshot ssd-pool-1/nfs/data@snap-2022-04-12-000000: dataset is busy root@stor-02:~# zfs holds ssd-pool-1/nfs/data@snap-2022-04-12-000000 NAME TAG TIMESTAMP root@stor-02:~# zfs get all ssd-pool-1/nfs/data@snap-2022-04-12-000000 NAME PROPERTY VALUE SOURCE ssd-pool-1/nfs/data@snap-2022-04-12-000000 type snapshot - ssd-pool-1/nfs/data@snap-2022-04-12-000000 creation Tue Apr 12 0:00 2022 - ssd-pool-1/nfs/data@snap-2022-04-12-000000 used 0B - ssd-pool-1/nfs/data@snap-2022-04-12-000000 referenced 222K - ssd-pool-1/nfs/data@snap-2022-04-12-000000 compressratio 1.00x - ssd-pool-1/nfs/data@snap-2022-04-12-000000 devices on default ssd-pool-1/nfs/data@snap-2022-04-12-000000 exec on default ssd-pool-1/nfs/data@snap-2022-04-12-000000 setuid on default ssd-pool-1/nfs/data@snap-2022-04-12-000000 createtxg 674088 - ssd-pool-1/nfs/data@snap-2022-04-12-000000 xattr sa inherited from ssd-pool-1 ssd-pool-1/nfs/data@snap-2022-04-12-000000 version 5 - ssd-pool-1/nfs/data@snap-2022-04-12-000000 utf8only off - ssd-pool-1/nfs/data@snap-2022-04-12-000000 normalization none - ssd-pool-1/nfs/data@snap-2022-04-12-000000 casesensitivity sensitive - ssd-pool-1/nfs/data@snap-2022-04-12-000000 nbmand off default ssd-pool-1/nfs/data@snap-2022-04-12-000000 guid 3534527439416275869 - ssd-pool-1/nfs/data@snap-2022-04-12-000000 primarycache all default ssd-pool-1/nfs/data@snap-2022-04-12-000000 secondarycache none inherited from ssd-pool-1 ssd-pool-1/nfs/data@snap-2022-04-12-000000 defer_destroy off - ssd-pool-1/nfs/data@snap-2022-04-12-000000 userrefs 0 - ssd-pool-1/nfs/data@snap-2022-04-12-000000 objsetid 1828 - ssd-pool-1/nfs/data@snap-2022-04-12-000000 mlslabel none default ssd-pool-1/nfs/data@snap-2022-04-12-000000 refcompressratio 1.00x - ssd-pool-1/nfs/data@snap-2022-04-12-000000 written 222K - ssd-pool-1/nfs/data@snap-2022-04-12-000000 logicalreferenced 43.5K - ssd-pool-1/nfs/data@snap-2022-04-12-000000 acltype off default ssd-pool-1/nfs/data@snap-2022-04-12-000000 context none default ssd-pool-1/nfs/data@snap-2022-04-12-000000 fscontext none default ssd-pool-1/nfs/data@snap-2022-04-12-000000 defcontext none default ssd-pool-1/nfs/data@snap-2022-04-12-000000 rootcontext none default ssd-pool-1/nfs/data@snap-2022-04-12-000000 encryption off default ssd-pool-1/nfs/data@snap-2022-04-12-000000 org.znapzend:src_plan 2weeks=>1days inherited from ssd-pool-1/nfs/data
zfs holds ssd-pool-1/nfs/data@snap-2022-04-12-000000
Nikolay
zfs holds ssd-pool-1/nfs/data@snap-2022-04-12-000000
пусто, только заголовки. Это первое что попробовал