Δαρθ
В продолжение того что выше — вообще чудеса, какие-то файлы исчезают, какие-то появляются. Подозрение пока на промежуточную систему
Fedor
уже 2.2.3 и там дофига фиксов
Vladislav
Vladislav
Ну и да, поставьте уже везде 2.2.3
Vladislav
А потом попробуйте воспроизвести
Δαρθ
Message from Δαρθ Βέιδερ has been removed because it is not allowed to post links in this group for first 24 hours (???)
Δαρθ
ну вот пля ещё...
Δαρθ
короче то что в генте так называется
Δαρθ
Но сначала мне важно чтоб снапшоты передались ОК, потом уже апгрейд
Δαρθ
Я собрался с мыслями и вот что неясно. Это у меня теперь пул-источник "заражён" или просто глюк который должен пройти с апгрейдом?
Δαρθ
Локально на машине где 2.2.2 я переслал тот же снапшот на другой локальный пул (на подключаемом винте) и там хеши всех файлов совпадают
Free
Приколы убунты, у них не совсем апстримные пакеты и hwe ядро может иметь более свежие модули нежели юзерспейс (чисто к вопросу разницы версий)
А у кого сейчас разных приколов с zfs меньше - у убунты или дебиана?
Выбираю между ними для нового сервера
Δαρθ
Приколы убунты, у них не совсем апстримные пакеты и hwe ядро может иметь более свежие модули нежели юзерспейс (чисто к вопросу разницы версий)
Там прикол и похуже есть. модули zfs лежат в пакете с ядром, потому если поставить свежесобранную zfs DPKGом, то после ребута всё равно найдутся модули родные
Δαρθ
А у кого сейчас разных приколов с zfs меньше - у убунты или дебиана?
Выбираю между ними для нового сервера
Меньше всего приколов если модуль вкомпилировать в ядро а юзерспейс тоже самому собрать
Vladislav
А у кого сейчас разных приколов с zfs меньше - у убунты или дебиана?
Выбираю между ними для нового сервера
TrueNAS?
P.S. Я лично пользуюсь Ubuntu
Станислав
Ivan
Free
(Вплоть до момента пока не нужен более свежий пакет)
Ну каких-то новых суперрешений (aka "мечтаний" в старых дискуссиях) я сейчас от zfs не жду, так что, наверное, буду выбирать debian и сидеть без обновлений 😉
Free
определенно дебиан лучше
В Убунту (кажется, только десктопной) можно выбрать опцию изначальной установки системы на zfs.
В дебиан есть что-то подобное, или просто к установленной системе уже пакеты zfs добавлять, оставляя систему на ext4?
Vladislav
В Убунту (кажется, только десктопной) можно выбрать опцию изначальной установки системы на zfs.
В дебиан есть что-то подобное, или просто к установленной системе уже пакеты zfs добавлять, оставляя систему на ext4?
Zfs on Ubuntu ужасен, поэтому не стоит его использовать
Free
Меньше всего приколов если модуль вкомпилировать в ядро а юзерспейс тоже самому собрать
Боюсь, сам компилировать ядра я не рискну пока 🤯
Vladislav
zfs-dkms*
После смерти jonathon я в целом не находил известных репозиториев с готовыми пакетами ZFS, но где-то тут промелькали они
George
(Вплоть до момента пока не нужен более свежий пакет)
Бекпорты (для прода) или дебиан тестинг (для десктопа) решают
Vladislav
Бекпорты (для прода) или дебиан тестинг (для десктопа) решают
Бэкпорты не всегда доходят достаточно оперативно
А Дебиан тестинг от убунты не сильно отличается
George
Бэкпорты не всегда доходят достаточно оперативно
А Дебиан тестинг от убунты не сильно отличается
Вообще сильно, он новее😂 но уже флужу
Sergey
Zfs on Ubuntu ужасен, поэтому не стоит его использовать
А что с ним не так, чем отличается в худшую сторону от "обычных" сборок?
Vladislav
А что с ним не так, чем отличается в худшую сторону от "обычных" сборок?
https://news.ycombinator.com/item?id=34276488
Free
https://news.ycombinator.com/item?id=34276488
...resulting in destroyed pools
Уж не мой ли этот случай разрушения пула 😳?
Vladislav
...resulting in destroyed pools
Уж не мой ли этот случай разрушения пула 😳?
Без понятия, твоя ситуация вообще тайна покрытая мраком
Free
Без понятия, твоя ситуация вообще тайна покрытая мраком
Кстати, после того восстановления с import -FX - работает без проблем, никаких ошибок не возникает
Nick
А у кого сейчас разных приколов с zfs меньше - у убунты или дебиана?
Выбираю между ними для нового сервера
у убунты есть ppa со свежими zfs
Вот только почему-то с новым убунтовским HWE 6.5 ядром зфс не собирается, но в нем и так 2.2.0, почти сносно.
Y
Vladislav
Vladislav
Y
Y
Самую банальную
record size и включён ли compression
1mегаже - раз в таблице есть такие блоки аж на 12+ тера
а вот с компрессией сложнее - пулу лет дофига и где-то когда-то было включено где то выключено....
Vladislav
1mегаже - раз в таблице есть такие блоки аж на 12+ тера
а вот с компрессией сложнее - пулу лет дофига и где-то когда-то было включено где то выключено....
Всегда полезно знать какие настройки используются
Y
Y
Vladislav
Y
Алексей
Y
еще вопрос - спешл раширяется так же как обычные диски - то есть если я в зеркале поочередно заменю диски 256 гига на 512 гига - то когда последний (у меня тройное зеркало) - заменится то спешл увеличится до 512 ?
Vladislav
Y
Имей в виду что сами собой существующие блоки туда не переместятся
я почему и спрашиваю про расширение спешила заменой - ибо это не скоро понадобится - пока всё туда не попадет посредством перезаписи - а диски счас в наличии 256 гига (счас на спешилах вообще только 11 гига записано)
Vladislav
Ещё рекомендую посмотреть на скрипт, который считает по файлам
Y
Y
Ещё рекомендую посмотреть на скрипт, который считает по файлам
уже запустил - завтра (похоже) посмотрю результаты
Алексей
еще вопрос - спешл раширяется так же как обычные диски - то есть если я в зеркале поочередно заменю диски 256 гига на 512 гига - то когда последний (у меня тройное зеркало) - заменится то спешл увеличится до 512 ?
Увеличится. Если места не хватит он просто не будет туда писать
Y
Увеличится. Если места не хватит он просто не будет туда писать
да я знаю - он на пул будет писать - но смысл именно в том что бы его хватило и таки менять диски по мере поступения - (256 мне считай бесплатно достались - а вот 512 уже будут денег стоить и пока они не нужны не вижу смысл сразу их ставить (может оно только через пару лет место кончится)....
Y
Дальше складываешь и проверяешь
но это уже чисто файлы (special_small_blocks) ?... а для метаданных верхняя таблица (там где я желтым малевал) ?
Y
Vladislav
Y
Это слегка разные параметры, первое это количество блоков 64К, второе это количество файлов по диапозону 64К
короче походу надо проверить или special расширяется заменой дисков и по мере надобности расширять - благо nVME (250-500-1000 гига) - не долго ресильверить и не парится с расчетами - всё равно не угадаешь пока весь пул не перезапишется (а это может и годы взять)....
Xash
Скажу важную вещь.
Syncoid без zfs-prune-snapshot бесполезен. Нужно чистить снапшоты по ряду причин. Эти утилиты надо объединить
Xash
Место быстро кончается и т.д.
С двух сторон одинаковая чистка и получаем нужное окно
George
Скажу важную вещь.
Syncoid без zfs-prune-snapshot бесполезен. Нужно чистить снапшоты по ряду причин. Эти утилиты надо объединить
а sanoid не юзали? syncoid это же его часть, они вместе идут
George
я в итоге на zrepl остановился, первый конфиг написать геморно, зато потом кушать не просит
George
он главное ещё решает вопрос аутентификации и передачи данных
Xash
он главное ещё решает вопрос аутентификации и передачи данных
Да просто репликация двух точек и все. Оно его и запускает.
Просто снапшоты занимают порядочно места, их надо очищать.
George
Да просто репликация двух точек и все. Оно его и запускает.
Просто снапшоты занимают порядочно места, их надо очищать.
я про zrepl, а sanoid как раз это жизненный цикл снапов и очистка. Хотя вроде и сам syncoid за собой чистить умел
George
вру, это sanoid всё же делает
Δαρθ
А вот скажите, одинаковые inode это необходимое и достаточное условие что файлы -- хардлинки?
Artem
Ну учитывая, что по идее именно inode - это уникальный id файла...
George
А вот скажите, одинаковые inode это необходимое и достаточное условие что файлы -- хардлинки?
минимум важный вопрос одна ли это фс, разные фс конечно же могут иметь одинаковые иноды
Δαρθ
минимум важный вопрос одна ли это фс, разные фс конечно же могут иметь одинаковые иноды
Одна фс, один датасет конечно же
Δαρθ
Вощем я это к чему. тут выяснилось что rsync --inplace косячит с хардлинками на дестинейшене... хотя в доке это упомянуто )
Станислав
Друзья! Дайте пару дельных советов, кто с опытом.
На данный момент имеется 2 сервера:
1) На Xeon 2696v3 с Debian 11 (скоро апну до 12), ZFS зеркало на 2х Samsung PM883 2Тб, ОП 128Гб. Тут крутиться терминальный сервер в ВМ (не нужно говорить, что странная смесь), люди работает на нём с 1С. Сама БД 1с находится в посгре в соседнем контейнере.
2) Планируется вынести контейнер с посгре на более производительный сервер с ASRock WC621D8A-2T (2 RJ45 10GbE Intel X550-AT2) , Xeon Platinum 8275CL, Debian 12, ZFS зеркало 2х PM1725b 1.6Тб, ОП 512Гб.
Собственно, вопрос:
1. Какую лучше 10Гб сетевуху поставить в первый сервак? А может и во втором следует?
2. На первом сервере планируется добавить 2 HDD, думаю по 8Тб, под зеркало на ZFS, чтобы синхронизировать на них видео с 3х видеорегистраторов. Какие диски посоветуете?