riv
Без. 6 ТБ, 8ГБ рам
Хм.... У меня было примерно 35ТБ и 16ГБ озу. Как только таблица дедупликации авходила за размер озу, а это случалось в самом начале заполнения пула, насинались неописуемые тормоза. Модет быть, имеет смысл перетестировать дедупликацию
Vladislav
Да, заполнение свыше 80% вызывают тормоза.
Vladislav
Но у меня ещё zfs не OpenZFS
riv
У меня zfsonlinux
Vladislav
Но у меня ещё zfs не OpenZFS
Насколько я помню, не OpenZFS есть только Oracle, а она немного...даётся только вместе с их оборудованием?
Vladislav
Или это не так?
Fedor
Иллюмос тоже
Vladislav
У меня zfsonlinux
Это с 2018 года одно и тоже
Fedor
И бсд старые
Vladislav
Иллюмос тоже
А это не OpenZFS?
Fedor
Это его предок, насколько помню
Vladislav
Это его предок, насколько помню
Нуу, сейчас он вроде как тоже часть OpenZFS, но с большой спецификой видимо https://openzfs.org/wiki/Illumos_Integration_Process
Станислав
Как говорится - до первого краха системы, когда у ext4 метаданные криво зайдут и надо будет откатывать транзакции у "блочного устройства"
Что-то после полуторочасового цикла "запуск ВМ -> ждем 2 минуты -> роняем ВМ" я устал ждать этого первого раза. Первые пару десятков запусков я пытался заниматься какой-то деятельностью, по типу открывать crm с битрикс, делать бекап БД, обновлять пакеты с yum, гнать тест на запись в fio. Потом мне надоело, решил жестче действовать - 10 раз дергал сервер из розетки. Когда использовал на хосте ext4 + запись в fio, то такое гарантированно ломало ФС уже на 3-4 раз. Понимаю, что дело случае может быть, стоило бы потестить дольше, но сервер загружается несколько минут и просто устал ждать.
Станислав
Тем не менее, положить ext4 у меня всегда получалось. Я так и узнал об ZFS, когда искал надежную ФС
Vladislav
Тем не менее, положить ext4 у меня всегда получалось. Я так и узнал об ZFS, когда искал надежную ФС
У меня как-то ext4 не особо ложился, да так чтобы навсегда, максимум fsck проходил и обратно Но возвращаясь к тематике - очень странные у Вас понятия надёжности, ZFS не панацея ни разу - надёжная ФС - это бэкапы 3-2-1 и реплика, а отключать журнал у журналируемой ФС.... Ну, Вам уже сказали, что это спорное решение Данные в любом случае Ваши
Alex
А как там у ext4 со временем работы fsck на 20-30Т? сколько времени оно займет?
Δαρθ
Конечно) А ZFS тоже тестили перед релизо 2.2.0, и по разному Но как-то у одного человека всё было ок
ну очевидно что конкретные юзкейсы с дырявыми файлами не тестили вот и налетели, тем более что ошибка была долго там. теперь (надеюсь) будут тестить
Станислав
положить ехт4 с журналом?
Да, до состояния, когда просит fsck и не хочет грузиться дальше
Vladislav
Δαρθ
просить фск оно имеет право, а если фск скипнуть?
Станислав
на железе или поверх zfs?
Чуть выше написал ведь
Alex
Не знаю, я только 10Тб так храню
ну ок, сколько занимает на 10?
Alex
+-
Станислав
Это скорее в тему - Решения, которые 100% работают и не дают сбоя у одного человека != так будет у всех
Я же не спорю, что это невозможно. Я же про панацею ничего не писал. Просто явно стало лучше. Но ext4 с журналом ведь тоже не панацея, даже отдаленно.
Vladislav
ну ок, сколько занимает на 10?
На ARM с частотой 2.4 - ну около, минут 15-20 может если навскидку
Станислав
Данных было под завязку, специально напихал для теста
Alex
4 часа на 4Тб диске)
ну это уж какой-то крайний случай, наверное, диск медленный =)
Станислав
ну это уж какой-то крайний случай, наверное, диск медленный =)
стандартные 200+ Мб/с при линейном чтении TOSHIBA MG04ACA4
Vladislav
У меня просто R5 на SBC из 10 дисков без закрытого write hole (mdadm), подключённые через type-c PD (чтобы запитать 4 SSD от одного power bank) - иногда 4 диска отваливаются разом, и соответственно рейд откатывается по транзакциям на пару итераций назад и приходится fsck делать
Alex
стандартные 200+ Мб/с при линейном чтении TOSHIBA MG04ACA4
Печаль. Я помню, лет 10 назад мы встревали с ext4, но думал, что-то исправили уже. Походу нет. ну и ладно, я xfs предпочитаю, если не zfs :)
Станислав
Этот диск прошел много испытаний, но тогда были его первые) Последнее время чудить стал, видать замучил я его в своё время
Станислав
7ТБ примерно
Может что-то улучшили в ext4🤷‍♂️ А что за диски?
Alex
положить ехт4 с журналом?
дык журнал не гарантирует сохранность. Не просто так cow выбран в zfs , хоть и платить за него приходится :)
Vladislav
7ТБ примерно
Это ака torrent нода + nas + Nextcloud + ява нода под файлики для одного ПО
Δαρθ
дык журнал не гарантирует сохранность. Не просто так cow выбран в zfs , хоть и платить за него приходится :)
как это не гарантирует, очень даже гарантирует. сохранность структуры ФС (по умолчанию в ехт4). а можно и данные через журнал пропускать в ехт4, если совсем паранойа
Δαρθ
дык журнал не гарантирует сохранность. Не просто так cow выбран в zfs , хоть и платить за него приходится :)
cow это просто другой метод гарантирования, к тому же между флашами дерева в зфс оно полагается на журнал
Станислав
evo 860
Так это же SSD, а не HDD.
Vladislav
Так это же SSD, а не HDD.
Так я и не говорил, что у меня HDD
Vladislav
Я лишь сказал, что ext4 не так просто убить и fsck вполне работающая утилита
Vladislav
это не xfs
Alex
cow это просто другой метод гарантирования, к тому же между флашами дерева в зфс оно полагается на журнал
ну вот это "просто" оно решающее - т.к никогда данные не перезвписываются поверх
Alex
это не xfs
больше 100 серваков на xfs уже лет 10. Брат жив :)
Δαρθ
ну вот это "просто" оно решающее - т.к никогда данные не перезвписываются поверх
какая разница-то. если в ехт4 включить журналирование данных она тоже будет гарантировать что после синка все ок. а зфс без синка тоже ничего не гарантирует, откатится на 10 гигабайт назад и не поморщится
Alex
ИМХО - соболезную
соболезнуете, что у меня не было проблем? ну тогда и я вам соболезную =))
Δαρθ
с zfs 2.1.x тоже не было проблем пока не втащили клонинг на 2.2.х
Станислав
Я лишь сказал, что ext4 не так просто убить и fsck вполне работающая утилита
Это абсолютно не так. Я работал в фирме, которая занималась обслуживанием рабочих мест кассиров (РМК). Точное количество не скажу, но тысяч 10 машин было. Мы ставили ОС, софт, настраивали, удаленно могли подключаться для диагностики, если ОС и интернет работают. Специфика РМК в том, что там электричество нестабильно подается. То перегрузят холодильниками и рубильник вырубит, то кассиры не знаю, что комп нужно выключить в конце рабочего дня, а не тот же рубильник рубануть. Сложно вспомнить день, когда не приходилось по телефону диктовать как запустить fsck. И стабильно привозили в офис ПК, которым fsck не помог. Проверяешь диск - всё ок. Переустанавливаешь, работает дальше
Alex
с zfs 2.1.x тоже не было проблем пока не втащили клонинг на 2.2.х
программные ошибки это совсем другой уровнь, это очевидно
Vladislav
ИМХО #2 Вот там треш с восстановлением, утилита на больших данных начинает жрать оперативную память как не в себя, а ещё попутно может и сказать Can't Recovery и всё, данные прощайте. Утилит для восстановления данных (тот же testdisk) очень спорно работают с XFS, ну и конечно же Нельзя уменьшить раздел
Alex
Это так ужасно: нельзя уменьшить раздел. Как я живу без этого =))
Vladislav
Vladislav
Про "уменьшить раздел" - я прям ждал =)))
))) Конечно, ведь это как тот факт, что в BTRFS починили write hole только в 6.2
Δαρθ
Это так ужасно: нельзя уменьшить раздел. Как я живу без этого =))
ну ваще иногда желательно уменьшать раздел, облегчает страдания )
Vladislav
ext4))))
ну и ZFS в каком-то смысле
Alex
Станислав
а как именно фск не помогал? журналирование в фс включено было?
ext4 был с настройками по умолчанию, ничего не меняли. ОС были debian 7-10, ubuntu 14-20
Maxim
а где можно?
почти везде меньше половины ФС не позволяют уменьшать раздел
Δαρθ
ext4 был с настройками по умолчанию, ничего не меняли. ОС были debian 7-10, ubuntu 14-20
ну только с метадатой в журнале наверное. а что ломалось в файлах?
Vladislav
(Сломанная мета убьёт любую ФС)
Alex
Ну толку от журнала, если старые данные уже переписаны поверх? как спасёт журнал?
Vladislav
(Сломанная мета убьёт любую ФС)
Вопрос как просто убить мету уже другой разговор
Alex
да, с журналом лучше, чем без него, но это вообще не то же самое, что cow
Alex
и ни на какой журнал zfs не полагается. Или пруфы плиз