Сергей
https://github.com/ewwhite/zfs-ha/wiki
Alexey
Я просто хочу понять, даст мне этот ZFS что-нибудь кроме исправления некорректности файлов
Fedor
не надо строить серьёщные решения, не обладая достаточными знаниями. и уж тем более не надо это строить по статейкам и видео из инета.
Anonymous
Ребят такой простой вопрос, без углублений если, ZFS как то может помочь организовать отказоуйсточивое хранилище из двух серверов на 50 ТБ ?
Частично. Я делал из 4 серверов но поверх надо lustre, moonfs, dfs - любую распределённую фс
Fedor
в транзакциях можно утонуть
Fedor
даже метрик нет по иопсам тем же
Сергей
Я просто хочу понять, даст мне этот ZFS что-нибудь кроме исправления некорректности файлов
HA обеспечивается другими механизмами, ZFS это просто файловая система, хотя и продвинутая.
Вот можете ещё поднять на этих двух серверах ESOS и там сделать кластер:
https://github.com/quantum/esos/wiki/42_Cluster_Configuration
Alexey
не надо строить серьёщные решения, не обладая достаточными знаниями. и уж тем более не надо это строить по статейкам и видео из инета.
Вопрос сейчас состоит в не "строить", а в "изучить вопрос построения системы хранения на 50 ТБ" при условии двух серверов. То есть может быть что одна всегда система хранения активна, а другая для бэкапов. Есть ли смысл сюда ZFS вообще пихать. Недостаточно ли будет Ext4 + Rsync думаю я
Fedor
задача неизвестна :)
Fedor
может и пойдёт рсинк
Сергей
Вопрос сейчас состоит в не "строить", а в "изучить вопрос построения системы хранения на 50 ТБ" при условии двух серверов. То есть может быть что одна всегда система хранения активна, а другая для бэкапов. Есть ли смысл сюда ZFS вообще пихать. Недостаточно ли будет Ext4 + Rsync думаю я
если вопрос ставится таким образом, то можно и на обоих сделать ZFS и через pve-sync их синхронизировать
Fedor
омг, зачем пве синк. тут не чатик проксмокса :D
Anonymous
Для меня zfs это неторопливая файлопомойка со встроеенным архиватором)
Fedor
короче можно.
Fedor
только надо понимать как это будет эксплуатироваться и какие требования.
Alexey
короче система хранения должная состоять из жестких дисков, чтобы вышло недорого, и быстро на чтение и запись. Так как будет подразумеватся большое количество записей и чтения маленьких и больших файлов.
Сергей
Для меня zfs это неторопливая файлопомойка со встроеенным архиватором)
а для меня основная ФС для СУБД)))
Fedor
и без зфс можно
Fedor
Fedor
просто ты можешь спроектировать это на медленных, потом окажется, что будет требоваться пол миллиона иопс)
Fedor
надо у заказчика взять технические требования и идти уже от них.
Fedor
и сервисные требования тоже
Anonymous
Я както тестил распред фс и получилось что скорость растет после шести узлов
George
короче система хранения должная состоять из жестких дисков, чтобы вышло недорого, и быстро на чтение и запись. Так как будет подразумеватся большое количество записей и чтения маленьких и больших файлов.
мешанина у вас, а не требования, какая отказоустойчивость, какая производительность нужна. Вам выше про отказоустойчивость уже отписались по делу
Fedor
Может даже получится сыграть и сделать ридонли хотстендбай)
Alexey
Вопрос в том, есть ли смысл в ZFS как таковом ? ведь можно просто использовать Ext4 и не парится. При условии что не нужно заботится о корректности файлов
Fedor
Есть кстати какая-то фс которая заточена под кусу мелких файлов
Fedor
Внутри б дерево чтоль
Anonymous
btrfs
Fedor
Alexey
И есть оперативку и CPU да ?
Fedor
И диски
Fedor
Чексуммы пишет, транзакции внутри
Alexey
Тогда нафиг она не нужна, из-за нее еще и просядешь по IOPS'aм на чтение и запись
Fedor
И без зил эти транзакции будут обрабатываться на медленных дисках
Alexey
Я все понял, спасибо за помощь)
Anonymous
Да, zfs медленная
Fedor
Зато ее плюс - консистентность и целостность
Alexey
а то мне всегда казалось, со стороны когда где то упоминали ее, как будто это то что то невероятное. А по сути оказалось прожорливой тварью, которая просто умеет восстанавливать поврежденные файлы
Fedor
Там даже фсцк не нужен
Fedor
Не, она хороша сервисами
Fedor
Но за это надо платить)
Fedor
Например да
Fedor
Кстати
Alexey
Понял, геморойная это ваша ZFS
Fedor
Может тебе лвм поможет
Fedor
Он в кеши тоже научился
Alexey
каким образом ?
Fedor
И снапшоты умеет тоже вроде
Fedor
Но это не фс - а блочное хранилище
Anonymous
Уровень zpool
Fedor
Ага
Fedor
В равномерное распределение данных кстати не умеет
Fedor
Иопсы не будут балансироватьчя
Алексей
Есть кстати какая-то фс которая заточена под кусу мелких файлов
А если метаданные все в оперативной памяти держать, поможет?
Fedor
И останется каша из байтиков
Алексей
И при ребусе они потеряются
Ну да, медленный старт, но что поделать. Если без учёта ребута ведь норм будет?
Fedor
В зфс можно управлять поднятием меты в кеш
Alexey
да там снепшоты нафиг не нужны будут, главное файлы не потерять, сейчас у нас около 400 тысяч файлов в этом хранилище. на примерно 350 ГБ, попросили изучить вопрос в таком роде как "У нас сейчас есть пару ТБ как хранилка, там сейчас уже занято столько то, подразумевается что в ближайшие 1-2 года будет очень сильный рост и за 1-2 года размер файлов вырастет до 30 ТБ" То есть примерно если говорить по активности сейчас это 70% чтение файлов, и 30% запись файлов, где то через месяц после того как запись файла произошла, ее чтение в течении месяца сводится практически к нулю, то есть файлы из горячих потихоньку переходят в холодные. Ну и к тому же мы не можем использовать S3 хранилища.
Alexey
Блин только у меня такое иногда происходит, печатаю текст в телеге, потом часть текста пропадает...
Fedor
Количество файлов какое будет?
Алексей
Блин а у меня 60тб и несколько десятков миллионов файлов
Alexey
Еще проблема в том, что эти файлы нужно хранить в течении 3 лет, после можно будет удалять
Fedor
И какого размера средний файл
Fedor
Кинешь ссылку или как называется этот механизм?
Сейчас не кину - но что-то типа использования арк для меты или данных
Alexey
Блин а у меня 60тб и несколько десятков миллионов файлов
а как у вас организована система хранения ? я просто с такими объемами никогда дел не имел
Fedor
Булев ключ