то есть просто напросто пихаешь новый диск и оно синкается да ?
Удаляешь брик, добавляешь новый. Начинается копирование
Well
Alexey
то есть нет понятия развалившийся кластер ?
Well
Если не зеркало то такое понятие есть
Well
А при 50 терах получается не просто зеркало
Well
Distributed-mirror
Alexey
Типа Raid1 с тремя дисками ?
Well
Файлы дублируются и раскидываются на диски
Alexey
а разве это не просто raid-1 ?
Alexey
типа файл записался на диск 1, на диск 2 и на диск 3
Alexey
взял с wiki только что :
RAID 1 (mirroring — «зеркалирование») — массив из двух (или более) дисков, являющихся полными копиями друг друга.
Well
https://habr.com/ru/post/251931/
Well
Distributed replicated то что подойдет для испрользования на двух нодах
Well
Страйп не рекомендуют
Well
Отошли мы от темы zfs )))
Well
Well
Для понятия сути - самое короткое что нашлось под рукой. Остальное придется самому дожимать ))
Well
В посвежее появилось erasure code но это опять минимум три ноды 😎
Alexey
Для понятия сути - самое короткое что нашлось под рукой. Остальное придется самому дожимать ))
На первый взгляд, пробежавшись, выглядит очень просто, и немного мне напоминает какую то из реализаций rsync не вспомню сейчас какую, но суть работы там была примерно такой же, за исключением способов распределения данных. За первые 30 секунд это вызывает впечатление типа rsync + nfs-server
Alexey
Но тут есть нюанс gluster-client
Alexey
он самостоятельно подключается к любому из доступных серверов ? или всегда пишет на один, и только в случае недоступности переключается на другой ? или вообще нет такого механизма и все ручками ?
Well
Ну оно на самом деле не сложно
Well
Подключается к какому скажешь. Можно сразу к нескольким. Один клиент к одному, другой к другому. Или оба к одному
Well
Запись синхронная. Чтение с той ноды к которой примонтился
Alexey
Статья хорошая. Да вот тут задаешься вопросом, есть ли смысл рассматривать такого рода решение ? на столько не популярное и редко упоминаемое)
Alexey
вопрос из рода, есть ли смысл юзать swarm когда есть kubernetes
Well
А какие еще варианты? Или рейд ( что на 50 тер не так и просто) или цеф, что в принципе другой уровень, насколько я понимаю. И опять таки всего две ноды.
Alexey
А какие еще варианты? Или рейд ( что на 50 тер не так и просто) или цеф, что в принципе другой уровень, насколько я понимаю. И опять таки всего две ноды.
Да, поломать голову конечно придется чтобы понять есть ли варианты в принципе
Well
Гластер после отвала ноды восстанавливается быстрее чем рэйд
Alexey
Кому что удобнее
так тут же вопрос не только в удобстве, вопрос касательно будущего использования данной системы. Swarm можно использовать, но когда все уйдут далеко в кубере, перебиратся на него при необходимости будет не быстро
Alexey
Гластер после отвала ноды восстанавливается быстрее чем рэйд
типа из-за того что файлы а не сектора ?
Well
Да
Alexey
Это логично да
Well
Если планировать далеко вперед и бюджет позволяет то цеф перспективнее
Well
Если по бюджету то гластер
Alexey
Не хватает доски с таблицой характеристик, если вам нужно хранилище размером до 50 ТБ используйте гластер, если от 50 до 100 что то еще, если от 1000 ТБ и больше цеф
Alexey
ну и конечно с корреляцией количества серверов, дисков и цены
Well
Да. Зачастую однозначного ответа и нет
Well
Еще и производительность и затраты на внедрение. В случае чего - восстановление
Alexey
Это да
Alexey
кстати
Alexey
вот что нашел
Alexey
https://habr.com/ru/company/croccloudteam/blog/353666/
Well
Тоже интересная статейка
Alexey
а вы наверное мне хотели про https://habr.com/ru/company/croccloudteam/blog/417475/ скинуть ссылку тогда
Well
Там кажись про erasure code есть.
Alexey
Забавно что я нашел https://habr.com/ru/company/croccloudteam/blog/430474/
Alexey
более менее свежее
Alexey
неужели это ответы на мои вопросы)
Well
Для ознакомления то что скинул. А это уже другие затраты
Well
Думаю -ДА
Alexey
Статей конечно за сегодня я собрал много, но уже поздно, почти 3 часа ночи, завтра займусь чтением. Спасибо за помощь)
Well
👋
Алексей
А я как раз эль камино досмотрел
DaySandBox
Message from Solomon Kumari deleted. Reason: external link (?)
Fedor
самое важное как раз и не посмотрел.
Fedor
я не думаю, что ты отделаешься малой кровью, по трафику по крайней мере.
Fedor
вот кстати ещё одна реализация HA сервиса таргета. но это не шаред
https://icicimov.github.io/blog/high-availability/ZFS-storage-with-OmniOS-and-iSCSI/
Anonymous
Забавно что я нашел https://habr.com/ru/company/croccloudteam/blog/430474/
Я глюстер ставил на 4 сервера на zfs. Норм пашет
Vladislav
Fedor
Кажется, не то кинул
Fedor
Чуть позже
Well
Я глюстер ставил на 4 сервера на zfs. Норм пашет
Какая конфигурация? Distributed или distibuted replicated?
DaySandBox
Message from GOR Popaul deleted. Reason: external link (?)
nikolay
George
не поделишься ссылкой?
тяжко, но нашёл :)
https://github.com/openzfs/zfs/issues/8771
Чувак жалуется, что без нативного шифрования на 100к файлов уходит 20МБ, а с шифрованием 200МБ. Ему объясняют почему, и приводят пример, что из коробки у ext4 в такой же ситуации уходит 400МБ без шифрования и сжатия.
Anonymous
Глюстер норм раьотал но скорость вместе с zfs падала в 3-10раз
Well
👍
DaySandBox
Message from Wayne Gildas deleted. Reason: external link (?)
Well
Глюстер норм раьотал но скорость вместе с zfs падала в 3-10раз
ZFS пул был собран из raidz? гигабит на запись получался? На чтение пару гигабит реально?
Max
Вопрос, как приготовить ZFS, чтобы он не разваливался в клочья после power lost, хост без батареек и прочих ништяков
Max
Сегодня вот в очередной раз, и обычным livecd+ import уже не обошлось
Fedor
отключить все кеши как минимум, fsync=1