Xash
Mdadm/xfs - 1gb/s. Zfs - 400mb/s
Xash
Это я у себя сравнивал.
nanomechanic
кстати, сейчас пофиксили производительность на реально быстрых NVME?
nanomechanic
раньше там было все безнадежно. из-за latency
Xash
Ну не быстрая она, нет. Не про скорость к сожалению.
nanomechanic
проблема в том, что я юзаю zfs с 2008 года и тенденции к улучшению ZoL/openzfs не наблюдается
nanomechanic
могу сказать что в райнне 0.6.5 оно пошустрее было
nanomechanic
под фрей вообще все работало без колдунства с параметрами модуля
Xash
Хз, как она меня не удовлетворяла скоростью в сравнении с традиционными фс, так и не удовлетворяет. Еще со времен фринас и прочих. Ставишь ufs - все четко. Zfs по мере времени начинаются замедления
Xash
Чисто самба сервер домашний был
Xash
Смысл был в том, чтобы юзать профиль винды в сети по гигабиту оптическому и не прыгать на десктопах, игры там хранить и т.д. много винтов разных в корпус не влезали и хотел еще на телик раздавать фильмы. Вот и там тоже это все на зфс были приколы. Я думал что здесь не так - также.
Xash
Хрен ее знает как она с контроллерами общается, нет гарантий. Если я возьму лвм например я получу что винт может выдать. С зфс все сложнее. Оперативка еще что не хватит. Ну такое. Поэтому я там в итоге поставил контроллер и на юфсе тусовался пока он мне просто не перестал быть нужен
Xash
Ну это было в 14 году чтоле. Пишешь фильм хоба скорость просела, а чтение прекрасное всегда. Вот тоже и здесь. Запись сильно просевшая в сравнении с обычными фс, а чтение да - как оперативка почти.
Xash
Или еще какие тормоза когда все параллельно пишется. В обычной фс нет затупов вообще, просто скорость замедлялась.
central
Оу ну если оно взломано, тогда все пипец при любом раскладе. Есть у меня недельный бекап отдельный вообще тупо рсинком. На долгое хранение до года что кладет. А больше никак
Не надо тут никого взлома обычного бага или даже просто bit flip-а в не ЕСС ОЗУ хватит чтобы ты передал битые данные
central
кстати, сейчас пофиксили производительность на реально быстрых NVME?
Я на слышал чтобы тот обещанный PR вмержили но фиг его знает
central
https://github.com/openzfs/zfs/pull/10018 вроде этот
Fedor
не додедали ещё
вроде как есть в коммерческих решениях
Xash
Я подумал про оперативку и придумал решение. А можно же по идее распаковывать образ в оперативку и оттуда запускать?
Xash
Ну и назад также копировать после выключения.
Xash
MySQL с галерой в реплике хм интересно
Xash
Типа скрипт подъёма и ОПУЩЕНИЯ вм.
Xash
То есть если у меня оперативы 512гб, то можно просто qemu юзать голый на скриптах и ОЗУ будет расход минус размер образов. Речь идет о всяких базах объёмом по 8 - 50 гб. Супер быстрые базы лол)))
Ivan
Я подумал про оперативку и придумал решение. А можно же по идее распаковывать образ в оперативку и оттуда запускать?
это разве тюнингом без извращений не решается ?
Xash
Все. Я поехал. Я там вообще чето седня
Xash
это разве тюнингом без извращений не решается ?
Скрипт создает zfs в рам диске, реплицирует сункоидом с бекапа и запускает qemu. После выключения также реплицирует
Xash
😁😁😁
Xash
Ну будет реально быстро работать, оспорьте)))
ALLEX
Скрипт создает zfs в рам диске, реплицирует сункоидом с бекапа и запускает qemu. После выключения также реплицирует
что за скрипт такой?. Дайте попробовать
Xash
Да там все просто. По сути это просто системд демон на старте и на выключении + синкоид после онлайна. Все работать будет
ALLEX
а как создается пул на базе ram?
Xash
Tmpfs или ram прямой через биос можно на серверах прописать заранее. Получаем блочное устройство
Xash
Ну и погнали в теории все. Запуск и выключение у нас + обычная реплика
Xash
Надо пробовать. Когда нужна очень быстрая база и скорость решает типа торговли
Xash
Или каких то крутых ботов рыночных
ALLEX
мож уже кто делал такое? всё логично и напрашивается на реализацию. Гуглю - есть материал о связке zfs и tmpfs
Xash
мож уже кто делал такое? всё логично и напрашивается на реализацию. Гуглю - есть материал о связке zfs и tmpfs
А что там делать? Просто два хука на баше написать в shutdown и init 5
Xash
Ну и сервис systemd который они будут дергать.
ALLEX
А что там делать? Просто два хука на баше написать в shutdown и init 5
отладить, потестить. время надо
Xash
отладить, потестить. время надо
Так всегда. Но там все просто в теории. Какие у тебя там машины хранятся в внешнем хранилище, те он будет заливать и запускать
Xash
Также и обратно. Как в проксмоксе есть выключение всех машин при перезагрузке. Просто дергаться будет это
Xash
На коленке это быстро собрать
ALLEX
Также и обратно. Как в проксмоксе есть выключение всех машин при перезагрузке. Просто дергаться будет это
да нее, я идею понял. Всё верно говоришь.
Xash
Потому что ну их нахер эти тюнинги, дешевле оперативы забить на терабайт блин и запускать сервисы требующие такой скорости сразу из рамы.
Xash
Те сервисы, которые реально нужны.
Xash
Один раз ее накупить и забить все слоты - зато стопудово и 10g
Xash
Вот это хай лоад sql. Лом а не прием)))
Xash
Можно вообще если SQL просто реплику в самом SQL сделать и можно их гасить почти как обычно, просто дождаться выключения самих вм. MySQL сам дергает все реплики при выключении
Artem
А главное - надежность!
Δαρθ
Ну будет реально быстро работать, оспорьте)))
Гораздо быстрее будет если имедж диска для кему напрямую в tmpfs
sweetiefox
Всем приветики.
В общем просили рассказать как все прошло. На том сервере тестовом что клиенту сдали (одна штука) - конфиг из 2xHDD RAID1 + 1.6TB bcache writeback + 128GB L2ARC + 2TB M.2 SSD special - показал себя просто отлично, скорость чтения записи просто замечательные, SLA в несколько раз переплюнули. Контроль расхода износа тоже сделали через nvme утилиту, расход крайне малый идет по ресурсу. Так что те кто решит делать - тема хорошая. Была только проблема с автоподключением кэша при ребуте - но это пока в процессе решения. В остальном же вариант весьма рабочий - для тех кому нужно гибридное хранилище - без какой-то супер надежности, но с высоким SLA по IOPS и Mbps. Всем спасибо кто в чате помогал и подсказывал.
Mikhail
/report
Xash
Pavel
Всем приветики.
В общем просили рассказать как все прошло. На том сервере тестовом что клиенту сдали (одна штука) - конфиг из 2xHDD RAID1 + 1.6TB bcache writeback + 128GB L2ARC + 2TB M.2 SSD special - показал себя просто отлично, скорость чтения записи просто замечательные, SLA в несколько раз переплюнули. Контроль расхода износа тоже сделали через nvme утилиту, расход крайне малый идет по ресурсу. Так что те кто решит делать - тема хорошая. Была только проблема с автоподключением кэша при ребуте - но это пока в процессе решения. В остальном же вариант весьма рабочий - для тех кому нужно гибридное хранилище - без какой-то супер надежности, но с высоким SLA по IOPS и Mbps. Всем спасибо кто в чате помогал и подсказывал.
Если я правильно понимаю вы 2 ссд обьемом 2тб использовали чтобы увеличить скорость для 2х hdd дисков???? Может проще было сразу ссд поставить?
Vladislav
Если я правильно понимаю вы 2 ссд обьемом 2тб использовали чтобы увеличить скорость для 2х hdd дисков???? Может проще было сразу ссд поставить?
Вы суть изначальной проблемы упускаете, там долгая история со специфичной архитектурной CPU (POWER8) и нужно ~16ТБ места
15.36тб ссд диски слегка дорогое удовольствие
Pavel
Вы суть изначальной проблемы упускаете, там долгая история со специфичной архитектурной CPU (POWER8) и нужно ~16ТБ места
15.36тб ссд диски слегка дорогое удовольствие
Да, я изначальное тз не знаю, но имхо 2 ссд по 15,36 выйдет проще и дешевле (если учитывать работы) и возможный последующий геморой. Как например замена special dev
Vladislav
Да, я изначальное тз не знаю, но имхо 2 ссд по 15,36 выйдет проще и дешевле (если учитывать работы) и возможный последующий геморой. Как например замена special dev
И не факт, что даст нужную производительность
Ну и да тут не будет замены спешла, тут будет сразу восстановление из бэкапа
Pavel
И не факт, что даст нужную производительность
Ну и да тут не будет замены спешла, тут будет сразу восстановление из бэкапа
Тем более. Одного диска на 15.36 достаточно
Pavel
Если данные не так критично потерять
Pavel
Жестко
Xash
Щас обдумал всю эту историю с zfs on ram qemu.
И понимаю, что и система такая работать будет отлично. Потому что диски не будут юзаться с постоянной перезаписью.
Ща пойду считать экономику. Неудобства понятно в чем, но если у нас это дело синкается постоянно сразу на старте и обязательно при шатдауне, то и данные мы не потеряем.
Xash
А при старте мы получается будем иметь каждый раз чистую фс с последнего снапшота. Хочется собрать скорость замерить.
Artem
Щас обдумал всю эту историю с zfs on ram qemu.
И понимаю, что и система такая работать будет отлично. Потому что диски не будут юзаться с постоянной перезаписью.
Ща пойду считать экономику. Неудобства понятно в чем, но если у нас это дело синкается постоянно сразу на старте и обязательно при шатдауне, то и данные мы не потеряем.
А ситуацию "всё повисло" или "выдернули питание" мы не рассматриваем? Передавай данным большой и горячий привет :)
Xash
Xash
Ну че прилетело на реплику между этим у нас потеря да
Xash
Ну так оно и есть по сути. Но мы только про сервисы которым нужна максимальная скорость.
Xash
Ну посмотрим насколько. Это надо выяснить.
Xash
Суть то в реплике.
Xash
Оверхеды со скоростью рам ддр4 терпимы. Ну допустим минус 40% от скорости это все равно очень много
Xash
А перезапись и случайное чтение вот это все с чем мы боремся постоянно я думаю понятно
central
Щас обдумал всю эту историю с zfs on ram qemu.
И понимаю, что и система такая работать будет отлично. Потому что диски не будут юзаться с постоянной перезаписью.
Ща пойду считать экономику. Неудобства понятно в чем, но если у нас это дело синкается постоянно сразу на старте и обязательно при шатдауне, то и данные мы не потеряем.
Дайте делать arc свою работу и не занимайтесь фигней
Xash
Дайте делать arc свою работу и не занимайтесь фигней
Кстати а его же можно отключить? Зачем он на рам
central
Патч когда с direct io допилят тогда мб и будет смысл экспериментировать с расположением в рам
Алексей
А при старте мы получается будем иметь каждый раз чистую фс с последнего снапшота. Хочется собрать скорость замерить.
Одно время я так тоже делал. Поднимал пул с дедупликацией в раме и запускал в нем много много воркеров. Данные в раме не хранил.