Одно время я так тоже делал. Поднимал пул с дедупликацией в раме и запускал в нем много много воркеров. Данные в раме не хранил.
Тут решение более такое...
Кардинальное.
Образы вм на раму скидывать, запускать и реплицировать
Xash
Pavel
Одно время я так тоже делал. Поднимал пул с дедупликацией в раме и запускал в нем много много воркеров. Данные в раме не хранил.
В таком кейсе дедупликация давала хороший плюс?
Pavel
Ну в ней есть смысл, рама то не резиновая
Понятно, но если дедуп ратио в районе 2 , то таблица дедупликации в раме сьест больше чем пользы даст
Xash
Короче пул там создавать надо получается с дедупликацией и отключенными всеми кешами
Алексей
В таком кейсе дедупликация давала хороший плюс?
Я исходил из того что в раме это не будет иметь пенальти особенно по иопсам. Включал до кучи. БОльший эффект давало то что я клонировал датасеты в этом раме
Xash
Понятно, но если дедуп ратио в районе 2 , то таблица дедупликации в раме сьест больше чем пользы даст
Она разве раму ест? Это ж просто хардлинки на связи и все?
central
И нету там никаких линков это вы с файловой дедупликацией вероятно путаете
Xash
То есть если у меня 512гб оперативы, то получается минус объем дисков с вм умножаем на 2.5 для гарантии это крайняя линия. Доступного пространства там гигов на 200 получается не больше. Ведь ещё машинам память нужна.
Xash
Посмотрим в пятницу получится ли поэкспериментировать
Xash
Чисто MySQL вон база есть на 12гб.
Xash
Тупо контейнер там запустить lxc. Интересно че она сможет
Xash
Как будет syncoid это реплицировать.
Xash
Которая наверно мертвая раз не будет никогда расти
Ну рост базы тут причем? Есть свободное пространство, оно и будет расти. Скорость репликации по идее должна быть равной скорости сети. Если все так, то при скорости гигабит у нас стабильные 120мб/с.
Значит для репликации 100гб нам нужно 13 минут максимум.
central
Ну рост базы тут причем? Есть свободное пространство, оно и будет расти. Скорость репликации по идее должна быть равной скорости сети. Если все так, то при скорости гигабит у нас стабильные 120мб/с.
Значит для репликации 100гб нам нужно 13 минут максимум.
У вас между двумя отправками снепшота дельта 100 гб?
central
Вы же хотели раз в секунду его запускать емнип
sweetiefox
Special не в зеркале?
Да, на аппаратной карте - там в саму карту встроен RAID1 на 2 x M.2
Xash
По самому худшему варианту
sweetiefox
Вот классный конфиг. Классный!
Но когда все это распадется, то такое. Если.
Все в этом мире может распасться :) Особенно сервера на POWER8.
Xash
Все в этом мире может распасться :) Особенно сервера на POWER8.
Я в том смысле, потом вспоминать что ты там делал, что у тебя кеш, не кеш особенно если системный диск полетел или ты пытаешься достать данные из вне
sweetiefox
Если я правильно понимаю вы 2 ссд обьемом 2тб использовали чтобы увеличить скорость для 2х hdd дисков???? Может проще было сразу ссд поставить?
Там стоит 2 x 3.5" HDD + 1 x 1.6TB SSD NVMe PCIe x8 в качестве кэша на чтение-запись. На сервере только 4 слота PCIe.
1 - сетевые карты
2 - 1.6TB Samsung PCIe x8
3 - 128GB M.2 Samsung
4 - 2 x RAID1 M.2
слоты закончились :)
sweetiefox
Pavel
Xash
Системный диск там отдельно
Понимаю. Просто у меня была ситуация и я блин 2 часа аттачил пулы там фарш был из лвм еще.
sweetiefox
И не факт, что даст нужную производительность
Ну и да тут не будет замены спешла, тут будет сразу восстановление из бэкапа
Именно, если что - клиент просто передеплоит туда все после рекавери
Xash
Тоже всяких ссд поставил под кеши, а потом тяжело было вспомнить. Системный диск сдох. Тоже был отдельным.
Xash
Труба водяная протекла. Я это все воткнул в другой серв
sweetiefox
Щас обдумал всю эту историю с zfs on ram qemu.
И понимаю, что и система такая работать будет отлично. Потому что диски не будут юзаться с постоянной перезаписью.
Ща пойду считать экономику. Неудобства понятно в чем, но если у нас это дело синкается постоянно сразу на старте и обязательно при шатдауне, то и данные мы не потеряем.
Если у вас Intel Xeon Scalable 2gen или выше - можете поставить плашки Intel PMem на 512GB каждая - будет дофига RAM
sweetiefox
Труба водяная протекла. Я это все воткнул в другой серв
Там сервера на воздухе. В том ДЦ нельзя воду ставить.
Xash
Если у вас Intel Xeon Scalable 2gen или выше - можете поставить плашки Intel PMem на 512GB каждая - будет дофига RAM
Точно не помню. Надо глянуть. Там ща 512
sweetiefox
а какой тип данных? БД?
Без понятия. Есть только описание - что рабочий набор данных (чем крутят оперативно) не более 1TB - а остальное просто данные которые подкачивают
Xash
sweetiefox
На POWER далеко не все завести можно :(
Pavel
Без понятия. Есть только описание - что рабочий набор данных (чем крутят оперативно) не более 1TB - а остальное просто данные которые подкачивают
все равно мне кажется что изобретали велосипед, проще было купить один диск 15 ТБ и все, чем городить все это
Xash
Посмотри какая у меня писька😂😂😂
Шучу
Xash
Да верно
sweetiefox
Тот что маленький на 128ГБ - SAMSUNG MZVLQ128HCHQ-00B00
Xash
Надо будет ребутнуть с божьей помощью, но надо сначала пройти причащение
sweetiefox
можно подкрутить счетчики
sweetiefox
да
sweetiefox
для выдачи разных команд
sweetiefox
к слову - мы вот например сделали корректную изоляцию для LXC/LXD контейнеров - чтобы они куда не надо не лазали
sweetiefox
и речь не только о том что ограничить доступ к чтению dmesg, но и чтобы контейнер ничего лишнего не знал о хост железе
sweetiefox
ну да - можно
sweetiefox
можно еще подменять выдачу cpuinfo
sweetiefox
но это уже зашквар если честно - так лучше не делать
Xash
Какое восьмое ноября?
central
6.5 вышло 5 месяцев назад
central
Так что не может там быть его если аптайи год
Vladislav
Vladislav
Vladislav
все равно мне кажется что изобретали велосипед, проще было купить один диск 15 ТБ и все, чем городить все это
Ценовая целесообразность, плюс их тогда два надо, и скорее всего не ZFS, ибо всё ещё скорость на запись не ахти будет
Алексей
Ребята, всем привет.
хотел я провернуть вот такой интересный финт, но получил болт:
я создал тонкий zvol, отформатировал его в xfs, залил в него немного данных, сделал снапшот и хотел попробовать смонтировать снапшот в файловую систему.
как я пробовал смонтировать снапшот:
zfs clone pool/zvol@snapshot pool/snapshottedzvol
mount -t xfs /dev/zvol/pool/snapshottedzvol /mnt/snapshottedzvol
получил ошибку: wrong fs type, bad option, bad superblock on /dev/zd32, missing codepage or helper program, or other error.
перед снапшотом пробовал фризить xfs и пробовал не фризить xfs - результат одинаковый, при этом если сделать zfs rollback pool/zvol@snapshot и смонтировать оригинальный zvol - все файлы на месте, фс не повреждена. попытка сделать fsck и xfs_repair (даже вместе с -L) результата тоже не дает, файловая система не монтируется никак.
Где я ошибся? как смонтировать корректный на мой взгляд снапшот zvol'а ??
Алексей
upd: на ext4 трюк проходит на ура, но нужен xfs
upd2: если сделать снапшот zvol'а даже при размонтированном xfs всё равно не выходит. Так что я в полнейшем тупике
sweetiefox
А так всё же m.2 в зеркале, тогда вопроса нет
то что под special - да, в к зеркале. тот что под L2ARC - нет
Maxim
upd2: если сделать снапшот zvol'а даже при размонтированном xfs всё равно не выходит. Так что я в полнейшем тупике
Помню, что клон zvol с xfs нужно монтировать с опцией nouuid, так как по-умолчанию в целях безопасности xfs не позволяет смонтировать устройства с одинаковым идентификатором
Vladislav
Они в какой-то момент недавно вроде правили это, но это не точно, там где-то был гениальный патч в ядро
А так да, XFS не умеет в два одинаковых UUID
Алексей
Помню, что клон zvol с xfs нужно монтировать с опцией nouuid, так как по-умолчанию в целях безопасности xfs не позволяет смонтировать устройства с одинаковым идентификатором
Гениально. Я натыкался сегодня на этот параметр но чето не придал этому значения. Сейчас прочекаю
Алексей
но вообще.. он же не ругался на ууид
Vladislav
но вообще.. он же не ругался на ууид
Алексей
ща ща, пробую
Алексей
но в дмесг то я смотрел
Алексей
ccccccccccccccccccccccccccccccccукаааааааааааааааааааааааааааааааааааааааааааааааааааааааааа
Алексей
СПАСИБО СПАСИБО СПАСИБО 🙏🙏🙏🙏