Ivan
для себя минус использования рейд контроллера - на диске появился бэд и досвидули из массива. когда как диск можно было бы использовать хотя бы для восстановления данных на новый диск.
Василий
для себя минус использования рейд контроллера - на диске появился бэд и досвидули из массива. когда как диск можно было бы использовать хотя бы для восстановления данных на новый диск.
нит. он пометился как сбойный и лампочка загорелась. но работать продолжает
Raymond Jerry has been banned! Reason: CAS ban.
Raymond Jerry has been banned! Reason: CAS ban.
Serega
коллеги, сделал второй бекапный сервер, один диск 4Тб, zfs (debian 2.0.3-1~bpo10+1). Что-то по перфомансу он сливает первому серверу с такойже аппаратной конфигурацией, но ext4+luks где-то в 2.5 раза. Данные не мелкие.
Допускаю что я не умею что-то готовить, но где там накосячить то на таком простом юзкейсе, recordsize дефолтный 128к.
zpool create -o ashift=12 -o autotrim=on -O compression=lz4 -O atime=off -O xattr=sa -O acltype=posixacl tank /dev/disk/by-id/ata-TOSHIBA_HDWE140_21DFK5YPFBBG
zfs create -o encryption=on -o keyformat=passphrase tank/backups
Ivan
Serega
Xeon E3-1220 v3, aes поддерживает. recordsize 1m особо никак не помог.
Если копировать на датасет без енкрипшена, то маленько быстрее, но все равно сильно медленнее чем на ext4 c lukscrypt
Василий
коллеги, сделал второй бекапный сервер, один диск 4Тб, zfs (debian 2.0.3-1~bpo10+1). Что-то по перфомансу он сливает первому серверу с такойже аппаратной конфигурацией, но ext4+luks где-то в 2.5 раза. Данные не мелкие.
Допускаю что я не умею что-то готовить, но где там накосячить то на таком простом юзкейсе, recordsize дефолтный 128к.
zpool create -o ashift=12 -o autotrim=on -O compression=lz4 -O atime=off -O xattr=sa -O acltype=posixacl tank /dev/disk/by-id/ata-TOSHIBA_HDWE140_21DFK5YPFBBG
zfs create -o encryption=on -o keyformat=passphrase tank/backups
если данные не жалко: sync=disabled максимум что можно получить. ну или звать Владимира, у него зфс быстрее екст4 работает. у меня результаты в сравнение с екст4 где то похожие
Олег
Да zfs сильно срёт по скорости томуже ext4. Он для других применений
Ivan
если данные не жалко: sync=disabled максимум что можно получить. ну или звать Владимира, у него зфс быстрее екст4 работает. у меня результаты в сравнение с екст4 где то похожие
надо еще понимать какая производительность ожидается. с линейной у меня тоже всё довольно печально, а вот с параллельной нагрузкой весьма неплохо zfs справляется.
Василий
надо еще понимать какая производительность ожидается. с линейной у меня тоже всё довольно печально, а вот с параллельной нагрузкой весьма неплохо zfs справляется.
но с екст4 вы на том же железе не сравнивали?
Василий
Да zfs сильно срёт по скорости томуже ext4. Он для других применений
я бы сказал, он просто сильно для других конфигураций. с сильным таким запасом которые
Ivan
но с екст4 вы на том же железе не сравнивали?
прямо 1в1 - не сравнивал. на zfs я добавил ssd в пул, чтоб веселей жилось.
Олег
я бы сказал, он просто сильно для других конфигураций. с сильным таким запасом которые
Другие задачи, где сохранность важнее, где сжатие нужно и дедуп, где можно сэкономить на рейдконтроллере, но потратить на Кеши в Т. Ч озу
Олег
Я сравнивал на одном и том же
Василий
Я сравнивал на одном и том же
ну тут группа людей есть, которые скажут что зфс супер шустрая. но сейчас видимо заняты
Олег
Только 50й как то тягается с 6 и то проблема 20%
Ivan
ну тут группа людей есть, которые скажут что зфс супер шустрая. но сейчас видимо заняты
для отдельно взятых задач вполне такое может быть.
Олег
ну тут группа людей есть, которые скажут что зфс супер шустрая. но сейчас видимо заняты
Ну nfs при async тоже быстрый, только легко можно получить отсутсвующий файл
Ivan
Каких?)))
ну вот mysql тот же. мб там данные до записи на диск хорошо ужимаются и за счет этого прирост имеется
Олег
Василий
Пруф можно?
та есть у один, у которого база меньше озу, все на nvme дисках, 10% записей, у которого на екст4 все тормозило
Олег
Сферический конь в вакууме
Василий
гипотетически. на рандомных занисях, при наличии ссд кеша, может быть быстрее. но при таких же понтах, контроллер с батарейкой на екст 4 даст теже результаты
Олег
Serega
я тупо копирую 16гб бекап с ssd на винт 4тб. И получаю что ext4+luks на 150-200% быстрее, как по времени копирования так и по данным записи в секунду в iostat.
Василий
Василий
зы: послей этой фразы обычно просыпаются оппоненты, спрашивай как у них настроено )
Ivan
если подходить с позиции ок/неок, то мне норм. я переехал с вари на прокс+zfs. виртулаки не тупят, юзеры не жалуются на то что что-то стало медленней. лишние плашки озу хорошо сглаживают нодостаточно быстрое чтение с дисков.
Олег
зы: послей этой фразы обычно просыпаются оппоненты, спрашивай как у них настроено )
Типа есть ли у вас 16 GB ОЗУ?)))
Ivan
рамы докупить гораздо выгодней, чем брать контроллер+кэш к нему.
Serega
у меня на этих бекапных серверах по 4Гб оперативы. Но ведь и юзкейс примитивный донельзя.
Evgenii
я тупо копирую 16гб бекап с ssd на винт 4тб. И получаю что ext4+luks на 150-200% быстрее, как по времени копирования так и по данным записи в секунду в iostat.
скорее всего IOPS мало для ZFS
включи sync=disabled, должно помочь
ZFS раза в 2 чаще обращается к диску чем EXT при настройках по умолчанию
Василий
одна на солярисе, вторая на TrueNas
Олег
Олег
ну надо ж как то компенсировать супернадежность зфс :))
Это не компенсация))) это прямой умысел
Василий
я фиг бы использовал зфс под виртуалки, если бы мне не нужно было шифрование. но шифрование вынуждает, да и к промежуточным снапшотам я привык
Василий
а вот бекапы да, можно и потерпеть некоторые тормоза, тем более что обычно все в канал упирается
Evgenii
И дать возмость терять данные?)
тебе перелить надо быстро щас с одного диска на другой, ты перелей и включи обратно
Олег
Гагага
Олег
Только и делай что думай когда лить))
Василий
тебе перелить надо быстро щас с одного диска на другой, ты перелей и включи обратно
бекап операция повторяющаяся...
Evgenii
ну значится бэкп локальный, а не по сети
Evgenii
в 99.99% если ты потерял часть операций записи, значит сервер вырубился во время бэкапа. Ext4 в этом случае не поможет, текущий бэкап будет не валидным.
Serega
Serega
одни снапшоты остаются
Evgenii
так шифрование тормознутое то…
я не нашел разницы между скоростью с шифрованием и без, меня просили тестировать на днях. Щас найду сообщение и скину ссылку
Serega
странно, у меня быстрее без шифрования
Serega
я хотел новые гипервизоры на zfs делать, с ссд дисками. А теперь вот сижу думаю…Если на простейшем юзкейсе такие приколы
Василий
так шифрование тормознутое то…
не, у меня шифрование не тормозит. что с ним, что без тормоза одинаковые
Evgenii
странно, у меня быстрее без шифрования
Возможно играет роль процессор. У меня мощный там стоит, в него что так что так ни упирается.
Василий
на процессоре без поддержи шифрования по топу упиралось именно в процессор. но это было на каком то i3. на нормальных процессорах, шифрование не влияет
Serega
я всё понимаю, что xeon e3 1220 это старый проц, но ведь юзкейс то простейший
Василий
просто зфс это суперфрагментация и супер дофига внетреннего ио
Василий
я всё понимаю, что xeon e3 1220 это старый проц, но ведь юзкейс то простейший
странно, аес заявлен
Evgenii
Так как я запускал тесты ИЗ под VM с Win10, результат нагрузки на процессор будет не верным.
Evgenii
я всё понимаю, что xeon e3 1220 это старый проц, но ведь юзкейс то простейший
AES бывают разные, надо смотреть какую реализацию используют LUKS, а какую ZFS
Evgenii
zfs get encryption rpool/data/vm-100-disk-0
NAME PROPERTY VALUE SOURCE
rpool/data/vm-100-disk-0 encryption aes-256-gcm -
Serega
у меня также
Evgenii
aes-256-gcm
Serega
luks такой же у меня. cryptsetup luksFormat /dev/$dev -c aes -s 256 -h sha256
Evgenii
https://security.stackexchange.com/questions/145757/do-aes-ni-instructions-accelerate-both-aes-128-and-aes-256
Сергей
luks такой же у меня. cryptsetup luksFormat /dev/$dev -c aes -s 256 -h sha256
а luks часом не xts? у zfs gcm. Может у вас разные типы шифрования?
Ivan
я всё понимаю, что xeon e3 1220 это старый проц, но ведь юзкейс то простейший
в биосе включен aes ?
Serega
cat /proc/cpuinfo | grep aes
всё есть
Serega
я просто получил скорость быстрее на датасет без шифрования. Проверю еще. В любом случае хоть с шифрованием хоть без, ext4+luks в 2-2.5 раза быстрее
Сергей
я просто получил скорость быстрее на датасет без шифрования. Проверю еще. В любом случае хоть с шифрованием хоть без, ext4+luks в 2-2.5 раза быстрее
если сравниваете с шифрованием, то алгоритмы шифрования должны быть одни и те же. (полностью, включая типы xts/gcm). Иначе теплое и мягкое. Ну или сравнивать без шфирования
Serega
aes-cbc-plain в люксе.
bes
как можно сравнивать zfs+enc с ext? если нужно с mdadm+lvm2+ext4+luks
nikolay
Аппаратный рейд без lvm ...
nikolay
И zpool. Только один нюанс, на количестве дисков больше 30 любой аппаратный рейд пробивает кэш на раз-два. И далее зфс рвёт его как тузик грелку)
Василий
nikolay
Причём это при использовании современных моделей , например я тестил на lsi 9480. Всяческие интегрированные а-ля 3108 сдуваются на 10+ дисках
Василий
А то я даже не могу представить, как должны тогда летать дисковые полки на 60 дисков и более