Shaker
prox в меньшей степени, esxi в большей делает отвратительную трансляцию запросов. Тут иопсв точно станет больше.
Алексей
Так это железо нужно смотреть. Смотри на предмет совместимости с SED
Sed есть , но как его юзать например в дебиане инфы чето найти не могу
Shaker
Посмотри sedutil-cli
Алексей
а зачем mdadm ?
Чтобы его зашифровать луксом
Ivan
Чтобы его зашифровать луксом
zfs тоже можно луксом зашифровать без мдадма
Shaker
Но у нас это реализовано иначе, но с sedutil вроде тоже получалось что-то.
Алексей
Посмотри sedutil-cli
Спасибо посмотрю
Алексей
zfs тоже можно луксом зашифровать без мдадма
Можно но я так не пробовал ахаха
Shaker
А у вас как?
Не скажу )
Алексей
Ну хоть схематично
Алексей
Посмотри sedutil-cli
Хм выглядит просто потрясающе.
Алексей
Это то что нужно похоже
Алексей
Ага хрена с два конечно же мои не поддерживают
Алексей
И всё же интересно куда уходят иопсы при шифровании
Алексей
Ну хорошо. А если я просто все блины по отдельности луксом заполирую и из них соберу пул?
Алексей
Как тебе такое илон маск
Алексей
Так не будет разрыва? @neurox
Art
И всё же интересно куда уходят иопсы при шифровании
А что по загрузке проца? Может в него всё упирается?
Art
zfs тормоз. мощная, функциональная. но тормоз
Абсолютно нет!🧐 Можно чутка подтюнить, и будет не хуже ext4 По крайней мере на сата- и сас-девайсах. Вот с нвме да, есть пока проблемки. Ждём 3.0
Алексей
Art
Я с ZFS на NVME играюсь тоже. Делал тоже статистику недавно.
Спасибо. Ну выглядит неплохо для зфс-то, а есть тест этих же дисков интел, но собранных авагой в рейд5 ? Было бы интересно взглянуть и сравнить! И ещё вопрос. Рекордсайз зфс вы подгоняли под размера блока в задании? Или оставляли всегда дефолтный?
George
В инете ходили бенчи luks vs native, единого победителя не было, так что по надобности стоит выбирать
George
Я в итоге свой home нативно шифрую
Art
Это один файл или много тестятся? На мете файлов шифрование не даёт максимально эффективно хранить
Ой, это у нас тут смешались два разговора Скриншоты тестов от @vfonov не связаны с очередной занимательной головомойкой у @underflow17 ))
Алексей
Ага смешалось всё
Art
Нет, упирается именно в иопсы
Я всегда понимал айопсы как именно результирующий показатель совместной работы железна и софта. Если какой из компонентов системы плохо работает, то количество айопсов падает... Вот ты мне скажи по простому, чтоб даже я понял😔 - у тебя скорости чтения/записи в зашиированный датасет хуже чем в нешифрованный?
Василий
Абсолютно нет!🧐 Можно чутка подтюнить, и будет не хуже ext4 По крайней мере на сата- и сас-девайсах. Вот с нвме да, есть пока проблемки. Ждём 3.0
ну в принципе согласен, если напрячься и затюнить екст4 то он может тупить так же как зфс) зы: подтюнить это отключить синки, кинуть сто тыщ терабайт озу?
Алексей
Вот сюда писал
Так куда они отжираются? Иопсы
Василий
мне всегда нравилось про "подтюнить". т.е. разработчику рукожопы и дефолтно предлагают самую кривую конфигурацию...
Art
ну в принципе согласен, если напрячься и затюнить екст4 то он может тупить так же как зфс) зы: подтюнить это отключить синки, кинуть сто тыщ терабайт озу?
Так, харош! Спать уже хочется Хотя ладно. Подтюнить это например подобрать рекордсайз под нагрузку. А ext4 может так интересно?🤔
George
кстати, вот разбор размера меты per file https://github.com/openzfs/zfs/issues/8771#issuecomment-495811601
Вот тут как раз пример про нативное шифрование, больше блоков = больше иопс
Василий
что ставить?)
Art
ок,
Это что вообще
Василий
Это что вообще
nfsstat обращение к nfs со стороны виртуалки (нфс на звс есно)
Василий
вот тут. куда тюнить? синки отключены, место есть
Василий
кешей дофига, а всего 15 мб чтения и диски пригружены :(
Алексей
Вот тут как раз пример про нативное шифрование, больше блоков = больше иопс
Вообщем завтра луксом полирую блины и на них пул поднимаю. Посмотрим
Art
кешей дофига, а всего 15 мб чтения и диски пригружены :(
Так, дай подумоть Но 15 мб чтения это же не максимальный, а просто текущий показатель? Ты тестил с фио на что в принципе способен этот пул? Локально и через нфс. Уверен, это точно не 15 мб)
Василий
ну учти, что это с отключенным синком. и кучей ссд в кеше (я кстати, на них так ни разу нагрузки и не видел :(
Василий
эх, появился бы в зфс мультитаер...
Art
это за последние 5 секунд :(
Так может ВМке больше и не надо?
Василий
Синк отключен на уровне и зфс, и нфс?
на уровне зфс. там солярка, в ней в нфс я не нашел как отключаит синк.
Василий
Так может ВМке больше и не надо?
там же загрузка диска видна. ну да, это рейдз2, но все равно немало
Василий
самое печальное, что если через 10 лет в зфс появится мультитаер, то он нафиг не нужен уже будет :( сейчас самое то для него время
Shaker
Что-то я у вас не пойму, у кого где что и на что тупит. Какие диски, какая конфигурация массива и что в cache , а что в log.
Алексей
А я полирнул луксом каждый блин и собрал из полированных пул
Алексей
Иопсы не просели!
Алексей
Это победа
central
Иопсы не просели!
ну аппаратное шифрование видимо, либо недостаточно нагрузили
Алексей
ну аппаратное шифрование видимо, либо недостаточно нагрузили
Проблема была в том что zfs по непонятной и неочевидной мне причине во время шифрования использует в 4 раза операций записи чем без шифрования!
Алексей
zfs -V ?
zfs-2.1.5-pve1
Shaker
;(
Алексей
Согласен, беспредел
Алексей
Никакой плюшка не заставит меня использовать нативное при таком оверхеде
Алексей
При том что мета и дедуп один хрен не шифруются
Алексей
А и это, кажется и при чтении зашифрованного оно так же тратит больше иопсов
Алексей
т. е. грубо говоря у меня хелсчек грозит затянутся на неделю
Михаил
Вы сравниваете холодное и мокрое , как можно сравнивать 3108 +ssd и zfs на nvme
Vladimir
Вы сравниваете холодное и мокрое , как можно сравнивать 3108 +ssd и zfs на nvme
Что есть, то и сравниваю. Юзерам, которые систему используют - все равно чего там под капотом.
Михаил
ну это не сравнение как таковое , а просто вот вам новая система на новом железе и новой FS она супер быстрая
Shaker
Да, вы конечно сраниваете. Я тут у нового клиента столкнулся с MegaRAID 9660-16i . Он тоже хотел ZFS, но т к средства не ограничены, то решил hwraid. Там конечно скорость тоже день и ночь, но нет того функционала, что в ZFS. Так что тут точно теплое с мягким, все идет от контретных задач и стоимости владения.
Shaker
Вот например hwraid уже не сделает понятный HA, а на ZFS при желании уже можно собрать. Правда стоимость поддержки вопрос квалификации внедряющих.
ArcticFox
товарищи вопрос из разряда TL4G: как лучше обращаться к scsi устройствам, через /dev/sgXX или есть другие варианты?