Про запись тоже: специально поднимал 2 пула на сервере видеонаблюдения, и менял путь записи (диск ufs и zfs), так вот ufs в gstat показывал равномерную запись (данные сливались на диск сразу, постоянным потоком) а на zfs периодическими циклами: тишина - скачёк записи
значит сервер приложение не запрашивает синхронную запись. Это нормально и эффективно в большинстве случаев (это эффективно, т.к. делает превращает нелинейную запись в линейную с точки зрения IOPS).
Evgenii
Evgenii
SMB сервер наоборот 100% пишет синхронно, поэтому самба шара страдает на ZFS довольно сильно на HDD. если ничего не делать. Банально ZFS пишет в пул все 2 раза, сначала лог, потом TXG пачку
Evgenii
можно sync=always сделать, тогда будет сразу писаться скорее без разрывов
Evgenii
но кроме как в видеонаблюдении такое лучше нигде не применять мне кажется
Sergey
Про запись тоже: специально поднимал 2 пула на сервере видеонаблюдения, и менял путь записи (диск ufs и zfs), так вот ufs в gstat показывал равномерную запись (данные сливались на диск сразу, постоянным потоком) а на zfs периодическими циклами: тишина - скачёк записи
Почитайте, как работает ZIL, и какие там есть настройки. С sync=disabled как раз будет такое поведение, ну либо, как уже сказали, приложение не запрашивает синхронную запись. Попробуйте отключить arc (primarycache=none), чтобы убедиться, что это никак не влияет на запись.
George
Про запись тоже: специально поднимал 2 пула на сервере видеонаблюдения, и менял путь записи (диск ufs и zfs), так вот ufs в gstat показывал равномерную запись (данные сливались на диск сразу, постоянным потоком) а на zfs периодическими циклами: тишина - скачёк записи
Для записи отдельно всё же, это write throttle https://openzfs.github.io/openzfs-docs/Performance%20and%20Tuning/ZFS%20Transaction%20Delay.html
Evgenii
nikolay
nikolay
и данные становятся недоступны. iscsi lun выдаются с двух хостов, на каждом собран zpool из 24 дисков с подключенной jbod полки
nikolay
на хостах linux Red Hat Enterprise Linux release 8.4 (Ootpa) + zfs-2.0.6
Roman
nikolay
Был такой опыт с одного сервера, всё работало
а какие параметры для zvol задавали? я сделал volblocksize = 128k (под бэкапы) и включил компрессию lz4
nikolay
никаких ошибок по zpool или zvol на стороне линукса нет. сообщений о том что iscsi lun становятся недоступными на уровне виндоус вроде как нет
Roman
а какие параметры для zvol задавали? я сделал volblocksize = 128k (под бэкапы) и включил компрессию lz4
Такие же параметры были. Но диски локальные и raidz2
nikolay
у меня тоже raidz2
nikolay
а со стороны ntfs какой блоксайз выставляли при форматировании?
nikolay
Был такой опыт с одного сервера, всё работало
забыл уточнить - iscsi target какой использовали? scst или lio?
Ivan
и данные становятся недоступны. iscsi lun выдаются с двух хостов, на каждом собран zpool из 24 дисков с подключенной jbod полки
что значит с двух хостов ?
разные луны или сделан какой-то HA ?
nikolay
что значит с двух хостов ?
разные луны или сделан какой-то HA ?
два разных хоста, два разных пула, с каждого хоста выдаются свои луны на свои виндоус сервера.
nikolay
на стороне виндоуса работает veeam, луны выдаются под него
nikolay
за неделю ловим третий раз проблемы с лунами, разными лунами с разных линуксов на разных виндах(
Ivan
под вим лучше самбу сделать, кмк.
nikolay
самба на zfs совсем грустно работает.
nikolay
под вим лучше самбу сделать, кмк.
и чем лучше? veeam штатно умеет работать с блочными лунами, например отдаем луны с нетаповской e-series, за 5+ лет никаких проблем не было
nikolay
может refs со стороны виндоус попробовать?
nikolay
хотя вряд ли это чем-то поможет
nikolay
у меня два интерфейса 10 GbE в бонде на каждом линуксе. в сеть точно не упираемся..
nikolay
может кстати mpio такое влияние оказывать? я подключаю каждый лун через два ip адреса со стороны таргета..
Ivan
может кстати mpio такое влияние оказывать? я подключаю каждый лун через два ip адреса со стороны таргета..
попробуй по одному ip на лун.
nikolay
надо попробовать
Art
Коллеги, а вот если zdb -S выдал коэффициент 1.89, то это как понимать?
Занятое место после включения дедупа уменьшится на сколько?
2.0 это понятно, -50%
А 1.89 ? Чёт туплю...
В гайде от Оракла написано, что если коэффицент меньше 2.0, то дедуп не рекомендован. Но мне и меньшее было бы в радость
George
Art
смотри total, если правильно понял сравнивай psize, referenced это сколько сейчас, видимо у тебя занято 21.9Т, при включённом дедупе и сжатии это теоретически может уместиться в 12.8Т.
Но без большого запаса по ОЗУ я бы на это не пошёл
аа, точно, походу это оно и есть.
21.9 / 12.8 как раз 1.71 и даёт
То есть даже думать не надо, всё написано. У меня прост от обилия цифр глаза разбежались. Спасибо!
George
112000000 блоков, *320байт, около 33гбайт ddt может быть, цена экономии)
George
Мб ошибаюсь с требованием на блок, но порядок понятен
George
ну и перезапись нужна будет. Будь готов пересоздавать пул если озу не будет хватать)
Art
Мб ошибаюсь с требованием на блок, но порядок понятен
не-не, всё чётко. У Оракла так и написано, 320 байтов на блок DDT. У меня страничка прямоо на этом месте открыта
Art
ну и перезапись нужна будет. Будь готов пересоздавать пул если озу не будет хватать)
Хмм, а я думал большой объём оперативы нужен только при выполнении дедупликации, неужели постоянно?
Я бы хотел один раз раздедуплить архив, и держать его в сторадже в таком виде. Отдавать на это много оперативы конечно жалко...
Evgenii
Evgenii
каждый новый блок надо сравнить с таблицей
Если больше ничего не писать, то можно обойтись без ОЗУ, но как только начнется запись, каждый новый блок потребует скан DDT, которая будет либо в ram либо на дисках. Короче диски "умрут" все это сканить постоянно, а вы состаритесь.
George
George
не-не, всё чётко. У Оракла так и написано, 320 байтов на блок DDT. У меня страничка прямоо на этом месте открыта
В openzfs уменьшали, потому и оговариваюсь
Art
каждый новый блок надо сравнить с таблицей
Если больше ничего не писать, то можно обойтись без ОЗУ, но как только начнется запись, каждый новый блок потребует скан DDT, которая будет либо в ram либо на дисках. Короче диски "умрут" все это сканить постоянно, а вы состаритесь.
хм, ну тогда ещё куда ни шло, хотя всё равно неудобно. Всё-таки хотелось бы архивы иногда пополнять.
Но вообще, даже если посчитать. За счёт дедупа я сэкономлю 21.9-12.8= 9.1 ТБ
1 ТБ это нынче где-то 2 тыс. р. У меня пулы все зеркальные, значит экономия 36 тыс. руб.
Оператива DDR4 на 32 ГБ встанет в 10 тыров. В принципе резон в дедупе есть)
Art
В openzfs уменьшали, потому и оговариваюсь
а ведь надо мне наверное завязывать с древними оракловыми методичками...
Vladislav
Nick
а вот кстати, там после ребута эта табличка как читается с дисков в память? Медленно и грустно по запросу?
Nick
а еще есть вот такая работа - https://openzfs.org/w/images/8/8d/ZFS_dedup.pdf но непонятно вошло ли оно уже в опензфс и было ли доделано
George
а вот кстати, там после ребута эта табличка как читается с дисков в память? Медленно и грустно по запросу?
как и другая мета. special vdev может помочь. Вообще я думал ddt bootstrap влили но недотащили до мастера в итоге https://github.com/openzfs/zfs/pull/9464
George
а еще есть вот такая работа - https://openzfs.org/w/images/8/8d/ZFS_dedup.pdf но непонятно вошло ли оно уже в опензфс и было ли доделано
только на уровне концепта, в паблике код ещё не видел, PRа точно нет
Nick
как и другая мета. special vdev может помочь. Вообще я думал ddt bootstrap влили но недотащили до мастера в итоге https://github.com/openzfs/zfs/pull/9464
ну вот special vdev очень не для всех, к сожалению, и из-за того что надо под него зеркало и делать и для ситуации когда всё мелкие файлы и 80% файлов будет лежать на special vdev
Какой-нибудь флешкеш сильно лучше под такие ситуации
George
ну вот special vdev очень не для всех, к сожалению, и из-за того что надо под него зеркало и делать и для ситуации когда всё мелкие файлы и 80% файлов будет лежать на special vdev
Какой-нибудь флешкеш сильно лучше под такие ситуации
ну по дефолту только мета и ддт на него пишутся, для raidz хорошо улучшает жизнь
George
но да, не под все случаи
Nick
а под этот сценарий - как посчитать профит для ситуации когда рейдз под бекапы, рекордсайз мегабайт, все файлы большие - сколько сэкономится иопсов при чтении, если мета на special vdev ?
Vladislav
обижаешь, ECC, регистровая. Но это б\у цена конечно
Скорее даже 7-8 если брать 2133
АлиЭкспресс удивительно хорош в этом плане (либо из 20 плашек во всех 20 случаях мне повезло)
Василий
а ведь надо мне наверное завязывать с древними оракловыми методичками...
В смысле древние? Оракл тоже новые версии выпускает. И мне пока оракаловский зфс больше нравится
Василий
хм, ну тогда ещё куда ни шло, хотя всё равно неудобно. Всё-таки хотелось бы архивы иногда пополнять.
Но вообще, даже если посчитать. За счёт дедупа я сэкономлю 21.9-12.8= 9.1 ТБ
1 ТБ это нынче где-то 2 тыс. р. У меня пулы все зеркальные, значит экономия 36 тыс. руб.
Оператива DDR4 на 32 ГБ встанет в 10 тыров. В принципе резон в дедупе есть)
А вот тут странно. Я сколько не считал, причём для древней бу ддр3 и новых, но да, сата дисков, дедуп нефига не выгодно.
На 20тб пуле и 32гб озу дедуп ставил машину в такую позу раком, что я в результате отказался от рено и ни разу не пожалел
Δαρθ
Василий
чем же оно лучше?
Самое главное: не т обсуждений, какая версия не глючная.
Ну и то что любой vdev извлечь можно
Василий
*из массива
Δαρθ
то есть у аракла чюдесные гении-программисты которые пишут без багов?
Василий
то есть у аракла чюдесные гении-программисты которые пишут без багов?
Думаю уровень тестирования перед релизом разный. А вот что лучше дорогой программист и мало и бесплатный и дофига я честно не знаю
Василий
Но не монтируемый зфс в фре, в древние времена, когда версии ещё совпадали, я нарывался. Причём соляра смонтирровала этот пул потом. Понимаю что все уже не так, но осадочек остался
Василий
Кстати я так и не понял ппофита в этом новом рейде в озфс, кроме разве что на ссд
Δαρθ
Думаю уровень тестирования перед релизом разный. А вот что лучше дорогой программист и мало и бесплатный и дофига я честно не знаю
лучше открытый (софт). сабж нонче на каждой кофеварке уже или почти (на шиндошс портируют) а аракловое? да еще и за бабло поди.
Василий
лучше открытый (софт). сабж нонче на каждой кофеварке уже или почти (на шиндошс портируют) а аракловое? да еще и за бабло поди.
Я не противник открытого софта. Но обычно он проигрывает. Тот же фотошоп и жимп.
Оракл конечно за бабки, если они есть))).
А так и без бабок работает
Δαρθ
для моих нужд гимпа и инкскейпа за глаза. и думаю это прежде всего привычки фотошоперов.
Δαρθ
оракл за бабки? для любого ядра даже самосборного при этом?
Василий
оракл за бабки? для любого ядра даже самосборного при этом?
Он внутри нигде лицензий не требует, но официально это получается ворованое, если у тебя в сейфе не лежит бумажка. Ну и да. Обновления только с лицензией
Василий
для моих нужд гимпа и инкскейпа за глаза. и думаю это прежде всего привычки фотошоперов.
Ну сейчас не сравнивал, а в древние времена, фотошоп банально в разы работал быстрее
Василий
В целом, есть софт где я даже особо конкурентов в закрытом софте не знаю, обычно это всякий веб и языки программирования
Василий
Кстати. А куда делся канал по забиксу, никто не знает?
Василий
Он на месте. Похоже тебя там забанили.
Я там ничего не писал особо, я о том что не могу найти его в it_chats
Rabinovitch
0) - нет, только sync запись
Rabinovitch
Почитал вашу переписку там выше - в итоге, что и как правильно ускорит SLOG? Если "по науке". ))
Rabinovitch
🤔
Ilya
Из Null или из zero?
Если из zero на датасет с компрессией, то ты не скорость пула мерил точно))