Fedor
Если за пределы скази не выходить, конечно же
Fedor
А как только дошло до контроллера - всё
Georg🎞️🎥
Оно само пробрасывается на скази уровне
Не совсем понял 😱 что до контролёру куда 😭
Чуть подробнее, если вас не затруднит ((
Что значит «не выходить за пределы» 😱
Georg🎞️🎥
А как только дошло до контроллера - всё
Будут ли две hba , подрубленные к одной группе дисков, шустрее их читать ? Спасибо 👋
Николай Орлов
День добрый подскажите как грамотнее поступить, есть 2 zpool один для системы rpool mirror второй для данный raidz1 все пулы на hdd, ещё есть 2 свободных ssd по 240гб хочу их использовать для l2arc и slog к какому пулу их лучше прикрутить или может быть их можно разбить на партиции и в каждый пул добавить ?
Владимир
День добрый подскажите как грамотнее поступить, есть 2 zpool один для системы rpool mirror второй для данный raidz1 все пулы на hdd, ещё есть 2 свободных ssd по 240гб хочу их использовать для l2arc и slog к какому пулу их лучше прикрутить или может быть их можно разбить на партиции и в каждый пул добавить ?
делаешь 3 разделана каждом
2 пары для слог в рейде по одному для каждого пула
и по одному разделу с каждого раздела в эти пулы на l2arc, там избыточность не нужна
Fedor
Будут ли две hba , подрубленные к одной группе дисков, шустрее их читать ? Спасибо 👋
В большинстве случаев нет. И вопрос, разрешён ли такой ход вообще с точки зрения консистентности данных
Николай Орлов
Николай Орлов
А размер партиций какой?
Николай Орлов
Или поровну
Николай Орлов
Понял
Николай Орлов
Спасибо 🙏
Николай Орлов
Ещё вопрос размер arc ограничивать или система сама выберет l2arc в качестве приоритетного?
Fedor
Fedor
Сама идея отъедать у зфс оперативку - приговор для потенциальной производительности
Николай Орлов
Ок
Fedor
Как будут работать дисковые операции? Так же, как и приложения, ушедшие в своп
Georg🎞️🎥
В большинстве случаев нет. И вопрос, разрешён ли такой ход вообще с точки зрения консистентности данных
Fedor
Узким местом практически всегда являются сами диски
Fedor
И тут мультипатх решат задачу файловера, а не скорости
Fedor
Серверы независимо общаются с несвязанными друг с другом данными (чаще всего)
George
Georg🎞️🎥
multipath на hdd только пропускную способность может увеличить, если в контроллер упёрлись или что-то ещё, но это только на большом количестве дисков и то
50 дисков
Знаете, я дума улучшить не скорость даже, а отзывчивость чтения, ибо видео монтаж и нужен доступ к куче разных файлов
Egor
Ещё вопрос размер arc ограничивать или система сама выберет l2arc в качестве приоритетного?
на BSD нет проблем с ARC (zfs уступает память системе) на линухах встречал жалобы с этим, но это само собой, линухи же)
Николай Орлов
делаешь 3 разделана каждом
2 пары для слог в рейде по одному для каждого пула
и по одному разделу с каждого раздела в эти пулы на l2arc, там избыточность не нужна
Добавил как вы сказали, перезагрузил сервер и пропал доступ к веб, ssh еле открывает
Николай Орлов
Могло на это как то повлиять добавление кеш?
Николай Орлов
Ну да
Николай Орлов
С сетью какие-то чудеса походу
Fedor
Полезные ссылки по ZFS
Официальная документация ZFS On Linux
https://t.me/ru_zfs/41658
ZFS: архитектура, особенности и отличия от других файловых систем
https://t.me/ru_zfs/41657
Zpool Best Practices and Caveats
https://t.me/ru_zfs/41394
ZFS Storage Design presentation (FreeNAS)
https://t.me/ru_zfs/41399
ZFS Best Practices Guide
https://efim360.ru/zfs-best-practices-guide/
Configuring Oracle Solaris ZFS for an Oracle Database
https://www.oracle.com/technetwork/server-storage/solaris/config-solaris-zfs-wp-167894.pdf
PG Phriday: Postgres on ZFS
https://www.2ndquadrant.com/en/blog/pg-phriday-postgres-zfs/
Мастерство FreeBSD: ZFS для профессионалов.
https://t.me/ru_zfs/41656
Fedor
Если вдруг у кого-то есть, чего добавить - давайте добавим.
Georg🎞️🎥
Спасибо ))
Georg🎞️🎥
Если вдруг у кого-то есть, чего добавить - давайте добавим.
http://onreader.mdl.ru/AdvancedZFS/content/index.html
Georg🎞️🎥
Если вдруг у кого-то есть, чего добавить - давайте добавим.
https://habr.com/ru/company/vk/blog/529516/?
George
Если вдруг у кого-то есть, чего добавить - давайте добавим.
офиц доку, конечно же, приложить)
https://openzfs.github.io/openzfs-docs/
Vladislav
Какая сверка контрольных сумм больших файлов, лежащих на ZFS будет менее ресурсоемкая?
Vladislav
md5, sha256 или что-то другое?
Fedor
не fletcher4?
Alexandr
Какая сверка контрольных сумм больших файлов, лежащих на ZFS будет менее ресурсоемкая?
Зависит от вашего проца и инструкций которые он поддерживает
Vladislav
Зависит от вашего проца и инструкций которые он поддерживает
т.е. по факту проверка md5 и sha256 будут равнозначные по скорости в пределах одного CPU ?
Alexandr
Проведите простой тест с openssl
Alexandr
Там есть тестовые бенчмарк команды
Alexandr
То что у вас сильно вырается вперед (есть аппаратная поддержка в проце) то лучше и используйте с zfs
Vladislav
ага, надо думать
Alexandr
https://gist.github.com/bdd/446104
Alexandr
Вот пример
George
То что у вас сильно вырается вперед (есть аппаратная поддержка в проце) то лучше и используйте с zfs
не мешайте zfs и "поверх zfs" )
Alexandr
Согласен, но хоть както…
George
т.к. дефолтный fletcher итак отлично справляется быстрее других, но не криптостойкий
Vladislav
Мне не надо шифровать файлы. Мне надо хоть как-то сверить контрольные суммы
Georg🎞️🎥
Fedor
чот кажется, контроллер столько не протянет айопсов
Fedor
но в целом дадут.
Fedor
но только воткни пару в миррор по крайней мере
George
Fedor
slog для видеомонтажа скорее всего бессмысленен, проще sync=disabled выставить, осознавая последствия
ну может они тут же будут хранить и результаты монтажа =)
Fedor
и на диски в итоге более равномерно будет запись проводиться блоками
George
и на диски в итоге более равномерно будет запись проводиться блоками
sync=disabled тоже даст меньшую фрагментацию, ибо эффект такой же, только риски потери другие
Fedor
и кстати если видео, в таком кейсе префетч имеет смысл?
Fedor
Что есть префетч? ))
исходно оно вот так https://cuddletech.com/2009/05/understanding-zfs-prefetch/
Fedor
Prefetch is designed to read more than requested and cache it with the hope that it will be used soon before it gets ejected from cache for other data.
George
Что есть префетч? ))
https://translate.google.com/?sl=en&tl=ru&text=prefetch&op=translate
George
думаю стоит начать тут)
Fedor
в общем, читается чуть дальше, чем ты запросил, чтобы при твоем следующем запросе линейного чтения тратить чуть меньше времени на отдачу тебе данных. полезно только при линейном чтении, например, больших файлов.
Georg🎞️🎥
в общем, читается чуть дальше, чем ты запросил, чтобы при твоем следующем запросе линейного чтения тратить чуть меньше времени на отдачу тебе данных. полезно только при линейном чтении, например, больших файлов.
Очень похоже ну монтаж и рендер из тяжёлых исходников )))благодарю
Fedor
Очень похоже ну монтаж и рендер из тяжёлых исходников )))благодарю
вот почему про него и вспомнил
Georg🎞️🎥
вот почему про него и вспомнил
Как это включить ?🤦♂️🤦♂️🤣🤣🤣🤣😭
George
Как это включить ?🤦♂️🤦♂️🤣🤣🤣🤣😭
барабанная дробь - он по дефолту включен
Georg🎞️🎥
барабанная дробь - он по дефолту включен
Ох…🤦♂️🤣.. я очень благодарен за помощь 👋👋 читаю…
Но☝🏻на определённых типах файлов повторный рендер даёт двойной прирост скорости чтения 🤔 на небольшую дистанцию .. видать , arc что ли не хватает ему 🤔🤷🏻♂️ там один видос может занимать все 190 гиг оперы (((
Georg🎞️🎥
https://www.storagereview.com/review/lsi-nytro-warpdrive-blp4-400-application-accelerator-review
Такую штучку на slog ?🤔
Georg🎞️🎥
Благодарю за помощь 👋👋👋доброй ночи
Fedor
https://www.storagereview.com/review/lsi-nytro-warpdrive-blp4-400-application-accelerator-review
Такую штучку на slog ?🤔
смысла нет, наверное. большого выигрыша не будет, так как с физикой не поспоришь - скорость записи так и так будет ограничена пропускной способностью блинов. разве что отзывчивость будет может чуть получше, но в случае записи больших файлов не сильно сыграет.