виртаулки на xfs ?

Zfs, внутри ext4

каким образом удалось esx на zfs поставить ?

каким образом удалось esx на zfs поставить ?

там же по сети

как внешнее хранилище подключать

каким образом удалось esx на zfs поставить ?

Кластер же. Две ноды с флешки грузиться и зфс по сети к ним

как внешнее хранилище подключать

+

т.е. там слоем еще и vmfs ?

т.е. там слоем еще и vmfs ?

нет

т.е. там слоем еще и vmfs ?

Там можно, но у меня там нфс, для многих задач удобнее

а nfs на какой оси, на фряхе ?

а nfs на какой оси, на фряхе ?

Solaris

прикольно, и как скорость по nfs ?

на линухе как-то огорчает скорость

nfs в асинхронном режиме ?

прикольно, и как скорость по nfs ?

50-100 мб. На разделе где торрент жопа, а разделе без, 70-90% от сети

грубо говоря, если за данные не жалко, то вариант NFS + sync=disabled + NFS async (если фря) и с двух дисков получаешь 20к иопсов на патерне 75/25

но стоит выключить асинки всякие - 300-350

Подскажите что подкрутить в zfs для ssd для скорости

https://github.com/ewwhite/zfs-ha/wiki

Подскажите что подкрутить в zfs для ssd для скорости

тут есть, но аккуратно ) eXtremeSHOK.com ZFS tuning https://github.com/extremeshok/xshok-proxmox

Подскажите что подкрутить в zfs для ssd для скорости

и TRIM на пуле ВКЛ

если контроллер дисков его умеет, конечно

ни там, ни там не нашел упоминаний по оптимизации zfs, может плохо смотрел?)

и TRIM на пуле ВКЛ

Его zfs сам включает уже где надо

Подскажите что подкрутить в zfs для ssd для скорости

Да нет там вроде никакого особенного тюнинга, не врубать l2arc, побольше arc, отдельный slog на nvme если основная пачка ssd - sata, добавить компрессию lz4 ну и мелочь типа atime если не надо, да xattr если файлы большие. Я так гоняю, но у меня sas (по сути те же sata), только чутка быстрее.

вот тут типа краткая инструкция на все случаи жизни =)

https://jrs-s.net/2018/08/17/zfs-tuning-cheat-sheet/#:~:text=Ashift%20tells%20ZFS%20what%20the,used%20by%20some%20modern%20SSDs).

а, я еще ставлю везде recordsize=1M ну и с ashift уточнить, где 12 где 13 на некоторых ссд

а, я еще ставлю везде recordsize=1M ну и с ashift уточнить, где 12 где 13 на некоторых ссд

1M без сжатия - место на ветер

компрессия zstd

1M без сжатия - место на ветер

я сжатие всегда включаю =)

slog только есть субд на зфс крутить

компрессия zstd

а какова нагрузка, я когда-то делал тесты, lz4 фактически не добавляла нагрузки на ЦП, ну там 1% накидывала, иногда 2%. зато прирост за счет сжатия пушка, бомба =) А что с zstd по нагрузке?

recordsize=128КБ

а какова нагрузка, я когда-то делал тесты, lz4 фактически не добавляла нагрузки на ЦП, ну там 1% накидывала, иногда 2%. зато прирост за счет сжатия пушка, бомба =) А что с zstd по нагрузке?

поищите тесты

но точно zstd не хуже

в гите фейсбука есть тесты

slog только есть субд на зфс крутить

на обычных винтах здорово помогает, для обычных ссд читал что предлагают на nvme выносить, но это не точно

поищите тесты

поищу

на обычных винтах здорово помогает, для обычных ссд читал что предлагают на nvme выносить, но это не точно

slog пишет лог транзакций, вроде и для простого испол-ния -лишний

тогда уж slog надо ZFS софт-рейде держать

райд1

тогда уж slog надо ZFS софт-рейде держать

а я так и делаю - зеркало на двух мини ссд, или паре разделов на ссдхах

нашел тесты компресии

https://indico.fnal.gov/event/16264/contributions/36466/attachments/22610/28037/Zstd__LZ4.pdf

в гите zstd должны быть

вобщем, zstd сжимает чутка лучше, но lz4 тупо быстрее, почти нет пенальти, даже на старых ЦП, пока для себя оставлю lz4 но по свободе потестирую zstd сам, железку надо подобрать

в гите zstd должны быть

эти? https://github.com/facebook/zstd

в них lz4 тоже быстрее, особенно в декомпрессии, в два раза быстрее любого другого протестированного алгоритма, надо найти nvme хорошую для теста, пока нет в наличии

интересно зачем тогда все еще нужно zlib/gzip

интересно зачем тогда все еще нужно zlib/gzip

Большая степень сжатия

Подскажите, какой сейчас актуальный способ получать вывод от zfs в json? С примером из иссюсов в гитхабе всё когда-то работало, а теперь # zfs program -jn tank zfs_rlist.zcp userspace tank/home Channel program execution failed: [string "channel program"]:5: bad argument #1 to 'children' (dataset 'userspace' is not in the target pool 'tank') stack traceback: [C]: in function 'children' [string "channel program"]:5: in function 'list_recursive' [string "channel program"]:19: in main chunk

Большая степень сжатия

нет конечно :) zstd (утилита) на максимуме сжатия почти догоняет по размеру xz (тоже на максимуме), процентов на 10 отстает. и при этом в 2 раза быстрее. а при сжатии как gzip zstd сильно быстрее gzip. не думаю что при пожатии блоков чтото подругому

gzip не умеет в мультипоток

хоть 100500 ядер имей - одно пользует

у zstd - все ок

не думаю, что кто-то gzip с зфс пользует )

или надо быть оч одаренным

gzip не умеет в мультипоток

Один блок емнип и так и так в один поток жмётся

не думаю, что кто-то gzip с зфс пользует )

Где нужен коэффициент сжатия - используют

не думаю, что кто-то gzip с зфс пользует )

вот я и удивляюсь зачем оно там

Где нужен коэффициент сжатия - используют

сравни с zstd на максималках, он гзип уделывает и по скорости и по сжатию

когда уже в браузерах будет поддержка zstd))

сравни с zstd на максималках, он гзип уделывает и по скорости и по сжатию

zstd сколько лет как интегрирован?) И, кстати, gzip можно ускорять аппаратно, в zfs есть поддержка. мб лет через 5 он и потеряет совсем смысл

zstd сколько лет как интегрирован?) И, кстати, gzip можно ускорять аппаратно, в zfs есть поддержка. мб лет через 5 он и потеряет совсем смысл

в убунтовской 0.8.х еще нет зстд вроде

в убунтовской 0.8.х еще нет зстд вроде

он только в 2.0 приехал, и то есть ещё нюансы что будут править, релизу полгода всего

У меня есть медитативная картинка, которая объсняет почему все носятся с zstd.

lz4 не хватает

это какой-то там 4 круг отбора, скорее всего его отсеяли

вот так лучше

это какой-то там 4 круг отбора, скорее всего его отсеяли

гзип не отсеяли, а lz4 отсеяли)

гзип не отсеяли, а lz4 отсеяли)

неудобный оказался

с такой то скоростью

та у него и сжатие не плохое))

гзип не отсеяли, а lz4 отсеяли)

ага, его там и нет, в самом деле https://community.centminmod.com/threads/round-4-compression-comparison-benchmarks-zstd-vs-brotli-vs-pigz-vs-bzip2-vs-xz-etc.18669/

ага, его там и нет, в самом деле https://community.centminmod.com/threads/round-4-compression-comparison-benchmarks-zstd-vs-brotli-vs-pigz-vs-bzip2-vs-xz-etc.18669/

он слишком хорош для тех кто там представлен

остальные выглядели бы не уместно))

когда уже в браузерах будет поддержка zstd))

А можно вообще из браузеров сжатие выпилить, а то как то напрягает, что для серфинга инета теперь надо как минимум 4 ядра, а лучше сразу 8 да от 16 ГБ памяти.