Сам freenas с фряхи мечтает слезть,никак не допилят
https://www.opennet.ru/opennews/art.shtml?num=60843
Окей, был неправ
Vladislav
Vladislav
Как бэ заявляют, что это не EOL анонс, но это как бэ он
Vladislav
zfs они начали сильно бэкпортировать? А то код вроде разьезжался уже с линуховым. И откуда инфа про скорость?
Fedor
Может, пункт1 не смогли заоффлоадить
Fedor
Хотя это очень странно
Georg🎞️🎥
Хэлоу
А мелкофацловый доступ совсем говно на zfs?
6 зеркал ssd sata
Папку на 30 гигов с 110000 файлами по 2-3 часа закидывает. А вот забираем быстро
Памяти - 768, сеть - 10gb🤷🏻♂️
Понимаю что мелкие файлы, но не так чтобы скорость ниже usb 2.0 на ssd пуле то 😳
Ivan
Хэлоу
А мелкофацловый доступ совсем говно на zfs?
6 зеркал ssd sata
Папку на 30 гигов с 110000 файлами по 2-3 часа закидывает. А вот забираем быстро
Памяти - 768, сеть - 10gb🤷🏻♂️
Понимаю что мелкие файлы, но не так чтобы скорость ниже usb 2.0 на ssd пуле то 😳
файлы плоско лежат в одном каталоге или размазаны по подкаталогам ?
Roman
Georg🎞️🎥
И когда с пула забираешь - тоже все с чтением хорошо
Ivan
Smb у нас по сети да …
надо сравнивать похожие кейсы. такой же ссд на другой фс по smb.
какой версии smb кстати ?
Georg🎞️🎥
надо сравнивать похожие кейсы. такой же ссд на другой фс по smb.
какой версии smb кстати ?
3
Проблема именно закинуть материал на сервер
С него все хорошо 🤔
Читает влет
Ivan
3
Проблема именно закинуть материал на сервер
С него все хорошо 🤔
Читает влет
другие варианты доставки файлов по сети не годятся ?
Georg🎞️🎥
nfs, ssh/scp, lsync или как там его.
А что, smb плохо закидывает ? Но хорошо читает .. бред же
Georg🎞️🎥
Или я уже не знаю (
Ivan
А что, smb плохо закидывает ? Но хорошо читает .. бред же
всяко может быть. может она перестраивает инфу о файлах с каждым закинутым файлом. получается такая вот лавина.
Ivan
в любом случае раскидывание по каталогам облегчит работу с файлами на всех уровнях
Georg🎞️🎥
в любом случае раскидывание по каталогам облегчит работу с файлами на всех уровнях
Не реально … программа формирует так - порезка мелкого звука - 20-30к файлов в среднем
Ivan
Ну 🤷🏻♂️))) такой кейс ))
предлагаю lsyncd потестировать.
кто-то кидал в чат аналогичную скоростную тулу для подобных задач.
Georg🎞️🎥
предлагаю lsyncd потестировать.
кто-то кидал в чат аналогичную скоростную тулу для подобных задач.
Да как то без костылей охота 🤔🤷🏻♂️
Станислав
Да как то без костылей охота 🤔🤷🏻♂️
А если один большой файл кидать, какая скорость реальная?
Ivan
Да как то без костылей охота 🤔🤷🏻♂️
как по мне это менее костыльное решение, чем по самбе мышевозить раскидывать
Georg🎞️🎥
А если один большой файл кидать, какая скорость реальная?
Один большой файл как положено залетает
Georg🎞️🎥
Читает то норм
Станислав
Какой recordsize датасета?
Georg🎞️🎥
1мб
Georg🎞️🎥
Выключите, если включено. А сжатие включено?
Atime и все сжатия точно выключены , в том то и дело ((
Georg🎞️🎥
Да
У нас трунас, там в гуе такой настройки не помню 🤔видимо через терминал надо смотреть … еще раз спасибо
Group Butler
Hi Эльдар!
Ivan
Кто-то явно не копировал мелкие файлы через nfs/scp.
у меня когда был днищесервер и класть hls по nfs было быстрее, чем на локальные диски )
Georg🎞️🎥
Кто-то явно не копировал мелкие файлы через nfs/scp.
Scp- протокол ? Nfs на маках есть знаю
Nikita
Кусок конфига самбы глобальный + этой шары и значение данной настройки у фс, на которую шара приводит, пожайлуста. Если многабукав, то на пастебин.
Georg🎞️🎥
Кусок конфига самбы глобальный + этой шары и значение данной настройки у фс, на которую шара приводит, пожайлуста. Если многабукав, то на пастебин.
Да, сложновато для меня )) через гуй трунаса шару поднимали, таких букв там в гуе не встречал ))
Georg🎞️🎥
Roman
Провели бы на async, походу всё с синком копируется.
Станислав
Кто-то сталкивался с ситуацией, когда не высвобождается память следующим параметром?
root@r:~# echo 32212254720 > /sys/module/zfs/parameters/zfs_arc_sys_free
root@r:~# free -h
total used free shared buff/cache available
Mem: 109Gi 47Gi 2,9Gi 58Gi 59Gi 2,9Gi
Swap: 9,3Gi 2,4Gi 6,9Gi
Nikita
А куда надо чтобы было ?
А это я вам скажу через несколько часов, когда доберусь до своего конфига. В настоящий момент я по вашему могу сказать, как не надо.
Ivan
Кто-то сталкивался с ситуацией, когда не высвобождается память следующим параметром?
root@r:~# echo 32212254720 > /sys/module/zfs/parameters/zfs_arc_sys_free
root@r:~# free -h
total used free shared buff/cache available
Mem: 109Gi 47Gi 2,9Gi 58Gi 59Gi 2,9Gi
Swap: 9,3Gi 2,4Gi 6,9Gi
arcstat надо смотреть, а не free.
Nikita
Хотя, чего уж... Давайте то, что я выше написал из smb.conf и zfs get all /path/to/mount. Вот это уже точно на пастебин.
Georg🎞️🎥
Провели бы на async, походу всё с синком копируется.
Там не всегда порой прямое копирование идет , часто программа созидает сессию на сервер🤷🏻♂️
Станислав
Там не всегда порой прямое копирование идет , часто программа созидает сессию на сервер🤷🏻♂️
Кстати, один из вариантов, которые я хотел предложить после relatime, по крайней мере для теста:
zfs set sync=disabled <dataset>
Georg🎞️🎥
Станислав
arcstat надо смотреть, а не free.
Да, Вы правы, я сразу и не подумал сюда глянуть, считал что должно быть много свободной памяти
root@r:~# arcstat
time read miss miss% dmis dm% pmis pm% mmis mm% size c avail
21:13:54 44 0 0 0 0 0 0 0 0 3.4G 3.4G -27G
Free
Отпишитесь тогда по поводу relatime, как проверите, пожалуйста
ZFS on linux provides an additional setting, relatime. Setting this value to on means the access time is only updated under one of two circumstances:
If the mtime or ctime values changed
If the existing access time has not been updated within the past 24 hours (it will be updated the next time the file is accessed)
In order to use relatime the atime setting must also be enabled:
George
ZFS on linux provides an additional setting, relatime. Setting this value to on means the access time is only updated under one of two circumstances:
If the mtime or ctime values changed
If the existing access time has not been updated within the past 24 hours (it will be updated the next time the file is accessed)
In order to use relatime the atime setting must also be enabled:
в 2.2 релизе кстати relatime по дефолту на on поменяли, я патчик делал, а то все остальные фс в линуксе по дефолту тоже с ним маунтятся, а мы игнорили, должно стать лучше
George
ну а так - xattr=sa atime=off сильно облегчат всем жизнь
Δαρθ
Блин что за фигня, удаляю файлы (несколько гб удалил, куча мелких файлов), а FREE уменьшилось на 1 гб :)
Fedor
Может, сжатие
Δαρθ
А, походу отбой. Снапшоты, будь они неладны )