George
В дефолты - это просто стереть добавленные мною параметры zfs_arc_max/zfs_arc_min и перегрузиться после update-initramfs -u?
прям в дефолты - да, либо руками находу примерно похожие выставить https://openzfs.github.io/openzfs-docs/Performance%20and%20Tuning/Module%20Parameters.html
Free
прям в дефолты - да, либо руками находу примерно похожие выставить https://openzfs.github.io/openzfs-docs/Performance%20and%20Tuning/Module%20Parameters.html
Ну про echo NEWVALUE >> /sys/module/zfs/parameters/PARAMETER я знаю - только не знаю, какие NEWVALUE для дефолта сказать 😊
George
Ну про echo NEWVALUE >> /sys/module/zfs/parameters/PARAMETER я знаю - только не знаю, какие NEWVALUE для дефолта сказать 😊
https://openzfs.github.io/openzfs-docs/Performance%20and%20Tuning/Module%20Parameters.html#zfs-arc-min там же описаны
George
мб не самое свежее описание, но для min max плюс минус правильное
llacqie
Всем привет. Такой вопрос, нормальная ли практика создать zfs volume под /var/lib/docker/, отформатировать его в ext4 и не мучаться с storage driver-ом, снапшотами и прочим?
Так, ну спустя месяц могу сказать, что оно определенно работает, из минусов неудобно, что место ограничено, я выделил раздел на 64 гига и боюсь, что мне может не хватить. Т.к. я гоняю гитлаб раннеры, которые тянут кучу образов разных, место уходит молниеносно. В остальном проблем не заметил, хз как это сказывается на перфомансе, но оно остается юзабельным. Я даже не знаю как этот перфоманс мерять в данном случае.
George
эээээээээээ, хз, мне просто было лень тыкать конфиги докера
не понимаю пока что тыкать, докер нативно всё нормально сам делает же
George
мб я что-то упустаю, но который год на ноуте с zfs просто ставлю докер как есть и всё ок
George
он штатно и датасеты и снапы ему нужные делает
Free
Ну про echo NEWVALUE >> /sys/module/zfs/parameters/PARAMETER я знаю - только не знаю, какие NEWVALUE для дефолта сказать 😊
@gmelikov а ведь если нули туда записать - то как раз дефолтные значения zfs и сделает?
George
@gmelikov а ведь если нули туда записать - то как раз дефолтные значения zfs и сделает?
не помню такого поведения, много где ноль это легимное значение. В некоторых местах оно и правда равняется дефолту. zfs_arc_min по описанию не примет 0
George
но я не проверял
Free
Я просто глянул один сервер, на котором ничего не трогал: root@docker02:~# cat /sys/module/zfs/parameters/zfs_arc_min 0 root@docker02:~# cat /sys/module/zfs/parameters/zfs_arc_max 0
Fedor
тадам
Group Butler
Hi Edward Rosella!
central
/report
Group Butler
/report
Reported to 1 admin(s)
Виталий
Хочу на домашнем сервере сделать два небольших HDD массива RAIDZ2, первый на 2 ТБ под саму систему и просто как NAS для относительно часто востребованых данных (хотя реально часто востребованные данные у меня все лежат на SSD), а второй на 4 ТБ (для начала) в качестве долгосрочного архива с редко востребованными данными, диски будут в режиме standby. Исходя из цен на дешевые БУ диски прикинул такую конфигурацию: 6x512GB 7200 RPM и 6x1TB 5400RPM И вот сейчас узнал, что диски бывают CMR или SMR, но читая интернет так и не понял, SMR диски совсем нельзя использовать с ZFS или можно, но это будет приводить к замедлению rebuild массива и большему износу дисков во время этого процесса?
Виталий
я понял, что если есть интенсивная нагрузка на запись, то CMR, а вот если как у меня сервер домашний и без нагрузки на запись кроме очень редкого ребилда, то мне непонятно
ソクマナツ 🌸
ну и фетиши у людей
Vladislav
Если тебя интересует только SMR - ребилд длиной в вечность + zfs не может быть уверен данные реально на диске, а не в кэше + местами диск может уйти сам в себя и начать проверять дорожки/писать на них и на это время диск нихуя не будет принимать на себя команды
Виталий
Почему у тебя под систему 2тб?
странный вопрос, потому что такой размер вижу оптимальным
Vladislav
странный вопрос, потому что такой размер вижу оптимальным
Вопрос не странный, потому что есть разные системы, разные маунт точки, есть виртуализация в конце концов
Виталий
Если тебя интересует только SMR - ребилд длиной в вечность + zfs не может быть уверен данные реально на диске, а не в кэше + местами диск может уйти сам в себя и начать проверять дорожки/писать на них и на это время диск нихуя не будет принимать на себя команды
ок, под систему тогда возьму CMR, чтоб в случае чего не было гемороя, а вот для архивов не уверен, то что zfs не может быть уверен в реальной записи может привести на практике к потере данных?
Виталий
Вопрос не странный, потому что есть разные системы, разные маунт точки, есть виртуализация в конце концов
большая часть этого места - это запас и просто чтоб было доступно как NAS, диски дешевые, поэтому почему бы нет
Vladislav
большая часть этого места - это запас и просто чтоб было доступно как NAS, диски дешевые, поэтому почему бы нет
Просто намекаю, под систему обычно берут 2 SSD на 480гб (если это не винда), а дальше вопоос с местом разрешается через mount point
Виталий
Просто намекаю, под систему обычно берут 2 SSD на 480гб (если это не винда), а дальше вопоос с местом разрешается через mount point
я обычно так и делаю, только на работе. Но тут решил что ssd не нужен, по их цене можно более емкие hdd купить, у меня нет каких либо требований к iops, задержкам и т.д, а если вдруг будут, то в любой момент можно будет купить
Виталий
Что-то Вы не там покупаете....
посмотрел в нескольких местах, везде ssd дороже, за исключением enterprise hdd, они могут быть даже дороже ssd
Aleksey
Есть мнение что smr диски не надо для рейдов использовать.
Aleksey
https://www.servethehome.com/wd-red-smr-vs-cmr-tested-avoid-red-smr/
Виталий
Всё так
понял, спасибо, куплю тогда чисто CMR Еще такой вопрос, у продавца 4 варианта БУ дисков(в порядке возрастания цены): - 5400RPM без выбора бренда (Samsung, Toshiba, Hitachi, HGST, Seagate) - 7200RPM без выбора бренда (Samsung, Toshiba, Hitachi, HGST, Seagate) - 5400 RPM WD Blue/Scorpio - 7200 RPM WD Black 32+ MB кеш Под систему куплю WD Black (и уточню CMR ли, бо этот диск вроде и SMR есть), а для архивов мне брать самый дешевый вариант "5400RPM без выбора бренда" только попросив чисто CMR или есть смысл в более дорогих WD Blue/Scorpio или WD Black?
Aleksey
да, это все ноутбучные 2.5 диски
7200 тогда вообще смысла нет брать. Он будет греться, быстрее сдохнет, а прирост скорости мизерный. Тем более у тебя задача сохранить, а не записать/раздать данные на пару процентов быстрее.
Vladislav
Добавь просто пробел
Vladislav
А тут есть ссылка на сообщение
Виталий
Зависит от того - насколько эти данные хорошо бэкапятся и насколько они ценны
Все ценное хорошо забекаплено, но значительная часть заархивированного будет данными из интернета, которые мне потерять бы не хотелось, чтоб потом не собирать очень долго заново, но тем не менее бекапить я их не собираюсь, бо такая потеря все же не будет критической и калькуляторы рейдов из интернета пишут (servethehome КОМ /raid-calculator/raid-reliability-calculator-simple-mttdl-model/ и wintelguy КОМ /raidmttdl.pl), что raidz2 из 6x1тб дисков должен быть достаточно надежен даже в случае самых говняных дисков
Виталий
Там не учитывают, что у вас уже б/у диски с неизвестной историей, которые запросто начнут умирать один за другим при первом же ребилде
даже с учетом этого все равно достаточно, так же продавец продает их цитирую " в идеальном состоянии, все проверены" (подозреваю люди просто меняют их на ssd в ноутбуках и с ними действительно все норм), дает гарантию 3 месяца и по запросу ее даже можно увеличить
Виталий
Лучше пусть Викторией по ним пройдется
ок, попрошу для нескольких дисков для общего понимания состояния Спасибо всем за ответы, в итоге для архивов возьму просто самые дешевые "5400RPM без выбора бренда" попросив только CMR
Artem
в смысле, smr врут о синхр. записях?
Не, smr начинают тупить и зфс их выкидывает по таймаутам. А вот про вранье - тут кто-то похоже напридумывал
Vladislav
в смысле, smr врут о синхр. записях?
? ZFS не может знать о том оказалась ли запись на SMR диске или он ещё делает запись на него https://www.opennet.ru/opennews/art.shtml?num=52867
Vladislav
Не, smr начинают тупить и зфс их выкидывает по таймаутам. А вот про вранье - тут кто-то похоже напридумывал
В итоге из-за этого ZFS ждёт бесконечно окончания записи в случае sync, что превращается в
Vladislav
В итоге пока его не вырубит по таймауту - мы сидим ждём txg на 100% загрузки
Artem
Тем что диск отвечает
Сдохший диск отвечает?
Vladislav
Сдохший диск отвечает?
Нет, SMR диск отвечает
Artem
Нет, SMR диск отвечает
И что от отвечает в процессе - "ждите на линии"?
Vladislav
И что от отвечает в процессе - "ждите на линии"?
Это надо курить SCSI команды, я наизусть не помню такого
Artem
Это надо курить SCSI команды, я наизусть не помню такого
Да нихера он не отвечает, за что его и начинают считать сдохшим.
Artem
Чем диски "для Raid" отличаются от консумерских - у них нет "безконечных" попыток таки прочитать данные, они довольно быстро отвечают "не шмогла"
Artem
Ну на чтение вроде у SMR нет проблем
У дисков - проблем нет ;)
Δαρθ
Иногда даже Sector ID not found
это 100% глюк паршивки
nagual
Приветствую. Хочу перейти с TrueNAS-13.0-U6.1 на TrueNAS-SCALE-24.04.0 но
nagual
Слышал что у линукса с ZFS похуже.
Vladislav
Приветствую. Хочу перейти с TrueNAS-13.0-U6.1 на TrueNAS-SCALE-24.04.0 но
Почитай реддит, там много про это сейчас
nagual
Дело в том что под фрёй сломались дрова на мои сетевые в 13-й версии ...
nagual
em0: link state changed to UP debugnet_any_ifnet_update: Bad dn_init result from em0 (ifp 0xfffff80004731800), ignoring. em1: link state changed to UP debugnet_any_ifnet_update: Bad dn_init result from em1 (ifp 0xfffff80004732800), ignoring. em2: link state changed to UP debugnet_any_ifnet_update: Bad dn_init result from em2 (ifp 0xfffff8000485f800), ignoring. em3: link state changed to UP debugnet_any_ifnet_update: Bad dn_init result from em3 (ifp 0xfffff80004733800), ignoring. em4: link state changed to UP debugnet_any_ifnet_update: Bad dn_init result from em4 (ifp 0xfffff80004860800), ignoring.
nagual
[root@truenas /]# lspci |grep Eth 00:19.0 Ethernet controller: Intel Corporation 82566DM-2 Gigabit Network Connection (rev 02) 02:00.0 Ethernet controller: Intel Corporation 82571EB/82571GB Gigabit Ethernet Controller D0/D1 (copper applications) (rev 06) 02:00.1 Ethernet controller: Intel Corporation 82571EB/82571GB Gigabit Ethernet Controller D0/D1 (copper applications) (rev 06) 03:00.0 Ethernet controller: Intel Corporation 82571EB/82571GB Gigabit Ethernet Controller D0/D1 (copper applications) (rev 06) 03:00.1 Ethernet controller: Intel Corporation 82571EB/82571GB Gigabit Ethernet Controller D0/D1 (copper applications) (rev 06)
nagual
em0: Interface stopped DISTRIBUTING, possible flapping em4: Interface stopped DISTRIBUTING, possible flapping em3: Interface stopped DISTRIBUTING, possible flapping em2: Interface stopped DISTRIBUTING, possible flapping em1: Interface stopped DISTRIBUTING, possible flapping lagg0: link state changed to DOWN lagg0: link state changed to UP
nagual
Первая встройка и две двухпортовки.
Nikita
Первая встройка и две двухпортовки.
так и всё же, пробовали дрова из портов ставить? и, так то, уже 14-я есть, я бы попробовал, или хотя бы 13.2-13.3, обычно критичные баги оперативно фиксят. А к 13-й они что-то связанное с сетью и драйверами переписывали, так что баги неизбежны были) и если есть желание разобраться и может даже оставить тикет - велкам в чатик freebsd)
nagual
Почитай реддит, там много про это сейчас
Что то не нахожу ничего критичного
Vladislav
Что то не нахожу ничего критичного
Ладно, поищу за тебя https://www.reddit.com/r/truenas/comments/1cyt5tr/truenas_scale_host_path_for_apps_not_found_but/ https://www.reddit.com/r/truenas/comments/1cvn3nz/updating_to_dragonfish_increased_my_idle_power/ https://www.reddit.com/r/truenas/comments/1cvneye/upgrade_to_truenas_scale_dragonfish_broke_intel/ https://www.reddit.com/r/truenas/comments/1cuwm37/what_is_still_missing_in_scale/ https://www.reddit.com/r/truenas/comments/1cv1n4p/scale_crashing_but_core_not_on_the_same_proxmox/ https://www.reddit.com/r/truenas/comments/1cs9ppr/truenas_scale_24040_gui_very_slow_unusable/
Илья
Все тоже самое только наше сермяжное)