почему 5 дисков в raidz это плохо ?

по определению

пол года работало нормально и побольше трафика приходило

и нет никаких ограничений по 5 рейду

разработчики на рекоментуют в 1 vdev больше 9 дисков пихать

каких то конкретных рекомендаций в документации нет

что то вы сочиняете кажется

диски новые

WD RE 4tb

@Krond , ты тут вроде умный, не подскажешь ?

при чем я бы понял, если бы там какая то DB была, она могла бы такой iops делать

просто iscsi таргет примонтирован к венде и раздается как CIFS ifhf

d этот момент заливали 3 больших файла

не куча мелких операций

Нормально вроде всё собрано… хотя iscsi не крутил.

zpool status тоже ничего не показывает?

d этот момент заливали 3 больших файла

а попутно парочку старых удалять?

размер блока какой и что хранится на диске?

http://scr.keikogi.ru/jidckii/1487678344661.png

там вон ещё и scrub в прогрессе

[root@frank-data1] ~# zfs get all data NAME PROPERTY VALUE SOURCE data type filesystem - data creation Mon Oct 17 16:12 2016 - data used 16.5T - data available 11.5T - data referenced 47.1K - data compressratio 1.08x - data mounted yes - data quota none default data reservation none default data recordsize 128K default data mountpoint /mnt/data default data sharenfs off default data checksum on default data compression lz4 local data atime on default data devices on default data exec on default data setuid on default data readonly off default data jailed off default data snapdir hidden default data aclmode passthrough local data aclinherit passthrough local data canmount on default data xattr off temporary data copies 1 default data version 5 - data utf8only off - data normalization none - data casesensitivity sensitive - data vscan off default data nbmand off default data sharesmb off default data refquota none default data refreservation none default data primarycache all default data secondarycache all default data usedbysnapshots 0 - data usedbydataset 47.1K - data usedbychildren 16.5T - data usedbyrefreservation 0 - data logbias latency default data dedup off local data mlslabel - data sync standard default data refcompressratio 1.19x - data written 47.1K - data logicalused 17.7T - data logicalreferenced 25K - data volmode default default data filesystem_limit none default data snapshot_limit none default data filesystem_count none default data snapshot_count none default data redundant_metadata all default [root@frank-data1] ~# zfs get all data/frank NAME PROPERTY VALUE SOURCE data/frank type volume - data/frank creation Wed Nov 2 13:43 2016 - data/frank used 14.1T - data/frank available 11.5T - data/frank referenced 12.4T - data/frank compressratio 1.08x - data/frank reservation none default data/frank volsize 23T local data/frank volblocksize 16K - data/frank checksum on default data/frank compression lz4 local data/frank readonly off default

data/frank copies 1 default data/frank refreservation none default data/frank primarycache all default data/frank secondarycache all default data/frank usedbysnapshots 1.69T - data/frank usedbydataset 12.4T - data/frank usedbychildren 0 - data/frank usedbyrefreservation 0 - data/frank logbias latency default data/frank dedup off inherited from data data/frank mlslabel - data/frank sync standard default data/frank refcompressratio 1.08x - data/frank written 279G - data/frank logicalused 15.2T - data/frank logicalreferenced 13.4T - data/frank volmode default default data/frank snapshot_limit none default data/frank snapshot_count none default data/frank redundant_metadata all default

data/frank - это zvol анонсирован в венду

там отформатирован как ntfs blocksize 8kb

там вон ещё и scrub в прогрессе

в чем подвох ?

ntfs умеет blocksize 64kb

один блок 64kb или 8 блоков по 8kb плюс минимум 7 записей в индексе

Вот и высокий iops.

Ну а скраб это всё мелкопошинованое читает.

Вот и высокий iops.

не совсем понял...

вот смотри zvol с класером 16 kb у меня

а в ntfs я размечаю его уже в 8 кб относительно вот этой таблицы

http://scr.keikogi.ru/jidckii/1487679151787.png

так как размер тома 23 Тб

У меня виртуалка с XP на 40G нормально живёт на 64k.

Таблица учитывает только потери памяти и ограничение на размер диска.

А вот например сжатие lz4, и распределение данных у ZFS как прийдётся — не учитывает.

я так и не понял, из-за чего высокий iops то вылез ?

Не дай бог ещё снепшот хоть один сделать — диск вообще вечным тормозом станет.

суть в том, что его не боло раньше такого при точно всех тех же входных данных

Ну сейчас это явно scrub. При скрабе система перечитывает все данные с диска и проверяет хеши.

Не дай бог ещё снепшот хоть один сделать — диск вообще вечным тормозом станет.

эт ещё б с чего?

хотя снепшеты при vdev?

я повторю вопрос, как лучше диагностировать проблему ?

как лучше мониторить проблему и понять в чем дело ?

Ну вот смотри, у тебя лежит файли на 2Mb кусками по 8kb подряд. По умолчанию ZFS пытается не перезаписывать совпадающие по хешу кластеры, то есть если в файле что-то изменится - все изменившиеся блоки будут лежать в другом месте, там где было место.

я повторю вопрос, как лучше диагностировать проблему ?

Да пройдёт скраб ещё месяц ничего происходить не будет.

ох, сложны для меня все эти схд, с сетями как то попроще ))

А потом ежемесячный скраб можно просто выключить если в железо веришь.

в железе то уверен, но UPS не оч хороший и эл. бывает моргает

А потом ежемесячный скраб можно просто выключить если в железо веришь.

можешь понятным более языком объяснить, что делает скарб ?

я тут прочитал http://docs.oracle.com/cd/E19253-01/820-0836/gbbwa/index.html

но чет не очень въехал

Читает всё содержимое пула, проверяет хеши и восстанавливает данные если находит ошибки. Типа fsck.

Понял, ну да, данных там ного и все время меняется по 500гб в день ротация файлов

а так как пул большой, видать по этому и долго чекает

Спасибо

почему 5 дисков в raidz это плохо ?

это нормально.

там вон ещё и scrub в прогрессе

скраб дико тормозит, да.

и места должно быть достаточно

да места то вроде норм

http://scr.keikogi.ru/jidckii/1487681285145.png

просто как бы уже 3 дня сканирует ))

у меня все жалуются,что обменник тупит ))

ERROR: S client not available

скраб можно подтюнить, чтобы он меньше нагрузку создавал

просто как бы уже 3 дня сканирует ))

У меня 12ТБ двое суток без нагрузки вычитывает

Профилактически

скраб можно подтюнить, чтобы он меньше нагрузку создавал

как ?

https://wiki.freebsd.org/ZFSTuningGuide#Scrub_and_Resilver_Performance https://forums.freebsd.org/threads/36111/

блин, не помню, а как вывести текущее значение vfs.zfs.scrub_delay

блин, не помню, а как вывести текущее значение vfs.zfs.scrub_delay

sysctl vfs.zfs.scrub_delay

бля, точно

вот тупанул

@fandrey спамиры

done

Подскажите, pf rdr позволяет запросы на днс сторонние завернуть на локальный сервер днс?

например перехватить все что летит на 53 порт

Позволяет. Но нужно следить чтобы ответы проходили через этот же pf

А есть вообще какой-нибудь хороший мануал на русском по ipfw. А лучше учебник даже. Чтобы типа прочитал, сделал, добавил ещё чего-то, проверил, ещё добавил, проверил, офигел, воззрадовался и стал буддой :)

лиссяру копай

ipfw.ru/bash

Лел.

А есть вообще какой-нибудь хороший мануал на русском по ipfw. А лучше учебник даже. Чтобы типа прочитал, сделал, добавил ещё чего-то, проверил, ещё добавил, проверил, офигел, воззрадовался и стал буддой :)

лучше всего для начала ман

тут как раз тот случай, когда он очень хорош

Так пробовал. Как-то там во-первых не по-русски у меня. А во-вторых скудновато. Ну или скудновата та его часть, которую я смог понять на английском :(

Кстати, как втащить русские маны на фряху? И есть ли такое вообще?

там в начале диаграмма со схемой прохождения пакетов и точками перехвата, ну а дальше по тексту

а потом он узнает о нетграф ....

Зачем?

а потом он узнает о нетграф ....

у меня он используется

Подскажите, pf rdr позволяет запросы на днс сторонние завернуть на локальный сервер днс?

Тебе зачем?

ревизорро на свои днс гвоздями прибить

Аааа... недели 2 уже, срамота http://www.bsdportal.ru/viewtopic.php?f=12&t=28255

Подскажите пожалуйста, можно ли каким-нибудь образом достучаться до системного кронтаба /etc/crontab при помощи консольной утилиты crontab или она только для управления пользовательскими кронтабами, лежащими в /var/cron/tabs ? Как вообще правильнее запускать задачи от имени рута кроном: системным кронтабом или пользовательским рутовым из /var/cron/tabs/ ?