Ребята всем привет. у меня в зфс постоянно пишет со скоростью 600мб/сек не прекращаясь ни на секунду заметно отжирают проца 30% процессы txg_sync txg_sync kthreadd и еще много маленьких процессов z_wr_iss по 6-8% жрут у меня виртуальный пул в виде файла размером 100гб который лежит на обычном nvme форматированном в ext4 настройки зфс следущие: zfs set sync=disabled containers zfs set atime=off containers zfs set compression=lz4 containers zfs set dedup=on containers zfs set primarycache=none containers zfs set secondarycache=none containers zfs set recordsize=128K containers виртуальные машины использующеие датасет выключены, скраб не запущен. (да и в любом случае он должен был завершиться за несколько секунд) а у меня константно жрёт тбв... чем может быть вызывано такое поведение? куда копнуть?

Тут вот меня учили, достаточно ее отключить, и все само пройдёт без пересоздания пула

Всё равно спасибо!

Ребята всем привет. у меня в зфс постоянно пишет со скоростью 600мб/сек не прекращаясь ни на секунду заметно отжирают проца 30% процессы txg_sync txg_sync kthreadd и еще много маленьких процессов z_wr_iss по 6-8% жрут у меня виртуальный пул в виде файла размером 100гб который лежит на обычном nvme форматированном в ext4 настройки зфс следущие: zfs set sync=disabled containers zfs set atime=off containers zfs set compression=lz4 containers zfs set dedup=on containers zfs set primarycache=none containers zfs set secondarycache=none containers zfs set recordsize=128K containers виртуальные машины использующеие датасет выключены, скраб не запущен. (да и в любом случае он должен был завершиться за несколько секунд) а у меня константно жрёт тбв... чем может быть вызывано такое поведение? куда копнуть?

удалять со скоростью 600мб сек там просто нечего

и через микрот виртуальный же через впн выходит в сетьб

никаких артефактов пока не наблюдаю. единственное изменение отключил дедупликацию

Микроты часто заражаются какой-то фигней. Я их поснимал у клиентов, обновления прошивки помогали на год-два, потом по новый их ломали.

О.... Это 100% была она! Т.к я её активно использую, могу сказать, что без deup vdev на каком-нибудь optane, лучше не связываться. Или только если точно знаете что делаете. Если на пул падает 100 мегабит сжатых данных, то на dedup vdev может падать 2-5 гигабит и периодически будут вот такие адские запилы, в основном после удалений больших. При этом ресурс ssd быстро расходуется.

Микроты часто заражаются какой-то фигней. Я их поснимал у клиентов, обновления прошивки помогали на год-два, потом по новый их ломали.

Микроты часто заражаются какой-то фигней. Я их поснимал у клиентов, обновления прошивки помогали на год-два, потом по новый их ломали.

А какие там требования к пропускной? OpenBSD бы не справилась, чтобы установить и забыть?

Ее обновлять не надо?

Вроде бы эксплойтов почти нет?

Вроде бы эксплойтов почти нет?

Без фаервола домашнюю бсдю в интернет без обновлений выставишь?

а чего это их нету, везде есть а в openbsd нету?

Нет конечно, но ведь линь ломают и по открытым портам.

А кто-нибудь знает в телеге годные чаты по IT безопасности?

в годные чаты без приглашения вы не попадёте

Можно даже сразу PO в тех чатиках :) хотя бы для ознакомления с ключевыми словами современности.

5) OpenBSD в дефолтной настройке уже настроена очень секурно, чтобы даже ламеры не облажались.

а может сразу в osint? тогда может быть хоть в какой нибудь попадешь, надо всего лишь маленько или не очень подумать головой

у микротика все тоже самое. просто ты не знаешь значение слова "ламер"

у микротика все тоже самое. просто ты не знаешь значение слова "ламер"

Это: https://ru.wikipedia.org/wiki/%D0%9B%D0%B0%D0%BC%D0%B5%D1%80 неправильное определение значения?

А вот ламер, это чайник, который считает себя профи и активно настраивает все куда руки достанут

Интересная максимально открытая прошивка для относительно обычных роутеров и тоже на базе Linux: https://en.wikipedia.org/wiki/LibreCMC

https://www.opennet.ru/openforum/vsluhforumID3/124698.html#88 Пишут, что SSD не подвержены фрагментации. Однако мне кажется, что после send -R | receive датасета в новый пул даже на Samsung EVO ZFS работает заметно веселее. Это проявляется даже при повторном send | receive который выдает поток данных с равномерной скоростью в десятки и сотни Mbs в зависимости от пропускной контроллера, а не рывками и приседаниями ниже 1Mbs вплоть до около 100 Kbs как до дефрагментации.

дефрагментация? ссд? и zfs? чего?

На сильно фрагментированном пуле фрагментация IMHO становится заметной даже на SSD.

и как вы его дефрагментируете?

вы вообще в курсе что CoW фрагментирована by desing

Видимо суть в степени фрагментации? Ее можно оценить даже объективно, а не народными средствами, например так: zpool list

и эта команда не покажет степень фрагментации данных, сюрприз

Так, предположим есть HDD, в котором первая половина содержит данные, которые прорежены наполовину в результате удаления. То есть, занято 25% объёма диска. Читаем их и пишем в тот же диск через send|recv. Попадут данные в новые блоки (вторая=пустая половина диска), или будут писаться в пустые блоки первой половины? Во втором случае никакой дефрагментацией не пахнет

Но хоть что-то покажет, и после send | receive на новом пуле покажет намного меньше и новый send | receive с нового пула будет работать намного веселее, это ли не показатель?

ну а в случае SSD ещё лучше - если какие-то блоки когда-то были <пере>записаны, они будут использоваться не в первую очередь. Там вообще никак не сможешь гарантировать последовательность записи

и это повлияет только на запись, жизнь боль

А почему тогда send > /dev/null вычитывает до дефрагментации дольше, проседания до 1Mbs и ниже?

А почему тогда send > /dev/null вычитывает до дефрагментации дольше, проседания до 1Mbs и ниже?

вычитывает до дефрагментации а по нормальному можно?

может быть у тебя /dev/null фрагментирован сильно?

ну а в случае SSD ещё лучше - если какие-то блоки когда-то были <пере>записаны, они будут использоваться не в первую очередь. Там вообще никак не сможешь гарантировать последовательность записи

Подскажите пож такой вопрос. Допустим создали пул с одним raidz-2 из 12 дисков. Забили его на половину данными. Добавляем в этот же пул еще один raidz-2 на 12 дисков. Как себя поведет запсиь новых данных? Новые данные будут писаться на свободный пул или как то размазыватся?

Микроты часто заражаются какой-то фигней. Я их поснимал у клиентов, обновления прошивки помогали на год-два, потом по новый их ломали.

Вот. А микротики выставляют, а потом вон товарищи ноют что их ломают. Проблема микротика, в низком пороге в хождения. Вон в цисках експлойты тоже есть. Но там идиотов меньше

Интересует Linux lockdown=confidentiality и т.п.

а может сразу в osint? тогда может быть хоть в какой нибудь попадешь, надо всего лишь маленько или не очень подумать головой

При принудительном разовом триме пула будет "записано" данных объёмом как сумма всех устройств в пуле. Это виртуальная запись, на самом деле идет предача информации об освобожденных блоках. Ресурс ssd не сжирается.

Видимо суть в степени фрагментации? Ее можно оценить даже объективно, а не народными средствами, например так: zpool list

скорее бы уже поддержку filefrag запилили. а то в бтрфс оно давно

а ваще страшно, даже в ехт4 впилили дефраг, а тут...

или это совсем другая сущность для зфс?