запустите для интереса sar 1 Какое у вас значение iowait?

Не понял вот это >Были случаи, когда поднятие логов занимало крайне много времени

т е смотреть там, где это происходит, а не на голой железке

т е грубо 20 Тб/мес это примерно 8-10 Мб/сек ну возмем с потолка оверхэд 40% - получаем поток где-то 20 Мб/сек теперь pcap пишет в логи локально далее arktime читает и парсит эти логи и пуляет их в elastic т е читает опять же 20 Мб/сек и эластик пишет 20 Мб/сек имеем грубо 60 Мб/сек постоянной нагрузки если взять просто для проверки dd if=/dev/zero of=test bs=16K count=1024000 будет одна скорость если взять dd if=test of=test2 bs=16K увидим, что скорость упала к этому еще добавим еще одну процедуру записи Я бы сделал так 1 ssd для логов и arktime 2 ssd для горячих данных elastic, который будет их постоянно писать+ шпиндельный диск(и) для холодных индексов и настройка в elastic - hot-warm(cold) взаимодействие между arktime и elastic через 127.0.0.1 отдельный интерфейс для kibana к воркерам elastica Еще бы я посмотрел в сторону кластера elastic хотя бы один мастер и 2 воркера - один постоянно будет писать, второй для отчетов(читает) как-то так

это если все на одном компе крутится либо вынести еластик на отдельный хост(хосты)

https://www.youtube.com/watch?v=8MyzPR_CCa0 вот тут они где-то 16 мин как раз говорят про эластик - если данных много, то кластер и настраивать/тестировать перед тем, как в прод пускать

вообще есть адекватные копрпуса в офис для 8+ дисков?

Node 804

Node 804

нет в продажах((

нет в продажах((

Тогда либо 2u корпус, и делать шумоизоляцию или же https://youtube.com/playlist?list=PLkt_cQxT0oUlHJiV0vZhXkl6Tq2_Psn3f

Тогда либо 2u корпус, и делать шумоизоляцию или же https://youtube.com/playlist?list=PLkt_cQxT0oUlHJiV0vZhXkl6Tq2_Psn3f

с 2U решения есть уе...е))) https://www.regard.ru/catalog/tovar331774.htm

Охлаждение по сравнению с микрой в жва раза минимум

в одних условиях микра сильно холоднее

шума никакого

кулера можнео сразу штатные выкидывать)

кулера можнео сразу штатные выкидывать)

Ну я тут не скажу, в свое время взял node 804 доволен

Upgrade ZFS версии , с той что была в ubuntu 18.04 ( 0.7.5) на 2.0.X - есть подводные камни ? Массив большой .

Лучше протестировать перед процедурой миграции.

а как протестировать?

Поднять в виртуалке исходный набор софта, набить данными, после обновиться и проверить скрабом и проверкой доступности например

Можно ещё проверить повышение версий пула и повышение самой зфс, если таковое там было

там у меня 4 пула по 13 дисков с raid-z3

Можно набить хоть дисками по 1гб

кстати, ещё один вопрос, сейчас в этом массиве сжатие отключено. Я так понимаю, если его включить то новые записи будут сжиматся . Как существующие данные пожать?

Насколько помню, никак. Только перезаписав их. Но запись очень сильно влияет на лейтенси, так что надо взвешивать все за и против.

можно что-то типа: find <pool> -type f|while read fn;do cp $fn /tmp/$(basename $fn) && mv /tmp/$(basename $fn) $fn;done ?

Можно, но это на столько баянистый вопрос, что в гугле были вроде более изящные и оптимальные решения

можно что-то типа: find <pool> -type f|while read fn;do cp $fn /tmp/$(basename $fn) && mv /tmp/$(basename $fn) $fn;done ?

Это провоцирует перенос между разными ФС, что долго. И места может не хватить.

/tmp на SSD, быстрый , а если места не хватит, cp на том файле обломится и большой файл просто останется несжатым. Боюсь, только, очень долго это будет

кстати, ещё один вопрос, сейчас в этом массиве сжатие отключено. Я так понимаю, если его включить то новые записи будут сжиматся . Как существующие данные пожать?

А зачем преаентивно жать?

А зачем преаентивно жать?

Место чтобы освободить

Есть пользователи zfs на ubuntu ? Подскажите репу убунты 18.04. А то 0.7.5 староватая из репы дистра.

Есть пользователи zfs на ubuntu ? Подскажите репу убунты 18.04. А то 0.7.5 староватая из репы дистра.

Можно из proxmox вытянуть наверно

неа

Ну я тут не скажу, в свое время взял node 804 доволен

1STPLAYER DK 14HDD MC - смотрю интересный

1STPLAYER DK 14HDD MC - смотрю интересный

похож на залман за 2к

14HDD? с нормальным обдувом

14HDD? с нормальным обдувом

а, такого там нетути. хотя приколхозить можно. но уже не будет разницы в цене особой )

вообще прикольней с полноценной корзиной, но они как-то совем негуманно стоят

1STPLAYER DK 14HDD MC - смотрю интересный

Чифтеки есть на вторичке. Туда можно 18 дисков (5+5 в корзины hot swap, докупаются отдельно) и 8 внутри

Чифтеки есть на вторичке. Туда можно 18 дисков (5+5 в корзины hot swap, докупаются отдельно) и 8 внутри

я такой новый брал. 10к только корзинка на 5 дисков обошлась.

я такой новый брал. 10к только корзинка на 5 дисков обошлась.

Дорого, имхо, можно азять корзинки как в видео

Есть пользователи zfs на ubuntu ? Подскажите репу убунты 18.04. А то 0.7.5 староватая из репы дистра.

https://launchpad.net/~jonathonf/+archive/ubuntu/zfs

Чифтеки есть на вторичке. Туда можно 18 дисков (5+5 в корзины hot swap, докупаются отдельно) и 8 внутри

да, дома такой валяется один лишний и корзинка на 3 диска в отсеК для винтов. все никак руки продать не дойдут

https://launchpad.net/~jonathonf/+archive/ubuntu/zfs

это ж тот товарищ, который на всех обиделся и закрыл репу ? а потом видимо открыл )

но обдув там получается сильно шумнее, чем мой колхоз на 24 диска

Скрипты для ZFS https://github.com/yurykk22

Здравствуйте пользователи файловой системы из будущего Про такую штуку знаете? zfsbootmenu >ZFSBootMenu is a Dracut module that intends to provide Linux distributions with an experience similar to FreeBSD's bootloader. By taking advantage of ZFS features, it allows a user to have multiple "boot environments" (with different distros, for example), manipulate snapshots before booting, and, for the adventurous user, even bootstrap a system installation via zfs recv. Очень классная штука, стоит как на десктопах, так и на серверах. Можно заснапшотить рут, обновить систему/переконпелировать ядро, ребутнутся и в случае фейла в zfsbootmenu поднимается sshd куда можно подключится удаленно и подебажить

Здравствуйте пользователи файловой системы из будущего Про такую штуку знаете? zfsbootmenu >ZFSBootMenu is a Dracut module that intends to provide Linux distributions with an experience similar to FreeBSD's bootloader. By taking advantage of ZFS features, it allows a user to have multiple "boot environments" (with different distros, for example), manipulate snapshots before booting, and, for the adventurous user, even bootstrap a system installation via zfs recv. Очень классная штука, стоит как на десктопах, так и на серверах. Можно заснапшотить рут, обновить систему/переконпелировать ядро, ребутнутся и в случае фейла в zfsbootmenu поднимается sshd куда можно подключится удаленно и подебажить

ну вообще dracut штука прикольная

выглядит вот так, в гитхабе ищется, если интересны подробности (бот не дает ссылки публиковать)

выглядит вот так, в гитхабе ищется, если интересны подробности (бот не дает ссылки публиковать)

это после груба или вместо груба?

Это после, а может быть и вместо, если uefi

ну uefi не мешает иметь grub :)

мне grub не нравится, давно использую на системах c bios syslinux, а на новых с uefi refind

refind грузит эту штуку, думаю в grub тоже самое может сделать

мне grub не нравится, давно использую на системах c bios syslinux, а на новых с uefi refind

refind может по serial'у ?

Такой функционал мне не нужен, но гугление говорит что может вроде бы:)

Всем доброго, Подскажите пожалста Могу ли я использовать свободное место nvme которые уже в ZFS-e как slog для нового HDD pool-a?

Всем доброго, Подскажите пожалста Могу ли я использовать свободное место nvme которые уже в ZFS-e как slog для нового HDD pool-a?

Если диск в целиком в составе пула то нет

Часть свободного места

Если диск в целиком в составе пула то нет

устанавливал через гуишку proxmox-a

Да, раздел сделайте и добавьте в пул как slog

а правильней сделать раздел на каждой из них и добавить их в зеркало, как это сделать? через команду при создании нового ZFS пула или после его создания?

Мм. Для начала spool status

Что то я поторопился

Мм. Для начала spool status

Ага, тогда норм.

Из Linux shell делайте партицию через parted или fdisk

Потом новые партиции через zpool add log mirror добавляйте в существующий пул

Потом новые партиции через zpool add log mirror добавляйте в существующий пул

понял, благодарю! как раз читаю статью которую Сегрей ссылку на хабр кинул

Потом новые партиции через zpool add log mirror добавляйте в существующий пул

Если у меня 2 HDD 1.8T для бэкапов в основном, мне достаточно log девайса для пула или сделать и l2arc?

Если у меня 2 HDD 1.8T для бэкапов в основном, мне достаточно log девайса для пула или сделать и l2arc?

На кой тебе кеш для бекапа?

На кой тебе кеш для бекапа?

чтобы быстро бекапы раздавать)

На кой тебе кеш для бекапа?

может быть когда-нить добавить ВМку придется 🤷‍♂️

чтобы быстро бекапы раздавать)

Линейно

привык перестраховываться, жиза научила ))

Ребят, не подскажите как клонировать весь пул на новый пул из новых дисков? Ситуация такая, было 2 диска по 1ТБ в зеркале zfs на Freenas. Один вышел из строя. Взял 2 диска по 2ТБ.

Зачем клонить? просто подменять c ребилдом?

Зачем клонить? просто подменять c ребилдом?

Хз, как правильно поступить.

Зачем клонить? просто подменять c ребилдом?

А как подменить?