Офтоп — съезжать с темы. Оперативно отлавливать проблемы ЗФС на серваках — отнюдь не офтоп. И это один из вариантов, по которому я ищу решение, а не тех, кто будет отговаривать и агитировать за жабер, априори аргументированно отвергаемый в исходном сообщении.

внимательно читай табличку.

На что именно в ней ты пытаешься открыть мне глаза?

оффтоп @neurox @gmelikov

О, ещё и ябедничать побежал. Зачот! И чего я не додумался стукнуться к админам, что некто, вместо ответа на вопрос, разводит флуд по теме, в вопросе загодя отвергнутой...

Кто-нибудь пробовал слать системные мессаги по токсу? Ищу защищённый вариант отправки системных сообщений (типа результата быкапов, каких-то сбоев) в мессенджер: 1) без того, чтоб развёртывать и админить спецсервис, писать в который будет... никто кроме аварийных скриптов на серваках, а читать — пара админов (то есть, жабер — фтопку); 2) не сервис, разруливаемый кем-то левым (так что телега/скайп и иже с ними тоже идут лесом). При таком раскладе напрашивается консольный toxic или токс-бот с отправкой сообщений в группу. Вот только не пробовал его и даже просто початиться по нему не доводилось. И ничего внятного по теме не нагугливается. Есть съевшие собаку на такой задаче?

Я не спец в этом вопросе, но видел реализацию через телеграм-бота)

Я не спец в этом вопросе, но видел реализацию через телеграм-бота)

Самопроцитируюсь: 2) не сервис, разруливаемый кем-то левым (так что телега/скайп и иже с ними тоже идут лесом). К тому же число бесплатных чатов/каналов в телеге конечно и быстро исчерпывается. Я уже несколько своих пораздавал "в хорошие руки", чтоб завести новые, на момент более нужные.

Пардон, не выспался, не углядел. Вариант с поднятием почтового сервиса и отправкой почты тоже не канает?

Пардон, не выспался, не углядел. Вариант с поднятием почтового сервиса и отправкой почты тоже не канает?

Почта для более вдумчивого отсроченного анализа хороша. От мониторингов всяких и прочего не спешного.

Пользовался Токсом чисто как чатом. Прям тормоз)) Сообщения ходят медленно, а уж картинка или видео, писец. Но это скорее всего частный случай.

Пользовался Токсом чисто как чатом. Прям тормоз)) Сообщения ходят медленно, а уж картинка или видео, писец. Но это скорее всего частный случай.

Речь ведь идёт о системных сообщениях, а не о ВКС — о чём уже неоднократно сказано.

зачем в чате про zfs мониторинг не понятно чего? @neurox

Например, для быстрой реакции на траблы в зрейде или с виртуалками/контейнерами в проксмоксе, установленном на зфс.

Впрочем, уже ясно, что путного е2ли кто подскажет.

твой слог вызывает рвотный рефлекс. простите, пожалуйста

О, уже переход на личности — на почве бедности лексикона у блюющего, не иначе... :)

А, да: прости, пожалуйста — если тебе от этого легче.

Кто-нибудь пробовал слать системные мессаги по токсу? Ищу защищённый вариант отправки системных сообщений (типа результата быкапов, каких-то сбоев) в мессенджер: 1) без того, чтоб развёртывать и админить спецсервис, писать в который будет... никто кроме аварийных скриптов на серваках, а читать — пара админов (то есть, жабер — фтопку); 2) не сервис, разруливаемый кем-то левым (так что телега/скайп и иже с ними тоже идут лесом). При таком раскладе напрашивается консольный toxic или токс-бот с отправкой сообщений в группу. Вот только не пробовал его и даже просто початиться по нему не доводилось. И ничего внятного по теме не нагугливается. Есть съевшие собаку на такой задаче?

Токс штука нестабильная.

И токс-бот?

И токс-бот?

Бай дизайн. Лучше во флуд с этим, тут действительно не про алертинги

Кто-нибудь пробовал слать системные мессаги по токсу? Ищу защищённый вариант отправки системных сообщений (типа результата быкапов, каких-то сбоев) в мессенджер: 1) без того, чтоб развёртывать и админить спецсервис, писать в который будет... никто кроме аварийных скриптов на серваках, а читать — пара админов (то есть, жабер — фтопку); 2) не сервис, разруливаемый кем-то левым (так что телега/скайп и иже с ними тоже идут лесом). При таком раскладе напрашивается консольный toxic или токс-бот с отправкой сообщений в группу. Вот только не пробовал его и даже просто початиться по нему не доводилось. И ничего внятного по теме не нагугливается. Есть съевшие собаку на такой задаче?

Чем не устроил просто append only текстовый файл?

Бай дизайн. Лучше во флуд с этим, тут действительно не про алертинги

Да уже всё. По другим местам единомышленников в этом вопросе ищу. :)

Да уже всё. По другим местам единомышленников в этом вопросе ищу. :)

Желательно там и оставайтесь. Ваш вопрос имеет отношения к ZFS ещё меньше чем обсуждение 1С.

Всем привет. Может не по теме, но: Какую файловую систему используете в PVE? Какой raid? В краце - почему? Я тут заморочился - ставлю по порядку 🤦‍♂ тестирую - сношу, но всё равно получается конь в вакууме. С учётом того что можно использовать железный контроллер (что как бы не поддерживается)), можно не использовать. Можно на железном создать допустим каждый винт в рэйд0 , а при установке PVE  создать программный рэйд10(извращаюсь)). Короче  - есть p420i, и 5 ссд по 512гб. Идея была сделать железный рэйд10+ Спара, а поверх PVE zfs raid0 или btrfs raid0. Но как то скорости не впечатляют. Решил спросить может кто копал уже в эту сторону?

Всем привет. Может не по теме, но: Какую файловую систему используете в PVE? Какой raid? В краце - почему? Я тут заморочился - ставлю по порядку 🤦‍♂ тестирую - сношу, но всё равно получается конь в вакууме. С учётом того что можно использовать железный контроллер (что как бы не поддерживается)), можно не использовать. Можно на железном создать допустим каждый винт в рэйд0 , а при установке PVE  создать программный рэйд10(извращаюсь)). Короче  - есть p420i, и 5 ссд по 512гб. Идея была сделать железный рэйд10+ Спара, а поверх PVE zfs raid0 или btrfs raid0. Но как то скорости не впечатляют. Решил спросить может кто копал уже в эту сторону?

Вижу тебя в чатике прокса комбот забанил. Для входа обязательно нужен логин. Создай его в телеге, потом попроси админа чтоб разбанил.

и да, то что ты предлагаешь дичь дикая от начала и до конца.

)) я не предлагаю, я решил узнать кто что пользует)) Понятно что по идее нужно просто поставить HBA контроллер и поднять zfs10

и да, то что ты предлагаешь дичь дикая от начала и до конца.

окей если у него дичь то мой варик 8 дисков 600Gb SAS 10k через HP H240 HBA собрать в ZFS RAID-Z2 норм вариант? такая конфигурация переживёт выход из строя или замену одного диска?

)) я не предлагаю, я решил узнать кто что пользует)) Понятно что по идее нужно просто поставить HBA контроллер и поднять zfs10

можешь поставить hba - делай zfs. не можешь - ext4 (c lvm). у zfs поверх аппаратного рейда очень много минусов и почти никаких плюсов.

окей если у него дичь то мой варик 8 дисков 600Gb SAS 10k через HP H240 HBA собрать в ZFS RAID-Z2 норм вариант? такая конфигурация переживёт выход из строя или замену одного диска?

raid10 или raidz1 тоже переживет. 10 гораздо быстрее.

и вообще - нормально ли будет переживать такая конфигурация удаление(при наличии достаточного свободного места что бы убрать один диск)/добавление дисков (будет ли перераспределение на новые диски)?

raid10 или raidz1 тоже переживет. 10 гораздо быстрее.

а если к этому воткнуть NVMe SSD на 256гб как кэш?

Полезные ссылки по ZFS Официальная документация ZFS On Linux https://t.me/ru_zfs/41658 ZFS: архитектура, особенности и отличия от других файловых систем https://t.me/ru_zfs/41657 Zpool Best Practices and Caveats https://t.me/ru_zfs/41394 ZFS Storage Design presentation (FreeNAS) https://t.me/ru_zfs/41399 ZFS Best Practices Guide https://efim360.ru/zfs-best-practices-guide/ Configuring Oracle Solaris ZFS for an Oracle Database https://www.oracle.com/technetwork/server-storage/solaris/config-solaris-zfs-wp-167894.pdf PG Phriday: Postgres on ZFS https://www.2ndquadrant.com/en/blog/pg-phriday-postgres-zfs/ Мастерство FreeBSD: ZFS для профессионалов. https://t.me/ru_zfs/41656

Может и это добавить ? https://calomel.org/zfs_raid_speed_capacity.html Чисто гипотетически, и это http://www.bog.pp.ru/work/zfs.html , правда уже частично устарело, но много интересного.

Всем привет. Может не по теме, но: Какую файловую систему используете в PVE? Какой raid? В краце - почему? Я тут заморочился - ставлю по порядку 🤦‍♂ тестирую - сношу, но всё равно получается конь в вакууме. С учётом того что можно использовать железный контроллер (что как бы не поддерживается)), можно не использовать. Можно на железном создать допустим каждый винт в рэйд0 , а при установке PVE  создать программный рэйд10(извращаюсь)). Короче  - есть p420i, и 5 ссд по 512гб. Идея была сделать железный рэйд10+ Спара, а поверх PVE zfs raid0 или btrfs raid0. Но как то скорости не впечатляют. Решил спросить может кто копал уже в эту сторону?

btrfs в топку, если есть аппаратный рейд да еще на батарейке лучше его вместо zfs, если нет железного рейда, zfs raid 10

окей если у него дичь то мой варик 8 дисков 600Gb SAS 10k через HP H240 HBA собрать в ZFS RAID-Z2 норм вариант? такая конфигурация переживёт выход из строя или замену одного диска?

все будет норм, но если решите делать raidz2 то обязательно ссд под лог, даже сас 10к диски (если это шпиндели а не ссд) будут очень задумчивы в таком конфиге, проверено лично, и я даже 6-й рейд не собирал, а делал сразу 60-й т.е. raidz2 в страйпе, но у меня дисков было больше

и вообще - нормально ли будет переживать такая конфигурация удаление(при наличии достаточного свободного места что бы убрать один диск)/добавление дисков (будет ли перераспределение на новые диски)?

проверено на больших массивах дисков (полки от 60 до 100 дисков) в разных конфигурациях - mirror, raid 10, raidz1, raidz2 - все отлично переживает, но рекомендую хоспейр накинуть, но можно и без него

btrfs в топку, если есть аппаратный рейд да еще на батарейке лучше его вместо zfs, если нет железного рейда, zfs raid 10

Чем лучше? От задач зависит внутри одного сервера где мало оперативики ну да лучше в к кластере он бесполезен, апаратник этот

Чем лучше? От задач зависит внутри одного сервера где мало оперативики ну да лучше в к кластере он бесполезен, апаратник этот

если он уже есть, то всем, в остальном дело вкуса, не хотите в проект аппаратный рейд не берите

если он уже есть, то всем, в остальном дело вкуса, не хотите в проект аппаратный рейд не берите

Отлично, только если подумать ничем кроме того что оперативку с экономите и привяжетесь к железке.

Желательно там и оставайтесь. Ваш вопрос имеет отношения к ZFS ещё меньше чем обсуждение 1С.

Без ваших напутствий обойдусь, доброжелательный вы наш.

Отлично, только если подумать ничем кроме того что оперативку с экономите и привяжетесь к железке.

ZFS отличная файловая система (особенно на солярке =)), я ее активно использую, но относительно аппаратного рейда у нее лишь одно преимущество - гибкость. Бесплатной ее не назовешь, за нее придется платить оперативкой и ssd дисками под лог как минимум если крутите шпиндели (а если мало памяти еще и под л2арк, что вообще фигово). Да это может быть дешевле аппаратной железки, но это не бесплатно. В остальном либо сами сравните производительность либо поищите в сети сравнение нормального аппаратного рейда и zfs. В данном конкретном случае у человека уже есть HP 420i, и человек жалуется на производительностью дисковой, в его случае у zfs нет никаких шансов по производительности тягаться с аппараткой. Проще собрать аппаратный рейд (я так понимаю там сервак HP) и получить максимум от дисковой ну потому что он уже есть, а что там еще в том сервере (включая оперативку) я не знаю. Так что я бы не делал поспешных абстрактных выводов что лучше, потому что мой совет раскочегарить аппаратку и вкатать на нее тот же lvm под прокс сработает 100% и выжмет из ссдшек максимум, а предлагать человеку мучать zfs не зная подробностей, акцентируя внимание на том что она во всем лучше аппаратки ну такое себе. Не было бы аппаратки, сказал бы сделать zfs 10-й со спейром и дальше мучаться с оптимизацией.

Lvm на апаратнике эт хорошо, но я немного не о том, главное преимущество это отвязка от контроллера, который купить в рф в ьекущих условиях может быть умножено на ноль

Без ваших напутствий обойдусь, доброжелательный вы наш.

За доброжелательностью Вам сюда. https://t.me/sds_ru/68391

Lvm на апаратнике эт хорошо, но я немного не о том, главное преимущество это отвязка от контроллера, который купить в рф в ьекущих условиях может быть умножено на ноль

Закажите просто с Алика

Lvm на апаратнике эт хорошо, но я немного не о том, главное преимущество это отвязка от контроллера, который купить в рф в ьекущих условиях может быть умножено на ноль

согласен, я на это и указал - гибкость, но у человека он уже есть, да и ну как не купить, разве что там административно по бумагам никак, но блин на хпшные сервера то денег хватило =)

я вот еще не помню как в хпшках этот рейд реализован, давно их не видел, все больше с супермикро да хбашками работаю, но если он на материнке разведен, а не отдельной писиайной платой, то вообще не по шансам, если он сдохнет то он станет самой меньшей проблемой в этом сервере =) но это уже оффтоп

согласен, я на это и указал - гибкость, но у человека он уже есть, да и ну как не купить, разве что там административно по бумагам никак, но блин на хпшные сервера то денег хватило =)

Да про хп старые я смотрел на авито еще поживем, но если что то более свежее уже как бы могут быть проблемы и стоит думать наперед что будет проще достать оперативку и ссд или контроллер

За доброжелательностью Вам сюда. https://t.me/sds_ru/68391

Спасибо, после вас.

Да про хп старые я смотрел на авито еще поживем, но если что то более свежее уже как бы могут быть проблемы и стоит думать наперед что будет проще достать оперативку и ссд или контроллер

HPe хорошая идея, но с ними много мороки, потому что HPe отдельное царство по рейдам. Любой рейд LSI сможет распознать любой другой рейд LSI. Даже если он собран на другом LSI рейде. А вот HPe | LSI не смогут понять друг друга

Последний оффтоп - в свое время у меня в стойке стояло более 30-ти HP Proliant 380 G7+G8, все на аппаратке с батарейкой, крутил я на них и эту аппаратку и ceph и zfs, нет против аппаратки у zfs шансов (про цеф молчу - грусть печать) по производительности (особенно всякие рейд 5,6,50,60), вообще никаких, серваки отработали в стойках 10 лет, не сдох ни один контроллер ни один сервак. Но глюки на парочке раз в пол года интересные ловил (не контроллеры дисков, а то-то странное с оперативой). Все оффтоп закончил. Мой совет - в данном случае есть аппаратка и надо кочегарить ее, нет - крутить что хош (ну разве что не бутерфс на серваке в продакшине под прокс).

root@dimkam:~/zfs# ls *deb kmod-zfs-5.4.0-132-generic_2.1.6-1_amd64.deb kmod-zfs-devel_2.1.6-1_amd64.deb kmod-zfs-devel-5.4.0-132-generic_2.1.6-1_amd64.deb libnvpair3_2.1.6-1_amd64.deb libuutil3_2.1.6-1_amd64.deb libzfs5_2.1.6-1_amd64.deb libzfs5-devel_2.1.6-1_amd64.deb libzpool5_2.1.6-1_amd64.deb python3-pyzfs_2.1.6-1_amd64.deb zfs_2.1.6-1_amd64.deb zfs-dkms_2.1.6-1_amd64.deb zfs-dracut_2.1.6-1_amd64.deb zfs-initramfs_2.1.6-1_amd64.deb zfs-test_2.1.6-1_amd64.deb скомпилировалось вот. что из этого нужно ставить а что не очень?

зачем так, когда можно export DEBIAN_FRONTEND=noninteractive yes | add-apt-repository ppa:jonathonf/zfs apt update && apt install -y zfs-dkms zfsutils-linux reboot ?

Кто нибудь в курсе, ProxMox получает обновления zfs с какой скоростью? В плане, они там что то тестируют, прежде чем обнову вставить, или она сразу прилетает?

со скоростью улитки. В недавно вышедшем новом проксмоксе половина уже устарела. До этого там очень долго был zfs 2.1.4, работающий с заметными нюансами в ряде поз.

Спасибо всем кто откликнулся, поделился мыслями. Выяснил что p420i может в HBA - к своему стыду, как пропустил🙈 Но по итогу решил пока оставить железный рэйд10 со спарой, ну и pve на ext4 lvm. Мои железки: hp 380p g8, p420i на батарейке, кэш 2гб, ram 128gb, ssd 5*512, hdd 2*2tb. Думаю что не использовать железный рэйд при его наличии - грешно)) Буду дальше настраивать))

И да напрягает что если сдохнет контроллер - то просто так подключить к любому компу не получится. Но для этого должен быть отдельный бэкап сервер на который будут сливаться образы ВМ каждую ночь. В случае чего - поднимается PVE - заливаются и восстанавливаются ВМ. Чего к сожалению пока нет)) Сейчас: ССД - под ВМ, ХДД - под бэкапы. Есть отдельный файловый сервер, из которого сделаю бэкап, а файловый перенесу в ВМ на HDD, т.е. как бы поменяю местами. Чтобы минимизировать влияние файлового сервера на остальные ВМ хотя бы в плане сети - прокинуть отдельный сетевой интерфейс (всего 4*1 Гбит интерфейса) на ФС (ВМ). т.е. получится что eth1 - на ФС (ВМ), eth2 на остальные ВМ. Думаю как то так.

Спасибо всем кто откликнулся, поделился мыслями. Выяснил что p420i может в HBA - к своему стыду, как пропустил🙈 Но по итогу решил пока оставить железный рэйд10 со спарой, ну и pve на ext4 lvm. Мои железки: hp 380p g8, p420i на батарейке, кэш 2гб, ram 128gb, ssd 5*512, hdd 2*2tb. Думаю что не использовать железный рэйд при его наличии - грешно)) Буду дальше настраивать))

использовать железный рейд - это: 1. (часто) невозможность получить эти же данные даже при живых дисках на другом таком же железном рейде 2. непредсказуемое кеширование, в том числе записи - при несовпадении "рекордсайза" == потеря данных при кернелпанике, пропадании питания и т.д. Никакие журналы никакой фс поверх не спасут. 3. (часто) частичная или полная неотдача данных смарта реальных дисков При этом на современных чипсетах какого-то преимущества контроллеров по иопсам сейчас уже нет, т.е. они даже в it-mode не имеют смысла, кроме случая, когда штатных портов не хватает.

И да напрягает что если сдохнет контроллер - то просто так подключить к любому компу не получится. Но для этого должен быть отдельный бэкап сервер на который будут сливаться образы ВМ каждую ночь. В случае чего - поднимается PVE - заливаются и восстанавливаются ВМ. Чего к сожалению пока нет)) Сейчас: ССД - под ВМ, ХДД - под бэкапы. Есть отдельный файловый сервер, из которого сделаю бэкап, а файловый перенесу в ВМ на HDD, т.е. как бы поменяю местами. Чтобы минимизировать влияние файлового сервера на остальные ВМ хотя бы в плане сети - прокинуть отдельный сетевой интерфейс (всего 4*1 Гбит интерфейса) на ФС (ВМ). т.е. получится что eth1 - на ФС (ВМ), eth2 на остальные ВМ. Думаю как то так.

не только бекапы, но и скрипты быстрого/автоматического восстановления из, с регулярной проверкой работоспособности и актуальности

а если свитч умеет - можно сделать бонд на несколько портов, кстати.

или lcp с файловым сервером

Спасибо всем кто откликнулся, поделился мыслями. Выяснил что p420i может в HBA - к своему стыду, как пропустил🙈 Но по итогу решил пока оставить железный рэйд10 со спарой, ну и pve на ext4 lvm. Мои железки: hp 380p g8, p420i на батарейке, кэш 2гб, ram 128gb, ssd 5*512, hdd 2*2tb. Думаю что не использовать железный рэйд при его наличии - грешно)) Буду дальше настраивать))

Коротко и по делу: вы правильно думаете.

И да напрягает что если сдохнет контроллер - то просто так подключить к любому компу не получится. Но для этого должен быть отдельный бэкап сервер на который будут сливаться образы ВМ каждую ночь. В случае чего - поднимается PVE - заливаются и восстанавливаются ВМ. Чего к сожалению пока нет)) Сейчас: ССД - под ВМ, ХДД - под бэкапы. Есть отдельный файловый сервер, из которого сделаю бэкап, а файловый перенесу в ВМ на HDD, т.е. как бы поменяю местами. Чтобы минимизировать влияние файлового сервера на остальные ВМ хотя бы в плане сети - прокинуть отдельный сетевой интерфейс (всего 4*1 Гбит интерфейса) на ФС (ВМ). т.е. получится что eth1 - на ФС (ВМ), eth2 на остальные ВМ. Думаю как то так.

Так как хранилище локальное, думайте о резервном сервере как о hot standby и шлите туда реплики продуктивных данных. Благо, нормальная связка софта эт опозволяет. При наличии места можно думать о глубине копии. Это максимум, что можно выжать без кластеризации, HA и приличной СХД в роли shared storage.

Прям сейчас восстанавливается ВМ около 160Гб данных (hard raid10 + PVE ext4 lvm) - около 1,5часа. 😠На том же железе но софт рэйд что zfs что btrfs (даже криво настроенный) было ~ 30мин. 🤔 Где то явно косяк. Буду дальше копать.

а если свитч умеет - можно сделать бонд на несколько портов, кстати.

С учетом кол-ва пользователей думаю даже излишне. Но спс за идею.

использовать железный рейд - это: 1. (часто) невозможность получить эти же данные даже при живых дисках на другом таком же железном рейде 2. непредсказуемое кеширование, в том числе записи - при несовпадении "рекордсайза" == потеря данных при кернелпанике, пропадании питания и т.д. Никакие журналы никакой фс поверх не спасут. 3. (часто) частичная или полная неотдача данных смарта реальных дисков При этом на современных чипсетах какого-то преимущества контроллеров по иопсам сейчас уже нет, т.е. они даже в it-mode не имеют смысла, кроме случая, когда штатных портов не хватает.

Именно. причин почему и начал копать в сторону софт рэйда - достаточно.

Так как хранилище локальное, думайте о резервном сервере как о hot standby и шлите туда реплики продуктивных данных. Благо, нормальная связка софта эт опозволяет. При наличии места можно думать о глубине копии. Это максимум, что можно выжать без кластеризации, HA и приличной СХД в роли shared storage.

Спасибо за идею.

Прям сейчас восстанавливается ВМ около 160Гб данных (hard raid10 + PVE ext4 lvm) - около 1,5часа. 😠На том же железе но софт рэйд что zfs что btrfs (даже криво настроенный) было ~ 30мин. 🤔 Где то явно косяк. Буду дальше копать.

у zfs очень хорошая агрегация транзакций + сжатие.

у zfs очень хорошая агрегация транзакций + сжатие.

По факту в моем случае получается что как минимум при создании/восстановлении бэкапов zfs рэйд быстрее. + снапшоты. Конечно накладные расходы в виде ОЗУ, ну и чёрт с ними - нужна скорость. Похоже эпопея продолжается - завтра в ночь думаю так - p420i в HBA и PVE zfs raid10 + spare. Имеет ли смысл nvme какой нить гигов под 120 чз pci-e переходник поставить под кэш? Не вникал ещё в тему...

По факту в моем случае получается что как минимум при создании/восстановлении бэкапов zfs рэйд быстрее. + снапшоты. Конечно накладные расходы в виде ОЗУ, ну и чёрт с ними - нужна скорость. Похоже эпопея продолжается - завтра в ночь думаю так - p420i в HBA и PVE zfs raid10 + spare. Имеет ли смысл nvme какой нить гигов под 120 чз pci-e переходник поставить под кэш? Не вникал ещё в тему...

нвме - сильно зависит от характера нагрузки.

нвме - сильно зависит от характера нагрузки.

основное - 1с postgresql. Почитаю ещё...

больше памяти имеет больше смысла нвме разве что под slog, или размером больше, чем активная часть данных под l2arc

в случае 1с/постгри лучше бы крутящиеся диски просто выкинуть и поставить один или два в зеркало ссд или нвме. А на крутящиеся диски делать бекапы.

в случае 1с/постгри лучше бы крутящиеся диски просто выкинуть и поставить один или два в зеркало ссд или нвме. А на крутящиеся диски делать бекапы.

по сути так и есть

все будет норм, но если решите делать raidz2 то обязательно ссд под лог, даже сас 10к диски (если это шпиндели а не ссд) будут очень задумчивы в таком конфиге, проверено лично, и я даже 6-й рейд не собирал, а делал сразу 60-й т.е. raidz2 в страйпе, но у меня дисков было больше

У мен тупой вопрос , а что вам ssd под лог дал? Кроме того, что выживает транзакция на массив в случаи откл питания .. только ради этого ?👋спасибо

У мен тупой вопрос , а что вам ssd под лог дал? Кроме того, что выживает транзакция на массив в случаи откл питания .. только ради этого ?👋спасибо

Вопрос не тупой. Не только ради этого. Ссд под лог дает производительность. Например попробуйте на шпинделях сделать raidz2, а потом раздать его по nfs. Без лога на ссд и с логом.

Вопрос не тупой. Не только ради этого. Ссд под лог дает производительность. Например попробуйте на шпинделях сделать raidz2, а потом раздать его по nfs. Без лога на ссд и с логом.

У меня smb и важнее чтение 🤔 был лог - разницы не увидел 🤷🏻‍♂️

Прям сейчас восстанавливается ВМ около 160Гб данных (hard raid10 + PVE ext4 lvm) - около 1,5часа. 😠На том же железе но софт рэйд что zfs что btrfs (даже криво настроенный) было ~ 30мин. 🤔 Где то явно косяк. Буду дальше копать.

А это очень странное поведение. Потому что я гонял на 380-х прокс на zfs и на 420-м и у zfs не было шансов. В нвме не вижу смысла на вашем железе. Как и в л2арк, он бесполещен а иногда вреден имхо. Я бы лучше памяти докинул.

У меня smb и важнее чтение 🤔 был лог - разницы не увидел 🤷🏻‍♂️

Возможно ситуативно. Я говорю из личного опыта на основе проблем которые мне пришлось решать. Мое правило - побольше памяти под арк, нафиг л2арк, ссд под лог на шпиндели, и врубить сжатие.

Возможно ситуативно. Я говорю из личного опыта на основе проблем которые мне пришлось решать. Мое правило - побольше памяти под арк, нафиг л2арк, ссд под лог на шпиндели, и врубить сжатие.

Чем l2 то мешает ? ))) Видео плохо жмется , жутко все медленно становится, памяти на кэширования терабайтов не напасешься, вот и l2 пожирнее u2

Вопрос не тупой. Не только ради этого. Ссд под лог дает производительность. Например попробуйте на шпинделях сделать raidz2, а потом раздать его по nfs. Без лога на ссд и с логом.

Итого, слог какую производительность несёт ? Касаемо записи , судя по описанию 🤔🤷🏻‍♂️

Чем l2 то мешает ? ))) Видео плохо жмется , жутко все медленно становится, памяти на кэширования терабайтов не напасешься, вот и l2 пожирнее u2

Просто ничего мне никогда не давал, а иногда мешал. Проще памяти докинуть. Но опять же, может быть ситуативно.

Просто ничего мне никогда не давал, а иногда мешал. Проще памяти докинуть. Но опять же, может быть ситуативно.

А сколько у вас памяти ?

А сколько у вас памяти ?

Сейчас 512 ГБ на сервер и по 128ГБ арк.