Олег
Это во всех кастомах так
Arseniy
не порезана а кастомизированна, многое не реализованно, простейшая пометка диска
Да, кстати. И привязать пул по GPT меткам можно только через задницу
Олег
Arseniy
А словить развал массива в случае умертвления диска после перезагрузки, и, как следствие, перетасовки sdc в sdb - тоже не весело
Олег
не знал что такое в freenas осталось, в Linux решили, точнее в ZOL
Олег
Я выбираю Linux, а вы меня пугаете😂
мне для хранилки понравился PBS, и изза присутсвия Prox в сети, но главное zfs root, не знаю чтобы debian\ubuntu с интсаллера такое умели
Олег
ACL на Linux это гемморой всегда, для 10 пользаков проще win 10 ))
Arseniy
К сожалению, не знаю что такое PBS и Prox (знаю только ProxMox), zfs root - эт когда ос хоста тоже на zfs разделе вроде. На ubuntu установил openZFS - и поехали вперёд и с песнями. Пока не могу найти внятного пояснения работы с ACL. Такое ощущение, что статьи по большей части пишутся только для тех, кто уже в теме. Win10 меня не устраивает по объективным причинам) Я инженер-разработчик радиоэлектроники и пишу встраиваемое ПО под микроконтроллеры. С Linux как-нибудь освоюсь. Жаль, что материал для обучения - откровенное гавно. Статей, таких как от @gmelikov - единицы. Все такие умные там пишут, чуть ли не физики-ядерщики) Если после 4 часов изучения с нуля Linux (и часов 10 на поиск нормального материала) мне удалось написать bash-скрипт на управление кулерами от температуры hdd (Я офигел, когда понял, что нет такого ПО готового), то наверное, Я не потерян для этой системы) жаль, что никто не откликнулся на мой пост от 18ч)
Олег
К сожалению, не знаю что такое PBS и Prox (знаю только ProxMox), zfs root - эт когда ос хоста тоже на zfs разделе вроде. На ubuntu установил openZFS - и поехали вперёд и с песнями. Пока не могу найти внятного пояснения работы с ACL. Такое ощущение, что статьи по большей части пишутся только для тех, кто уже в теме. Win10 меня не устраивает по объективным причинам) Я инженер-разработчик радиоэлектроники и пишу встраиваемое ПО под микроконтроллеры. С Linux как-нибудь освоюсь. Жаль, что материал для обучения - откровенное гавно. Статей, таких как от @gmelikov - единицы. Все такие умные там пишут, чуть ли не физики-ядерщики) Если после 4 часов изучения с нуля Linux (и часов 10 на поиск нормального материала) мне удалось написать bash-скрипт на управление кулерами от температуры hdd (Я офигел, когда понял, что нет такого ПО готового), то наверное, Я не потерян для этой системы) жаль, что никто не откликнулся на мой пост от 18ч)
многий нестандарт пишется костылями в Linux, а вы хотите не стандарт по сути. ProxMox = Prox, PBS, бекапилка отдельно ставится, полноценный дебиан с дополнениями. zfs root - это когда вы делаете RAID1 ZFS на /, ставитье на ZFS свою систему.
Олег
Для zfs порядок дисков и их буквы не важны
С какого-то там релизиза ZOL!
Arseniy
Для zfs порядок дисков и их буквы не важны
У меня в тестовой сборке слетело. Затем нагуглил статью про GPT метки, чтоб такого не происходило. Спасибо, буду разбираться в чем дело
Arseniy
многий нестандарт пишется костылями в Linux, а вы хотите не стандарт по сути. ProxMox = Prox, PBS, бекапилка отдельно ставится, полноценный дебиан с дополнениями. zfs root - это когда вы делаете RAID1 ZFS на /, ставитье на ZFS свою систему.
Вот если б все и сразу так писали, Я думаю, процент аудитории, которой не понятно ничерта, снижался бы в геометрической прогрессии, спасибо большое)
Олег
По ACL такой мрак ибо он прошловековой, не сылшал чтобы его переписывали
George
пул не импортнётся только если недостаточно дисков по избыточности, либо он их по какой-то причине не видит
George
С какого-то там релизиза ZOL!
если знаете с какого - было бы интересно посмотреть. Насколько я знаю - внутри пула нет мест где пути до дисков хранятся, он по мете в уберблоке или в его районе по guid пула собирает и инфе об vdevs, но в них нет емнип путей, опять же
Олег
пул не импортнётся только если недостаточно дисков по избыточности, либо он их по какой-то причине не видит
импортируется возможно, уже не помню, но при загрузке фиг, пока закончим с этим всем чтобы не флудить, перешли в личку с автором
George
У меня в тестовой сборке слетело. Затем нагуглил статью про GPT метки, чтоб такого не происходило. Спасибо, буду разбираться в чем дело
ну и проще с путями/буквами $ ls -la /dev/disk/by-id/ total 0 drwxr-xr-x 2 root root 200 Nov 6 18:38 . drwxr-xr-x 8 root root 160 Nov 6 18:38 .. lrwxrwxrwx 1 root root 13 Nov 6 18:38 nvme-eui.0000000001000000e4d25c44871a5501 -> ../../nvme0n1 id диска обычно не меняется, просто на него указывайте при создании
George
на эту тему есть большой пункт в FAQ https://openzfs.github.io/openzfs-docs/Project%20and%20Community/FAQ.html#selecting-dev-names-when-creating-a-pool-linux
George
К сожалению, не знаю что такое PBS и Prox (знаю только ProxMox), zfs root - эт когда ос хоста тоже на zfs разделе вроде. На ubuntu установил openZFS - и поехали вперёд и с песнями. Пока не могу найти внятного пояснения работы с ACL. Такое ощущение, что статьи по большей части пишутся только для тех, кто уже в теме. Win10 меня не устраивает по объективным причинам) Я инженер-разработчик радиоэлектроники и пишу встраиваемое ПО под микроконтроллеры. С Linux как-нибудь освоюсь. Жаль, что материал для обучения - откровенное гавно. Статей, таких как от @gmelikov - единицы. Все такие умные там пишут, чуть ли не физики-ядерщики) Если после 4 часов изучения с нуля Linux (и часов 10 на поиск нормального материала) мне удалось написать bash-скрипт на управление кулерами от температуры hdd (Я офигел, когда понял, что нет такого ПО готового), то наверное, Я не потерян для этой системы) жаль, что никто не откликнулся на мой пост от 18ч)
продублирую кстати, что если у кого-то есть пожелания по доке на https://openzfs.github.io/openzfs-docs/ - я её мейнтейнер, с удовольствием приму тикеты/пожелания/пулл реквесты :)
Сергей
продублирую кстати, что если у кого-то есть пожелания по доке на https://openzfs.github.io/openzfs-docs/ - я её мейнтейнер, с удовольствием приму тикеты/пожелания/пулл реквесты :)
https://openzfs.github.io/openzfs-docs/Performance%20and%20Tuning/Module%20Parameters.html#zfs-module-parameters вот тут части параметров уже нет в опензфсе. например вот этого cat /sys/module/zfs/parameters/zfs_scan_idle cat: /sys/module/zfs/parameters/zfs_scan_idle: No such file or directory
George
пока если есть желание - велкам PRы на указание версий для таких параметров, яро проплюсую и волью
Lone
К сожалению, не знаю что такое PBS и Prox (знаю только ProxMox), zfs root - эт когда ос хоста тоже на zfs разделе вроде. На ubuntu установил openZFS - и поехали вперёд и с песнями. Пока не могу найти внятного пояснения работы с ACL. Такое ощущение, что статьи по большей части пишутся только для тех, кто уже в теме. Win10 меня не устраивает по объективным причинам) Я инженер-разработчик радиоэлектроники и пишу встраиваемое ПО под микроконтроллеры. С Linux как-нибудь освоюсь. Жаль, что материал для обучения - откровенное гавно. Статей, таких как от @gmelikov - единицы. Все такие умные там пишут, чуть ли не физики-ядерщики) Если после 4 часов изучения с нуля Linux (и часов 10 на поиск нормального материала) мне удалось написать bash-скрипт на управление кулерами от температуры hdd (Я офигел, когда понял, что нет такого ПО готового), то наверное, Я не потерян для этой системы) жаль, что никто не откликнулся на мой пост от 18ч)
> Я офигел, когда понял, что нет такого ПО готового Есть масса подобного готового. Например, вот такое: impi-fan.
Arseniy
Увы, да. IPMI у меня нет
Сергей
К сожалению, не знаю что такое PBS и Prox (знаю только ProxMox), zfs root - эт когда ос хоста тоже на zfs разделе вроде. На ubuntu установил openZFS - и поехали вперёд и с песнями. Пока не могу найти внятного пояснения работы с ACL. Такое ощущение, что статьи по большей части пишутся только для тех, кто уже в теме. Win10 меня не устраивает по объективным причинам) Я инженер-разработчик радиоэлектроники и пишу встраиваемое ПО под микроконтроллеры. С Linux как-нибудь освоюсь. Жаль, что материал для обучения - откровенное гавно. Статей, таких как от @gmelikov - единицы. Все такие умные там пишут, чуть ли не физики-ядерщики) Если после 4 часов изучения с нуля Linux (и часов 10 на поиск нормального материала) мне удалось написать bash-скрипт на управление кулерами от температуры hdd (Я офигел, когда понял, что нет такого ПО готового), то наверное, Я не потерян для этой системы) жаль, что никто не откликнулся на мой пост от 18ч)
https://github.com/desbma/hddfancontrol первая ссылка в Гугле. Не оно?
Arseniy
https://github.com/desbma/hddfancontrol первая ссылка в Гугле. Не оно?
Похоже, что то, что надо. Не находил ранее, проверим работу
Олег
Можно ссылку какую что на что шьют? По контроллерам
к примеру мамка с 3008 чипом, отсюда находишь 3008 it mode прошивку и шьешь
Lone
Можно ссылку какую что на что шьют? По контроллерам
Если читаете по-английски, то попробуйте посмотреть на вот этом форуме. Там всё есть. Там обитают англо-говорящие самоделкины.
riv
Да, с патчами понятно. Просто перед началом боевого использования, хочется понять, где можно обосраться) и соломки подстелить по-возможности) Сейчас тренируюсь "на кошках" по порче информации и восстановлению, чтоб в случае ЧП и не рвать волосы)
Обосраться можно тут: - если есть writeback в контроллере - это опасно, используйте тупой hba - если включен writeback в дисках, надо убедится, что диск действительно не теряят содержимое буффера при неодиданном отключении. HP рекомендует отключать кэш записи диисков и их контролоеры так и делают с настройками по умолчанию - не используйте бытовые ssd, только промышленные с защитой от потери данных при отключении питания. У intel наличие этой защииты или отсутствие показано в спецификациях. - исполтзуйте надежное железо и озу с ecc. Дисковые контролоеоы не должны подглючивать. - всегда создавайте бекапы, в случае с zfs удобно полтзоваться инкрементальной пересылкой снимков с помощью syncoid. Если вам надо защитить снимок от удаления, на него можно поставить "hold", без снятия которого снимок не удалится. - zfs может работать даже если данные повреждены на всех дисках в зеркале, но деыекты расположены по разным lba-адресам! - ознакомьтесь с теорией и внимательно выбирайте ashift, volblocksize, recordsize и количество дисков в raidz-x. Лучшая производительность получается с mirror, для большей надёжности можно использовать triple mirror! - страрайтесь без крайней необходимости не использовать raid-z1, лучший вариант raid-z2. - не используйте подключение дисков через usb. Убить zfs сложно.
Vladislav
Еще не забывать, что большинство БИОСов и PXE 32 битные. и не надо строить загрузочный пул ZFS на больших дисках, ибо система может не загрузиться
Олег
Обосраться можно тут: - если есть writeback в контроллере - это опасно, используйте тупой hba - если включен writeback в дисках, надо убедится, что диск действительно не теряят содержимое буффера при неодиданном отключении. HP рекомендует отключать кэш записи диисков и их контролоеры так и делают с настройками по умолчанию - не используйте бытовые ssd, только промышленные с защитой от потери данных при отключении питания. У intel наличие этой защииты или отсутствие показано в спецификациях. - исполтзуйте надежное железо и озу с ecc. Дисковые контролоеоы не должны подглючивать. - всегда создавайте бекапы, в случае с zfs удобно полтзоваться инкрементальной пересылкой снимков с помощью syncoid. Если вам надо защитить снимок от удаления, на него можно поставить "hold", без снятия которого снимок не удалится. - zfs может работать даже если данные повреждены на всех дисках в зеркале, но деыекты расположены по разным lba-адресам! - ознакомьтесь с теорией и внимательно выбирайте ashift, volblocksize, recordsize и количество дисков в raidz-x. Лучшая производительность получается с mirror, для большей надёжности можно использовать triple mirror! - страрайтесь без крайней необходимости не использовать raid-z1, лучший вариант raid-z2. - не используйте подключение дисков через usb. Убить zfs сложно.
Все это реализуется простым скриптом, который в полуавтомате опрашивает и выбирает параметры, почему такого не сделано?
riv
Все это реализуется простым скриптом, который в полуавтомате опрашивает и выбирает параметры, почему такого не сделано?
По тому, что решение должен принимать администратор. При отключении внутренего кэша диска, сильно падает iops на запись. И хорошие диски, всеже не теряют кэш, записывая его содержимое в специальную область используя энергию конденсаторов или торможения шпиндиля. Контроллер в hba-режим скриптом перевести не возможно, иногда их перепрошивать приходится.
Sergey
Похоже, что то, что надо. Не находил ранее, проверим работу
Полно такого софта. https://wiki.archlinux.org/title/fan_speed_control
Arseniy
Обосраться можно тут: - если есть writeback в контроллере - это опасно, используйте тупой hba - если включен writeback в дисках, надо убедится, что диск действительно не теряят содержимое буффера при неодиданном отключении. HP рекомендует отключать кэш записи диисков и их контролоеры так и делают с настройками по умолчанию - не используйте бытовые ssd, только промышленные с защитой от потери данных при отключении питания. У intel наличие этой защииты или отсутствие показано в спецификациях. - исполтзуйте надежное железо и озу с ecc. Дисковые контролоеоы не должны подглючивать. - всегда создавайте бекапы, в случае с zfs удобно полтзоваться инкрементальной пересылкой снимков с помощью syncoid. Если вам надо защитить снимок от удаления, на него можно поставить "hold", без снятия которого снимок не удалится. - zfs может работать даже если данные повреждены на всех дисках в зеркале, но деыекты расположены по разным lba-адресам! - ознакомьтесь с теорией и внимательно выбирайте ashift, volblocksize, recordsize и количество дисков в raidz-x. Лучшая производительность получается с mirror, для большей надёжности можно использовать triple mirror! - страрайтесь без крайней необходимости не использовать raid-z1, лучший вариант raid-z2. - не используйте подключение дисков через usb. Убить zfs сложно.
В целом, сложно описали для моих знаний. Буду курить , некоторые термины мне неизвестны. По дискам и надёжности. У меня 64Гб ОЗУ ЕСС, диски корпоративного сегмента (IronWolf "типо" для nas 6Tb + Toshiba MG04 планируется к покупке, как только расставлю все точки над i). Все диски sata, аппаратного raid нет - подключено к матери. Плюс есть ИБП, от которого сервер при средней нагрузке проработает 18+ минут. Планирую настроить сервак на выключение после отсутствия питания в течение 5 минут. Надо ли заморачиваться с настройками контроллеров? И да, Тошиба имеет алгоритм записи данных в случае сбоя питания за счёт энергии остановки шпинделя (не помню как называется)
Юрий
Всем привет! Подскажите оптимальную разбивку для пула хранилища (или где почитать). Может примеры какие, вывод zfs list и т.д.
Arseniy
вот это подготовка) у меня хранилка на 3 сервера, пол петабайта и миллиард файлов, я так не заморачивался)
Я если что то делаю, не ищу компромиссов. Разобрался с функционалом ЕСС. Как инженер -разработчик электроники, Я предельно понимаю важность этой аппаратной поддержки) диски можно взять даже бытовые, но память должна быть есс. Мнения могут быть разные - но я работаю с микросхемами памяти и знаю что бывает)
Сергей
Я если что то делаю, не ищу компромиссов. Разобрался с функционалом ЕСС. Как инженер -разработчик электроники, Я предельно понимаю важность этой аппаратной поддержки) диски можно взять даже бытовые, но память должна быть есс. Мнения могут быть разные - но я работаю с микросхемами памяти и знаю что бывает)
в зфс как и во всем вокруг есть компромиссы. они всегда есть. и я уверен, что в вашем случае каждые 5 минут реплику на другой сервер снэпшотом было бы целесообразней с любой тз, чем ковыряться во всем этом вот
Vladislav
Олег
По тому, что решение должен принимать администратор. При отключении внутренего кэша диска, сильно падает iops на запись. И хорошие диски, всеже не теряют кэш, записывая его содержимое в специальную область используя энергию конденсаторов или торможения шпиндиля. Контроллер в hba-режим скриптом перевести не возможно, иногда их перепрошивать приходится.
Админиатратор должен хотя бы знать это, а не выискивать среди мильенов другого, как минимум файл настроечный в котором даны четкие комменты и указаны направления мыслей нужны. идея как видите как раз в этом. Уровень подготовки админов разный и далеко не все инженеры схд
central
Зачем для домашнего сервера тратить сотни часов на изучение?
Dmitry
Зачем для домашнего сервера тратить сотни часов на изучение?
Кто не хочет учиться - тому проще облако, которые держат те, кто хочет.
central
Кто не хочет учиться - тому проще облако, которые держат те, кто хочет.
Кажется мы уже прошли этап когда мы верили что создающие такие сервисы реально специалисты и в этом шарят
Dmitry
Кажется мы уже прошли этап когда мы верили что создающие такие сервисы реально специалисты и в этом шарят
А вера тут не при чём. Специалисты "да чо тут, пара кликов и всё в ажуре" можно встретить где угодно, отсюда и факапы крупных сервисов всё чаще происходящие.
Dmitry
Некоторые и бекапов не имеют годами 😂
Олег
Зачем для домашнего сервера тратить сотни часов на изучение?
Зачем сотни, когда все в одном файле предусмотреть можно и потом скрипт настройки?
Vladislav
У каждого разные workflow
Arseniy
Зачем для домашнего сервера тратить сотни часов на изучение?
Тут вопрос вот какой. Любой инженер себя уважающий, обязательно разберётся детально в том, что он планирует использовать
Vladislav
У любого объекта есть целесообразность изучения
Arseniy
Есть пара мелких вопросов, но уверен, их можно быстро решить)
central
В целом, смогу
Но не будешь
Arseniy
Vladislav
У любого объекта есть целесообразность изучения
И тратить больше 20 часов на объект, который будет автономно использоваться не особо целесообразно. Если что-то случиться, то через год уже не вспомнишь, а о чём была речь
central
А зачем?
Вот и ответ на вопрос про обязательно надо изучить досконально Zfs
central
99.9 вещей которые мы используем представляют для нас черный ящик
Arseniy
99.9 вещей которые мы используем представляют для нас черный ящик
Для вас - это для кого?) Можно уточнить аудиторию, о которой идёт речь?
Vladislav
вот это подготовка) у меня хранилка на 3 сервера, пол петабайта и миллиард файлов, я так не заморачивался)
224 виртуалки, 30ТБ места. Дефолтный TrueNAS и 4 часа гугления про iSER на TrueNAS (чтобы выяснить, что он выпилен из сборки freebsd под TrueNAS)
Arseniy
И тратить больше 20 часов на объект, который будет автономно использоваться не особо целесообразно. Если что-то случиться, то через год уже не вспомнишь, а о чём была речь
Во-первых, мне действительно это интересно. Во вторых, хочу реально понимать какие возможные отказы могут возникнуть в будущем (конечно, не все, но хотя бы основные и популярные, часто встречающиеся) и как устранить их последствия) Расширение кругозора также никто не отменяет. Проанализировав готовое техническое решение, возможно изменить концепцию или подход к собственному видению проблемы, неважно какого она рода)
Vladislav
Так я и говорю. Если отказ возникнет - Вы уже и не вспомните о чём шла речь
Arseniy
Зря вы так думаете) да, шанс такое есть, но на подкорке мозга оно отложился в плане того, хотя бы в каком направлении искать)
Vladislav
Бывало, проходил с VMware. Спустя полгода я всё равно полез в гугл, чтобы понять, а почему диск не расширяется, только чтобы наткнуться на это:
Vladislav
Зря вы так думаете) да, шанс такое есть, но на подкорке мозга оно отложился в плане того, хотя бы в каком направлении искать)
На это натолкнет наименование ошибки, траблшут остаётся алгоритмичным процессом, а не заучиванием
Arseniy
Да я ничего и не заучиваю) вопрос не в том, чтобы что то вызубрить, а в том, чтобы понять, "почувствовать" механику процесса, типовые подходы в решению проблем, вот и всё)
Сергей
Да я ничего и не заучиваю) вопрос не в том, чтобы что то вызубрить, а в том, чтобы понять, "почувствовать" механику процесса, типовые подходы в решению проблем, вот и всё)
можно спросить у чата, кто из них сталкивался с типовой ошибкой восстановления данных (ссылку, которую вы кидали). уверен, что наскребется хорошо если несколько человек. преждевременной оптимизацией вы занимаетесь) вот так это называется. но дело ваше :)
Сергей
я за 3 года с зфс не сталкивался ни с чем, кроме замены дисков отвалившихся из рейда. хотя электричество у меня бьют раз в месяц стабильно. ну тюнинг памяти там еще, таймаутов и прочего под нагрузку. типовые ошибки легко обходятся чтением мануала и лучших практик. остальное все по ходу возникновения
Arseniy
Я с вами частично соглашусь. Но хотелось бы в случае некоего коллапса сперва использовать тренировочный опыт и имеющиеся знания (хоть мало мальские), чем сразу лезть в чат "а чё делать, мужики?")