да как то не разобрался потоэму сделал каждый диск в 0
А
Vladislav
Alexandr
т.к. есть еще одна проблема
Alexandr
Alexandr
видимо тоже свзязано
Vladislav
Потому что @LordNicky тогда прав.
ZFS немного сошёл с ума из-за переименования дисков, но HBA не создаст Вам Raid0 на свеже вставленных дисках
Vladislav
Это необходимо сделать через cli из ОС (megacli) или через консоль рейд контроллера
Nikita
сейчас попробую
там уже в /dev найдете свои новые sd* и сделаете "zfs replace zpool OLDNAME NEWNAME", где OLDNAME - id заменяемого диска, а NEWNAME - sd* имя нового. я сам работаю с без guid, но обычно рекомендуют создавать по gtp id пулы, как у вас zpool-12 создан.
Nikita
думаю тогда на выходных переделать в jbod
обратите внимание, что вам при этом всю систему заново придется настраивать, размеченные в raid0 диски вряд ли будут также читаться в режиме jbod. но, если этот режим не на весь контроллер, а на каждый диск в отдельности выставляется, тогда можно по очереди перекинуть и решить вопрос zfs replace-ом.
Alexandr
обратите внимание, что вам при этом всю систему заново придется настраивать, размеченные в raid0 диски вряд ли будут также читаться в режиме jbod. но, если этот режим не на весь контроллер, а на каждый диск в отдельности выставляется, тогда можно по очереди перекинуть и решить вопрос zfs replace-ом.
Да я понимаю что предстоят делать
Alexandr
В общем спасибо за помощь и советы по результатам отпишу
al
Доброго времени! Хочу собрать NAS на базе делл R730 (рейд-контролер умеет в хба) с возможностью установки 12-ти 3.5" дисков (пока только 4 в наличии). Загрузка ОС идет с отдельных дисков. Интересует несколько вопросов:
1) Можно ли с ZFS провернуть такой финт ушами: собрать пул с а-ля раид6 - RAID-Z2 из 4-х существующих дисков и потом периодически добавлять по паре дисков в этот пул с сохранением начального Fault Tolerance и пропорциональным увеличением емкости?
2) Есть ли описанный бест-практикс на создание стораджей на базе ZFS ? Я имею ввиду использование ОЗУ, кешей ARC и L2ARC, лога SLOG. Запроектировать сторадж так, чтобы потом не возвращаться к железу по поводу и без повода.
3) Будет ли возможность, в случае сбоя сервера перетащить диски на другой сервер и там запуститься?
Заранее благодарен за ответы
Maksim
1) по паре дисков нельзя. максимум вы можете добавить ещё один vdev
Nikita
Доброго времени! Хочу собрать NAS на базе делл R730 (рейд-контролер умеет в хба) с возможностью установки 12-ти 3.5" дисков (пока только 4 в наличии). Загрузка ОС идет с отдельных дисков. Интересует несколько вопросов:
1) Можно ли с ZFS провернуть такой финт ушами: собрать пул с а-ля раид6 - RAID-Z2 из 4-х существующих дисков и потом периодически добавлять по паре дисков в этот пул с сохранением начального Fault Tolerance и пропорциональным увеличением емкости?
2) Есть ли описанный бест-практикс на создание стораджей на базе ZFS ? Я имею ввиду использование ОЗУ, кешей ARC и L2ARC, лога SLOG. Запроектировать сторадж так, чтобы потом не возвращаться к железу по поводу и без повода.
3) Будет ли возможность, в случае сбоя сервера перетащить диски на другой сервер и там запуститься?
Заранее благодарен за ответы
1. увы, но нет.
2. https://openzfs.github.io/openzfs-docs/Performance%20and%20Tuning/index.html
3. да, если диски будут напрямую подключены, в том смысле, что контроллер их как то особо помечать не будет. вы можете это протестировать сейчас, создав, например раздел ext4 и попробовать его прочитать на другой машине.
Maksim
2) вопрос в том что вы хотите вообще от стораджа. может, вам ARC хватит, а остальное (l2arc, slog, special) нафиг не нужно
al
2) вопрос в том что вы хотите вообще от стораджа. может, вам ARC хватит, а остальное (l2arc, slog, special) нафиг не нужно
из общего возможно понадобится сжатие (но не факт). Не нужны дедупликация и шифрование.
Александр
Доброго времени! Хочу собрать NAS на базе делл R730 (рейд-контролер умеет в хба) с возможностью установки 12-ти 3.5" дисков (пока только 4 в наличии). Загрузка ОС идет с отдельных дисков. Интересует несколько вопросов:
1) Можно ли с ZFS провернуть такой финт ушами: собрать пул с а-ля раид6 - RAID-Z2 из 4-х существующих дисков и потом периодически добавлять по паре дисков в этот пул с сохранением начального Fault Tolerance и пропорциональным увеличением емкости?
2) Есть ли описанный бест-практикс на создание стораджей на базе ZFS ? Я имею ввиду использование ОЗУ, кешей ARC и L2ARC, лога SLOG. Запроектировать сторадж так, чтобы потом не возвращаться к железу по поводу и без повода.
3) Будет ли возможность, в случае сбоя сервера перетащить диски на другой сервер и там запуститься?
Заранее благодарен за ответы
Использование ОЗУ и кешей определяется типом и интенсивностью нагрузки, тут нет сколько-то общего решения
Vladislav
Доброго времени! Хочу собрать NAS на базе делл R730 (рейд-контролер умеет в хба) с возможностью установки 12-ти 3.5" дисков (пока только 4 в наличии). Загрузка ОС идет с отдельных дисков. Интересует несколько вопросов:
1) Можно ли с ZFS провернуть такой финт ушами: собрать пул с а-ля раид6 - RAID-Z2 из 4-х существующих дисков и потом периодически добавлять по паре дисков в этот пул с сохранением начального Fault Tolerance и пропорциональным увеличением емкости?
2) Есть ли описанный бест-практикс на создание стораджей на базе ZFS ? Я имею ввиду использование ОЗУ, кешей ARC и L2ARC, лога SLOG. Запроектировать сторадж так, чтобы потом не возвращаться к железу по поводу и без повода.
3) Будет ли возможность, в случае сбоя сервера перетащить диски на другой сервер и там запуститься?
Заранее благодарен за ответы
3-е при отсутствии special vdev, потому что если они есть - они обязаны будут переехать вместе с пулом
George
уже разобрались с вылетевшим диском? там надо было просто offline и replace сделать. Новые диски в существующий raidz технически добавить нельзя, там либо нюансы по хардварному рейду были либо просто resilver + scrub сделать.
Правда я всё прочитать не осилил и вижу что всё равно в jbod пересобирать, это правильно
Alexandr
уже разобрались с вылетевшим диском? там надо было просто offline и replace сделать. Новые диски в существующий raidz технически добавить нельзя, там либо нюансы по хардварному рейду были либо просто resilver + scrub сделать.
Правда я всё прочитать не осилил и вижу что всё равно в jbod пересобирать, это правильно
приветствую, нет еще не разобрался
Sergio
Здравствуйте. Наверное многие спрашивают, наверное уже оскомину набило, но есть такой вопрос:
Есть zfs raid1, можно ли его разбить на 2 рабочих диска и собрать из них raidz, либо придётся через бекап переделывать? инфу искал долго, ничего конкретного не нашёл.
Vladislav
Здравствуйте. Наверное многие спрашивают, наверное уже оскомину набило, но есть такой вопрос:
Есть zfs raid1, можно ли его разбить на 2 рабочих диска и собрать из них raidz, либо придётся через бекап переделывать? инфу искал долго, ничего конкретного не нашёл.
Начнём с того, что raidz1 это минимум 3 диска. Из двух Вы собираете только degraded версию.
И нет, Вы плохо гуглили
https://www.truenas.com/community/threads/convert-raid1-to-raid5-without-having-to-reload-from-backups.87801/
Sergio
Да, я понимаю, что разное количество дисков. Нам как раз нужно добавить диск.
Sergio
Спасибо, почитаю по ссылке
al
1) по паре дисков нельзя. максимум вы можете добавить ещё один vdev
т.е в данном конкретном вопросе ЗФС также негибка как и с обычный рейд и нужно забивать корзину дисками по максимуму.
Maksim
т.е в данном конкретном вопросе ЗФС также негибка как и с обычный рейд и нужно забивать корзину дисками по максимуму.
можете сделать 6 дисков сейчас, 6 потом, каждый в raidz2, максимум что можно сделать, пожалуй
al
можете сделать 6 дисков сейчас, 6 потом, каждый в raidz2, максимум что можно сделать, пожалуй
Слабо знаю теорию ЗФС - подскажите, а почему можно добавить еще только один raidz2? Насколько понял - пул может состоять из нескольких vdev-ов. Или это не так?
Maksim
Слабо знаю теорию ЗФС - подскажите, а почему можно добавить еще только один raidz2? Насколько понял - пул может состоять из нескольких vdev-ов. Или это не так?
может состоять из нескольких vdev. логичнее всего, наверное, добавить второй такой же vdev. в остальных сочетаниях тоже можно, пожалуйста, просто странно к raidz2 потом mirror добавлять
al
может состоять из нескольких vdev. логичнее всего, наверное, добавить второй такой же vdev. в остальных сочетаниях тоже можно, пожалуйста, просто странно к raidz2 потом mirror добавлять
А практически можно последовательно добавить еще 2 вдев с raidz2 из 4-х дисков к первоначальному варианту с одим raidz2 также из 4-х? (Я понимаю, что у меня пропало половина про-ва)
Maksim
практически можно
Maksim
только учитывайте что данные ещё сами не перераспределятся. не помню как это решается
al
только учитывайте что данные ещё сами не перераспределятся. не помню как это решается
да, печально. Думаю тогда стоит вернуться к софтовому рейду на mdadm - он вроде умеет расширять пространство докидывая диски.
Shaker
Не знаю, по мне zfs в разы удобнее и понятнее. А на практике, еще и быстрее с минимальными усилиями.
Shaker
Масштабирование делать на проде с текущим массивом - "такое". Всегда нужен временный массив на время работ. И там уж send, recv .
Shaker
Есть конечно нюансы с raw data и шифрованием, но это все максимально просто.
Vladislav
Не знаю, по мне zfs в разы удобнее и понятнее. А на практике, еще и быстрее с минимальными усилиями.
Ну, быстрее это очень спорно
Быстрее на шпинделях? Вероятно
Быстрее ребилд? Да
Надёжней? Тоже да
Но быстрее на ssd? Нет
Быстрее на nvme? Однозначно нет
Roman
Не знаю, по мне zfs в разы удобнее и понятнее. А на практике, еще и быстрее с минимальными усилиями.
AFAIK, она не очень любит сценарии когда свободного места 5-10% от всего хранилища и весь массив переписывается за месяц
central
AFAIK, она не очень любит сценарии когда свободного места 5-10% от всего хранилища и весь массив переписывается за месяц
Любая CoW не любит, да и обычные фс так же не рекомендуется забывать под сотку
central
Ну, быстрее это очень спорно
Быстрее на шпинделях? Вероятно
Быстрее ребилд? Да
Надёжней? Тоже да
Но быстрее на ssd? Нет
Быстрее на nvme? Однозначно нет
Спорно говорить о скорости объеденяя в одно слово все конфигурации железа и типы нагрузок
Vladislav
Спорно говорить о скорости объеденяя в одно слово все конфигурации железа и типы нагрузок
?
Zfs на nvme однозначно во всех сценариях медленнее чем mdadm
Shaker
AFAIK, она не очень любит сценарии когда свободного места 5-10% от всего хранилища и весь массив переписывается за месяц
Да, это правда. Но когда 5-10% свободно это не нормальная ситуация.
Vladislav
И нет, не в всех сценариях
Пффф....
Окей, сейчас я найду свои старые тесты и мое сообщение по ним
Vladislav
А потом Вы скажите какие тесты покажут обратное
Maksim
что угодно из арка не быстрее на чтении будет?
Shaker
Но я не про все варианты на свете. А про то, что собрать с разными кэшами, снапшотами и резервированием на zfs проще.
Vladislav
что угодно из арка не быстрее на чтении будет?
Сценарий чтения в 16 потоков 128 очередь на 4гб 6 раз?
Хмм
Shaker
Т е как решение комплекса конкретных задач - это с минимальным порогом вхождения.
Vladislav
Сценарий чтения в 16 потоков 128 очередь на 4гб 6 раз?
Хмм
Окей, fair point ddr4 быстрее чем pcie 3.0
Vladislav
zpool create -o ashift=12 -O compression=lz4 -O atime=off -O recordsize=64k nvme /dev/nvme0n1 /dev/nvme1n1 /dev/nvme3n1 -f
fio -name=rndw4k16 -ioengine=libaio -direct=1 -buffered=0 -invalidate=1 -filesize=30G -numjobs=32 -bs=8k -iodepth=32 -rw=randwrite -filename=/nvme/temp.tmp
WRITE: bw=448MiB/s (470MB/s), 13.1MiB/s-15.4MiB/s (13.7MB/s-16.2MB/s), io=18.2GiB (19.5GB), run=41455-41539msec
Вот отсюда первые тесты, детальный файлик надо искать
central
Вот отсюда первые тесты, детальный файлик надо искать
И что вы хотите этим показать? Тест показывает исключительно то что от него попросили.
Vladislav
Адекватных других тестов где zfs был бы быстрее у меня нет
Shaker
))
Vladislav
Особенно "с минимальным тюнингом"
Roman
Да, это правда. Но когда 5-10% свободно это не нормальная ситуация.
Есть сценарии где это норма. Архив видеонаблюдения, например.
central
Адекватных других тестов где zfs был бы быстрее у меня нет
Вы тестите что то вам интересное, а спорите вы с утверждением что ZFS ВСЕГДА не зависимо от железа и сценария применения медленнее, это координанально разные вещи
Vladislav
Вы тестите что то вам интересное, а спорите вы с утверждением что ZFS ВСЕГДА не зависимо от железа и сценария применения медленнее, это координанально разные вещи
Если без рофла
Так дайте мне адекватный пример, когда это не так
Roman
И ещё вопрос: а какой настройкой регулировать что считается sequential read и это не надо тянуть в кеши?
Shaker
Есть сценарии где это норма. Архив видеонаблюдения, например.
Ну, вовремя масштабировать надо. У нас утановок zfs скоро будет под сотню. Самая большая на 6PB. Часть клиентов совсем не мониторит, и конечно заканчивается место, и конечно внезапно. Но в целом, функционала всегда достаточно, и по скорости есть простые решения.
Видеонаблюдения тоже есть несколько проектов.
Где постепенно в корзины пихают диски на лету, все устраивает.
Vladislav
Вы тестите что то вам интересное, а спорите вы с утверждением что ZFS ВСЕГДА не зависимо от железа и сценария применения медленнее, это координанально разные вещи
Zfs чисто физически не может быть быстрее, потому что он CoW с чексуммами.
Если это не так - дайте мне вариант теста который на Ваш взгляд покажет обратное
Vladislav
Я тестил 2 недели и не нашел такого
Shaker
Но я не говорю, что оно во всем быстрее. Но настроить кэши чтения-записи, и решить часть его-же проблем, максимально просто.
Vladislav
Но я не говорю, что оно во всем быстрее. Но настроить кэши чтения-записи, и решить часть его-же проблем, максимально просто.
Да, тут согласен и не спорю, надёжность, удобство, тюнинг под определенные системы также возможен
Но быстрее mdadm? Только если шпиндели сравнивать и то не факт
Roman
Ну, вовремя масштабировать надо. У нас утановок zfs скоро будет под сотню. Самая большая на 6PB. Часть клиентов совсем не мониторит, и конечно заканчивается место, и конечно внезапно. Но в целом, функционала всегда достаточно, и по скорости есть простые решения.
Видеонаблюдения тоже есть несколько проектов.
Где постепенно в корзины пихают диски на лету, все устраивает.
А что с фрагментацией в таком случае? В моём случае с 95% usage она всегда была меньше 0.3-0.4%, но там видео в чанках по 1-2мб и перед записью всегда было fallocate на размер записываемых данных
central
Shaker
А что с фрагментацией в таком случае? В моём случае с 95% usage она всегда была меньше 0.3-0.4%, но там видео в чанках по 1-2мб и перед записью всегда было fallocate на размер записываемых данных
Со временем все хуже и хуже )))) И т к апгрейд идет через вторую локацию, то примерно раз в два года происходит пересоздание пула.
Shaker
Но ради эксперимента, мы мигрировали часть на цеф ( 30 нод по 12 дисков ), и там уж производительность на поток стала еще хуже. Сейчас уже радостн овсе вернули на zfs.
central
Пока вы на одного блока не перезаписали она около нуля
Shaker
Клиенты собирают себе массивы на бродкомах за 2000 долл , и оно работает медленнее zfs. на том-же raid6 <-> raidz2, и понятно , что там нет много функционала. Конечно, бывали случаи, кода дисковая корзина сжигала всю ram включая nvdimm кэш модули, но даже такое восстанавливалось снапшотом из бэкапа.
С похожим функционалом у нас есть несколько 3par 8400, но это покупалось за совсем другие деньги.
Shaker
Так что это конечно не волшебная пилюля, куча проблем. Но все познается в сравнении. И да, конечно zfs сравнивать с mdadm, это теплое с мягким.
al
Ну, вовремя масштабировать надо. У нас утановок zfs скоро будет под сотню. Самая большая на 6PB. Часть клиентов совсем не мониторит, и конечно заканчивается место, и конечно внезапно. Но в целом, функционала всегда достаточно, и по скорости есть простые решения.
Видеонаблюдения тоже есть несколько проектов.
Где постепенно в корзины пихают диски на лету, все устраивает.
>Где постепенно в корзины пихают диски на лету
У меня проект не с видеонаблюдением связан, тем не менее - каким образом в ЗФС вы на лету добавляете диски. Я собственно выше о этом и спрашивал. Народ говорит - невозможно так расширять массив для текущей версии зфс.
central
>Где постепенно в корзины пихают диски на лету
У меня проект не с видеонаблюдением связан, тем не менее - каким образом в ЗФС вы на лету добавляете диски. Я собственно выше о этом и спрашивал. Народ говорит - невозможно так расширять массив для текущей версии зфс.
ответ выше был про один единственный тип рейда, который сам по себе устроен не очень просто и с ограничениям
central
это не относиться ко всему zfs
riv
>Где постепенно в корзины пихают диски на лету
У меня проект не с видеонаблюдением связан, тем не менее - каким образом в ЗФС вы на лету добавляете диски. Я собственно выше о этом и спрашивал. Народ говорит - невозможно так расширять массив для текущей версии зфс.
Расширчть можно пулы, top-vdev которых mirror. Расширять при этом можно добавляя по одному vdev разом. И даже уменьшать можно, выводя vdev из пула. Совершено точно все будет работать с пулом из mirror-vdev состоящий целиком.