Решение которое Вы предложили не подходит, как минимум потому что его уже обсуждали ранее, оно все также умирает на запись

запись по задаче всего 10%. но это странно, ибо виртуальные машины - ~50-50 +- (в моем опыте, по крайней мере). на два шпинделя - запись будет медленной даже при всех возможностях zfs. а уж чтееееение каким будет при заполнении 75+% .... все знают. и дай бог чтобы arc + l2Arc этому чтению помогали. а так я представляю какая будет пила с какими глубокими нижними экстремумами, когда "слишком рандомная нагрузка будет".

Это всё же не ВМ, а контейнеры

Все так, но мало чем реальная нагрузка отличается, имеется в виду на нижнем уровне дисков. Не вдаваясь в детали на уровне виртуализации. имхо!

"Нравится" - это LVM над которым ZFS вопреки рекомендациям

50/50 это все ещё очень сомнительно Энтерпрайз уровень обычно 2/1 (2 чтения, 1 запись) или 8/2

Если без практики и понимания делать то конечно отсутпать от рекомендаций не стоит. В lvm проблемы не вижу, т.к. lvm прозрачен для операций io и для ошибок. Но можно порезать на обычные разделы и будет как в рекомендациях, но это не позволит потом подставивать решение под реальную нагрузку. Что-то мне подсказывает что "в бою" могут возникать нюансы, которые в тех задании не описаны и придется что-то подстраивать на ходу.

Это я к тому, что в zfs тоже можно собрать такой конфиг: Схематично mirror hdd16TB_1 hdd16TB_2 special mirror LV_1TB_M.2_NVMe_Samsung_100GB LV_SAMSUNG_AIC_100GB slog LV_SAMSUNG_AIC_100GB cache LV_SAMSUNG_AIC_1.4TB LV_1TB_M.2_NVMe_Samsung_900GB В случае гибели SAMSUNG будет не ЖОПА, а маленькая жопка в виде подключения пула без slog, но это не фатально. Будет откат на несколько транзакций. Рекомендую посмотрить у такого конфига как будет под вашей нагрузкой? На мой взгляд это самый логичный конфиг с zfs. Ну и про lvm - не всем это понравится, но я такое использую на практике и это работает без проблем, по этому и предлагаю к рассмотрению.

Если без практики и понимания делать то конечно отсутпать от рекомендаций не стоит. В lvm проблемы не вижу, т.к. lvm прозрачен для операций io и для ошибок. Но можно порезать на обычные разделы и будет как в рекомендациях, но это не позволит потом подставивать решение под реальную нагрузку. Что-то мне подсказывает что "в бою" могут возникать нюансы, которые в тех задании не описаны и придется что-то подстраивать на ходу.

я так понял, у запрашивающих помощи коллег, не будет windows (и слава богу, имхо). и я одновременно с Владиславом и согласен и нет. Почему, потому что общая нагрузка складывается из нагрузки контейнера (и самого инструмента контейнеризации) и гостевой нагрузки. не буду утверждать, что я знаю как выглядит картина для AIX (не знаю), зато вполне неплохо знаю, как это выглядит на spark и на x86. Не сильно большая разница.

там так стоять будет не AIX, а Linux - причем без PAR - а напрямую

зеркало на 4 диска? не дофига ли избыточности?

Всем доброго времени суток. Требуется рекомендация/консультация. Есть сервачёк на ubuntu 22.04 lts, а в нём два zfs пула Сейчас они заполненны под завязку (на 2 тб (для медиа) и 512 гигов (для рабочих проектов) (собирал из того, что было)). Так вышло, что сами диски, из которых сформированны эти пулы сейчас имеют объём в 4тб (старые диски умерли, год назад поменял на новые). И вот я сейчас сохранил вовне эти данные. А вот теперь мой план такой: 1) Удаляем оба пула (через zpool destroy) 2) Формируем новый пул (в зеркале, так, чтобы не боятся, что данные пропадут) с подключением 4 дисков Вопросы, которые пытаюсь понять: нужно ли делать кеширование? Нужно ли выбрать не mirror, а radz5-6? Нужно ли делать сжатие дополнительное? Что собираюсь делать на этом пуле - файловое хранилище, чтобы хранить книги, фильмы, фотки, проекты, (торренты). Стоит ли что-то сделать по другому? Да, задача для многих детская, но мало-ли, а так посоветоваться могу.

зеркало на 4 диска? не дофига ли избыточности?

Привет всем. Любопытный краш происходит на своем фряшном ядре. panic: VERIFY(arc_released(db->db_buf)) failed cpuid = 1 time = 1704738415 KDB: stack backtrace: db_trace_self_wrapper() at db_trace_self_wrapper+0x2b/frame 0xfffffe014b2ea4d0 vpanic() at vpanic+0x132/frame 0xfffffe014b2ea600 spl_panic() at spl_panic+0x3a/frame 0xfffffe014b2ea660 dbuf_redirty() at dbuf_redirty+0xbd/frame 0xfffffe014b2ea680 dbuf_dirty() at dbuf_dirty+0x2a2/frame 0xfffffe014b2ea720 dmu_write_uio_dnode() at dmu_write_uio_dnode+0xdc/frame 0xfffffe014b2ea7a0 dmu_write_uio_dbuf() at dmu_write_uio_dbuf+0x42/frame 0xfffffe014b2ea7d0 zfs_write() at zfs_write+0x590/frame 0xfffffe014b2ea950 zfs_freebsd_write() at zfs_freebsd_write+0x39/frame 0xfffffe014b2ea970 VOP_WRITE_APV() at VOP_WRITE_APV+0xab/frame 0xfffffe014b2eaa80 vn_write() at vn_write+0x2cf/frame 0xfffffe014b2eab10 vn_io_fault_doio() at vn_io_fault_doio+0x45/frame 0xfffffe014b2eab70 vn_io_fault1() at vn_io_fault1+0x15e/frame 0xfffffe014b2eacb0 vn_io_fault() at vn_io_fault+0x155/frame 0xfffffe014b2ead40 dofilewrite() at dofilewrite+0x82/frame 0xfffffe014b2ead90 sys_write() at sys_write+0xc2/frame 0xfffffe014b2eae00 amd64_syscall() at amd64_syscall+0x153/frame 0xfffffe014b2eaf30 fast_syscall_common() at fast_syscall_common+0xf8/frame 0xfffffe014b2eaf30 --- syscall (4, FreeBSD ELF64, write), rip = 0x8292db5ba, rsp = 0x821aa9b98, rbp = 0x821aa9bc0 --- KDB: enter: panic воспроизводится стабильно при попытки прогнать постгрессовые регрес тесты. Пока в код не смотрел что за assert, попробую обновиться до сегодняшних коммитов.

Если диски уже заменяны можно же https://wiki.opennet.ru/%D0%A3%D0%B2%D0%B5%D0%BB%D0%B8%D1%87%D0%B5%D0%BD%D0%B8%D0%B5_%D1%80%D0%B0%D0%B7%D0%BC%D0%B5%D1%80%D0%B0_ZFS_%D0%BF%D1%83%D0%BB%D0%B0

autoexpand=on?

Ам, всё дело в том, что когда я менял диски, то пулы сами по себе в размере не прибавили, то есть сейчас два пула с двумя дисками в зеркале, но при этом объём пулов не увеличился. Да и мне не очень нужен второй пул, легче (как думаю), иметь один пул) а уже внутри него всё раскидать. Или это плохое решение?

А это что?

Так указать нужно что пулы должны расширятся autoexpand=on, второй вариант если не сработало разметку смотреть

Выше ссылка с описанием как это работает, либо гугл autoexpand=on чтоб понять

Но тогда получается два пула по 4 тб в зеркале.

Ну если оно не нужно то тогда raidz собрать можно места больше будет, для файлопомойки по сети особенно до гигабита особой разницы не будет

Или просто для чтения до гига?

Что там будет? Если нагрузка плевая то raidz пересобирайте и особой разницы не заметите, если на этих дисках бд небольшие крутятся то зеркало рулит

Нет, никакой бд там не будет, как и писал, тол ко файлопомойка, bittorren и dlna

Ну значит raidz или draid под иакие вещи

Угу, понял, пойду читать), спасибо)

Накрайняк всегда можно ssd кэш добавить)))

О, есть 256 гиговый диск m2 (валяется), имеет смысл его использовать под это?

Всем доброго времени суток. Требуется рекомендация/консультация. Есть сервачёк на ubuntu 22.04 lts, а в нём два zfs пула Сейчас они заполненны под завязку (на 2 тб (для медиа) и 512 гигов (для рабочих проектов) (собирал из того, что было)). Так вышло, что сами диски, из которых сформированны эти пулы сейчас имеют объём в 4тб (старые диски умерли, год назад поменял на новые). И вот я сейчас сохранил вовне эти данные. А вот теперь мой план такой: 1) Удаляем оба пула (через zpool destroy) 2) Формируем новый пул (в зеркале, так, чтобы не боятся, что данные пропадут) с подключением 4 дисков Вопросы, которые пытаюсь понять: нужно ли делать кеширование? Нужно ли выбрать не mirror, а radz5-6? Нужно ли делать сжатие дополнительное? Что собираюсь делать на этом пуле - файловое хранилище, чтобы хранить книги, фильмы, фотки, проекты, (торренты). Стоит ли что-то сделать по другому? Да, задача для многих детская, но мало-ли, а так посоветоваться могу.

Как и писал: ОС - ubuntu 22.04 lts Диски - 4 шт WD Purple 4 Тб WD42PURZ

На ОС пофиг от слова совсем, если не Solaris Диск**И**? Количество?

Уже лучше, а теперь мы пишем целиком описание системы: cpu, memory, используется ли он для чего-то ещё или это чисто для ZFS комп, как подключены диски

Тогда вечером.

Purple уже херовая идея для данных

Почему кстати ?

Тогда вечером.

Тебя я в личку не звал

Сорри, просто стало интересно

Нет, никакой бд там не будет, как и писал, тол ко файлопомойка, bittorren и dlna

Спасибо, оно самое! Коммит влили еще в декабре, я как всегда медленно реагирую :)

О, значит клонинг включен? Вроде его под флаг пока отключали

Всем доброго времени суток. Требуется рекомендация/консультация. Есть сервачёк на ubuntu 22.04 lts, а в нём два zfs пула Сейчас они заполненны под завязку (на 2 тб (для медиа) и 512 гигов (для рабочих проектов) (собирал из того, что было)). Так вышло, что сами диски, из которых сформированны эти пулы сейчас имеют объём в 4тб (старые диски умерли, год назад поменял на новые). И вот я сейчас сохранил вовне эти данные. А вот теперь мой план такой: 1) Удаляем оба пула (через zpool destroy) 2) Формируем новый пул (в зеркале, так, чтобы не боятся, что данные пропадут) с подключением 4 дисков Вопросы, которые пытаюсь понять: нужно ли делать кеширование? Нужно ли выбрать не mirror, а radz5-6? Нужно ли делать сжатие дополнительное? Что собираюсь делать на этом пуле - файловое хранилище, чтобы хранить книги, фильмы, фотки, проекты, (торренты). Стоит ли что-то сделать по другому? Да, задача для многих детская, но мало-ли, а так посоветоваться могу.

к слову, варианты как тут предлагали с LVM я тоже протестила - результаты кэширования средствами LVM к сожалению очень и очень печальные, оказалось что bache кэширования очень сильно быстрее, особенно в writeback режиме. у LVM если его включить - все равно скорости невысокие из кэша :/

понимаю что смысла о выбранной схеме говорить нет, но кеш на запись без резервирования - это вау. Зачем тогда hdd зеркалировать, можно тоже было страйп собрать и сделать x1.5-2 на поточную многотредовую запись

понимаю что смысла о выбранной схеме говорить нет, но кеш на запись без резервирования - это вау. Зачем тогда hdd зеркалировать, можно тоже было страйп собрать и сделать x1.5-2 на поточную многотредовую запись

к слову, варианты как тут предлагали с LVM я тоже протестила - результаты кэширования средствами LVM к сожалению очень и очень печальные, оказалось что bache кэширования очень сильно быстрее, особенно в writeback режиме. у LVM если его включить - все равно скорости невысокие из кэша :/

Странно, Вы ведь командой его делали? lvconvert --type cache-pool --poolmetadata ssdcache/ssd_meta ssdcache/ssd_data lvconvert --type cache --cachemode writeback --cachepool ssdcache/ssd_data ssdcache/hdd_data

Мне кстати интересно, вот как это решает synology и qnap

Коллеги, а какие нынче рекомендации, касательно samba на zfs? Я эту связку использую еще с samba 4.0 и zfs, который из opensolaris был портирован, сейчас пересматриваю конфигурации и подозреваю, что какие то моменты уже устарели. У меня для шары сейчас используется: aclmode passthrough aclinherit passthrough acltype nfsv4 В самбе: vfs objects = zfsacl,streams_xattr nfs4:acedump = merge nfs4:chown = yes zfsacl: acesort = dontcare Как то оно так исторически сложилось, а сейчас каждую строчку по мануалу проверяю и призадумался. Во-первых, nfs4: - настройки модуля vfs_nfs4acl_xattr, работают ли они вообще, если модуль не задан в настройках. Во-вторых, нужно ли вообще streams_xattr или vfs_nfs4acl_xattr в нынешней zfs? Или сейчас уже достаточно ограничиться только zfsacl модулем? Любителям samba на zfs, кстати, может пригодиться) https://www.netfence.it/sub/sambaonfreebsd/

Добрый день, не подскажите, как онлайн превратить RAID1 в RAID10 путем добавления 2 новых дисков? zpool status datapool pool: datapool state: ONLINE scan: scrub repaired 0B in 01:23:43 with 0 errors on Sun Dec 10 01:47:44 2023 config: NAME STATE READ WRITE CKSUM datapool ONLINE 0 0 0 mirror-0 ONLINE 0 0 0 ata-SAMSUNG_MZ7LH3T8HMLT-00005_S456NC0T700318 ONLINE 0 0 0 ata-SAMSUNG_MZ7LH3T8HMLT-00005_S456NC0T700118 ONLINE 0 0 0

zpool add mirror https://docs.oracle.com/cd/E19253-01/819-5461/gazgw/index.html

Добрый день, не подскажите, как онлайн превратить RAID1 в RAID10 путем добавления 2 новых дисков? zpool status datapool pool: datapool state: ONLINE scan: scrub repaired 0B in 01:23:43 with 0 errors on Sun Dec 10 01:47:44 2023 config: NAME STATE READ WRITE CKSUM datapool ONLINE 0 0 0 mirror-0 ONLINE 0 0 0 ata-SAMSUNG_MZ7LH3T8HMLT-00005_S456NC0T700318 ONLINE 0 0 0 ata-SAMSUNG_MZ7LH3T8HMLT-00005_S456NC0T700118 ONLINE 0 0 0