так как строили пул?, на mirror?

Нет там все группами на raidz2

Только на уровне нашей задачи сравниваю. Вот к нас шкафы с цеф, работает так. А вот винигрет из zfs, работает так.

Нет там все группами на raidz2

может ещё и дедупликацию включили?)

Да, на одной хранилке включили, потом долго угорали, как оно тупит )))

Вы применили похоже все практики чтобы затормозить zfs))

Ну, если ты сравниваешь zfs mirror и считаешь, что это лучшее, то я бы лучше выбрал ceph с EC 8:3 если у тебя несколько сотен дисков.

а когда цеф начнет ребаланс?...

Да, на одной хранилке включили, потом долго угорали, как оно тупит )))

Было уже, нормально все )

у вас сеть 100гигабит? =)

1. пул собираете на mirror, никаких сложных рейдов 2. Подберите оптимальный размер блока и сжатие под ваш тип данных, предварительно потестируйтесь 3. Чем больше vdev в пуле тем производительнее 4. Ну и конечно нормальные диски, лучше всего если не HDD, а если уж HDD то хорошие + вынести slog устройство отдельно для увеличени производительности записи 5. есть ещё кеш l2arc но тут по обстоятельствам, он далеко не всегда нужен 6. Ну и конечно чем больше ОЗУ тем лучше, но в целом даже с малыми объёмами работает достойно

Искал подробности про установку recordsize=4M, нашел эту рекомендацию 👆, но ссылка протухла . Что там было?

Бохато жить не запретишь =)

>3. Чем больше vdev в пуле тем производительнее тут завит от нагрузки. больше vdev - больше рандом, больше дисков в одном vdev - больше сиквенс

А мне диски с mirror под бэкапы жалко, экономика не сойдется. Если до 500 тер например, то вполне можно как ты пишешь. Дальше, нюансы.

у меня больше 4рёх вдев не было)), в целом с ростом замечал производительность)

Да не так это и дорого. Сейчас 10g по цене мусора, 40g - тоже вполне доступны.

Да не так это и дорого. Сейчас 10g по цене мусора, 40g - тоже вполне доступны.

Когда покупаешь новое на пару машин да, а перевести весь парк на 40-100г?

Ну и еще, в zfs нам очень нравилось переливать с одного стора на другой сотни терабайт, чтобы дефрагментацию произвести, или места там добавить.

У них zfs в люстре, это то еще решение. Но кстати, отличная ниша для zfs тоже.

Наша контора - нет, но есть знакомые геодезисты, пробовали его, плевались. Надо будет глянуть.

а чего плевались у сивида?

В общем, если ближе к топику zfs. Строить цельные монолитные системы на zfs, с сотнями дисков в пуле, более опасно. Лучше использовать с макс 3 полками, и распихивать между ними данные, может как по аналогии с люстрой. Или своими "скриптами". Такое имхо.

/report

А гибридный подход, когда zfs представляет block management, а поверх уже osd?

А, утилиту изначально делали под зелёнку… Ну да, у меня красные. Просто у них выставлено 138 (0x8a) или может это нормально Model Family: Western Digital Red Device Model: WDC WD40EFZX-68AWUN0 4 Start_Stop_Count 0x0032 100 100 000 Old_age Always - 12 9 Power_On_Hours 0x0032 088 088 000 Old_age Always - 8948 193 Load_Cycle_Count 0x0032 200 200 000 Old_age Always - 1509

В общем, если кому вдруг интересно/полезно, за всё это время LCC дорос до значения 1513. Т.е. парковаться перестали вообще (было некоторое кол-во отключений — тестировал память). Владимир, FYI

В итоге как победили растущий LCC?

idle3ctl -d /dev/sdX При том в вики арча (п3.6.3) написано, что не рекомендуется. Почему не рекомендуется — не написано. Искал, спрашивал — нигде никто ничего не знает (может быть потому что Москва — порт 5 морей, хз)

Эх, у меня фря, сомневаюсь что сработает)

честно говоря я не тестил лично, по идее только 1 блок будет помечен проблемным, можно сэмитировать и потестить на файликах

Поштудировал еще FreeBSD Mastery: ZFS. Не знаю, насколько авторам можно верить (книжка ведь старая), но утверждается, что ошибка локализируется на уровне файла (если, конечно, на файл сбой попадает). Спокойней стало: отдельные файлики в моем хранилище особой ценности не представляют, лишь бы пул в целом не грохнулся из-за ошибок.

Всё верно, а мета по дефолту дублируется так что сбойный сектор не может положить весь пул

Интересно, что при рейде - сбой превышающий redundancy убивает пул

Если речь про zfs и raidz, то там всё аналогично, при отсутствии избыточности будет недоступен конкретный блок

))) dd if=/dev/zero of=/home/temp/t.2 bs=1024 count=1 skip=1000 dd if=/dev/zero of=/home/temp/t.3 bs=1024 count=1 skip=1000 (internal error: Value too large for defined data type Aborted (core dumped))

Вот так если делать

Мету скорее всего побили, протестить надо через поиск конкретных блоков файла через zdb и их обнуление

Всем привет, а в zfs работает установка квот юзерам через quota quotatool есть такие пакеты, я когда-то давно ими управлял квотами пользователей Быстрый гуглинг не дал плодов, решил тут спросить)

Пользователи локальные?

Вот так если делать

Поштудировал еще FreeBSD Mastery: ZFS. Не знаю, насколько авторам можно верить (книжка ведь старая), но утверждается, что ошибка локализируется на уровне файла (если, конечно, на файл сбой попадает). Спокойней стало: отдельные файлики в моем хранилище особой ценности не представляют, лишь бы пул в целом не грохнулся из-за ошибок.