я не зря спрашивал.
фига се, вот не ожидал😳
Art
nikolay
меня размер насторожил..
Art
Иван
так-с... а аттач ты как делал? Посмотри в хистори плз.
Вообще по моему надо было zfs replace делать. И если бы autoexpand был бы включен, то сразу после replace обоих дисков пул сам бы расширился
То есть правильный алгоритм такой:
0) Проверить бэкап))
1) Включить autoexpand в пуле
2) zfs replace первого диска
3) Дождаться окончания ресилвера
4) zfs replace второго диска
5) Дождаться окончания ресилвера
6) Профит!
Спасибо. Я не replace делал. Попробую и отпишусь.
Art
Можно без replace, detach/attach
а Иван и делал аттач, и в итоге у него пул расширяться не хочет
Roman
а Иван и делал аттач, и в итоге у него пул расширяться не хочет
Если не расширяется сам, то можно это сделать руками
Art
Если не расширяется сам, то можно это сделать руками
погляди переписку с этого сообщения:
https://t.me/ru_zfs/35063
Может сообразишь решение. Там в итоге ZFS сидит на партициях по 465 Гб, а остальные 1,5 ТБ не заняты. ФЗ как из такой ситуации выйти. Пул ещё и системный.
Roman
Расширить разделы сперва
Roman
И даже не надо будет детачи или реплейсы делать. Просто расширить разделы под зфс. Если есть желание жить на разделах
George
погляди переписку с этого сообщения:
https://t.me/ru_zfs/35063
Может сообразишь решение. Там в итоге ZFS сидит на партициях по 465 Гб, а остальные 1,5 ТБ не заняты. ФЗ как из такой ситуации выйти. Пул ещё и системный.
так в итоге разделы не увеличивали руками? я ж писал проверить это
George
если не увеличивали - для zfs размер диска = размер раздела в котором он создан
Roman
growpart тот же
George
@gmelikov
Просто расширить разделы, типа используя parted?
да, главное в процессе ничего не снести)
nikolay
Какое значение recordsize лучше установить?
Поищите рекомендации, с телефона лениво гуглить)
Art
Какое значение recordsize лучше установить?
зависит от того, что хранится будет. Для типичного файлового сервера стандартные 128К норм, а вот если там будут файлы виртуальных машин, или базы данных, то надо подбирать иной рекордсайз, чтобы добиться минимальной задержки и следовательно максимального IOPS. Скажем, для MySQL оптимально 16K
Ivan
Ivan
никто же в здравом уме не положит вм на фс в qcow ?
local
Art
никто же в здравом уме не положит вм на фс в qcow ?
да есть же такие любители) И не мало, на реддите я видел целые баталии. Да и у нас в чате тоже помнишь встречаются. У Джима Салтера есть целая статья на тему чем qcow2 на ZFS лучше чем ZVOL
Василий
никто же в здравом уме не положит вм на фс в qcow ?
а есть ссылочки для такого смелого утверждения?
nikolay
я про то, как ты отдавать zvol по сети в, например esx будешь?
Я думаю у автора будет пул на машине с проксом, никакого iscsi
Василий
я сомневаюсь, что zvol будт сильно быстрее чем через FS
Василий
есть кто тестил?
Art
RAW файлы виртуальных машин
RAW файлы, гм... Ну тогда по идее твоя цель выровнять рекордсайз с тем, как ты отформатируешь этот диск изнутри виртуальной машины.
То есть если скажем накатываешь винду, у которой по дефолту 4к размер блока, то значит выставляешь рекордсайз 4к. Ашифт у тебя правда 512 байт...Но по идее норм, компрессия сильнее только будет.
Но блин, зачем RAW? Это имхо самый негодный вариант. Он не имеет ни плюсов ZVOL, ни плюсов qcow2
Например, ты же не будешь создавать каждому RAW файлу свой отдельный датасет с подобранным рекордсайзом? Это капец.
Зато в случае ZVOL ты можешь тюнить каждый как захочешь. По большому счёт ZVOL и есть RAW только с более удобным менеджментом и без посредника в виде ФС.
nikolay
А вот как раздать объемы - это вопрос, теоретически zvol должен быть быстрее, но я бы потестировал и поискал сравнения
Δαρθ
если в системе есть разные пулы, то макс. размер кеша arc_max для каждого отдельно или для всех вместе?
Art
Art
Ivan
Art
nikolay
Я вот не помню/не знаю можно ли через гуи проксмокса задавать volblocksize.
local
да, это zvol-ы и есть
ты для каждого можешь назначать собственный рекордсайз, правда у ZVOL он называется volblocksize
Т.е. мне сейчас пересоздавать пул с ashift=9, и еще под виндовые виртуалки в каждом zvol- volblocksize 4k указывать 😵💫
Nick
Nick
Nick
Какое значение recordsize лучше установить?
если мускль, то оптимальнее 16к, в остальных случаях в среднем оптимальнее 128к, но для постгри и других бд потребуется настраивать размеры чего-то для соответствия
Ivan
Nick
если есть возможность сделать разные датасеты для всего и для БД то для БД - как им оптимальнее, для всего остального - можно вообще мегабайт
Ivan
мб лучше ашифт 12, а волблок 128 ?
Ivan
вот для мсскуля рекомендуют фс под 64к форматировать
Ivan
так что можнл под него 64
Nick
а вот это зависит, если диски говорят что они 512 байт на сектор, то даже если это эмуляция - они так работают быстрее
Ivan
а остальное больше
Nick
вот для мсскуля рекомендуют фс под 64к форматировать
это уже с изменением настроек мускля и в тестах получается медленнее
Nick
смотрел примерно год назад и для перконы
Ivan
а вот это зависит, если диски говорят что они 512 байт на сектор, то даже если это эмуляция - они так работают быстрее
больше не меньше. потом поменяешь диски и будет хуже
Nick
ну если не по одному менять а планово смигрировать целиком то ок
local
больше не меньше. потом поменяешь диски и будет хуже
если буду менять, то целиком пул на новые диски. А так на хранении еще 2 есть аналогичных.
Nick
ну а так - у нас например медианный размер файла что-то типа 900 байт, а если отсечь файлы больше мегабайта, то 400 байт. и ашифт=9 здесь очень сильно экономит место
Art
Т.е. мне сейчас пересоздавать пул с ashift=9, и еще под виндовые виртуалки в каждом zvol- volblocksize 4k указывать 😵💫
recordsize и volblocksize меняется на лету хоть сто раз в день, и для всех новых файлов\блоков будет пременяться новое значение
а вот ашифт не меняется. И раз у тебя диски с 512 байтами, то тебе прям очень желательно пул пересоздать с ашифт=9
Nick
а, ну вот еще я тестил на p4510 - он поддерживает и 512 и 4096 через переформатирование нвме. Если форматировать в 512 то он чуточку но быстрее
Василий
recordsize и volblocksize меняется на лету хоть сто раз в день, и для всех новых файлов\блоков будет пременяться новое значение
а вот ашифт не меняется. И раз у тебя диски с 512 байтами, то тебе прям очень желательно пул пересоздать с ашифт=9
почитал про солярку: если диски не врут, то она сама правильно ашифт ставит
local
recordsize и volblocksize меняется на лету хоть сто раз в день, и для всех новых файлов\блоков будет пременяться новое значение
а вот ашифт не меняется. И раз у тебя диски с 512 байтами, то тебе прям очень желательно пул пересоздать с ашифт=9
Хочу определиться для начала по итогу с параметрами zvol для виндовых виртуалок, если raid10 x4HDD то устанавливать voldbloсksize=4k?
Nick
Nick
иначе там какая-то дикая неоптимальность по использованию места если это не сингл диск/зеркало
Nick
да и кстати - рейдз1 наверное на 4 диска будет интереснее. Чуть медленнее, но места сильно больше
Art
Хочу определиться для начала по итогу с параметрами zvol для виндовых виртуалок, если raid10 x4HDD то устанавливать voldbloсksize=4k?
тебе важнее не какой райд и ашифт у него, а какая нагрузка, какие процессы исполняться будут. Вообще, дефолтные 8K у ZVOL норм, можешь их и оставить
Nick
рейд10 вообще верный способ выстрелить в ногу в плане надежности, кроме случаев, когда это специально для чего-то и потеря данных не страшна
local
тебе важнее не какой райд и ашифт у него, а какая нагрузка, какие процессы исполняться будут. Вообще, дефолтные 8K у ZVOL норм, можешь их и оставить
Пока речь идет о виндовых терминалах, никаких БД там не будет. Запуск офисных приложений, браузеров и тп.
Art
рейд10 вообще верный способ выстрелить в ногу в плане надежности, кроме случаев, когда это специально для чего-то и потеря данных не страшна
рейдз1 будет ограничен по записи скоростью одного диска, а у рейд10 из 4 дисков запись будет удвоенная. Вообще, зеркала это самый крутой тип рейда по всем статьям, в том числе и по надежности. Единственный (и огромный) минус это его дороговизна зеркала
все рейдZ на самом деле для файлохранилищ с частым чтением и редкой записью. Для ВМ и баз данных они откровенно плохи
Nick
рейдз1 будет ограничен по записи скоростью одного диска, а у рейд10 из 4 дисков запись будет удвоенная. Вообще, зеркала это самый крутой тип рейда по всем статьям, в том числе и по надежности. Единственный (и огромный) минус это его дороговизна зеркала
все рейдZ на самом деле для файлохранилищ с частым чтением и редкой записью. Для ВМ и баз данных они откровенно плохи
ну то в теории удвоенная. если без нагрузки. Если с нагрузкой то там очень быстро все становится так же
Nick
хотя я вот не очень помню как сейчас у зфс идет подтверждение транзакции, после первой удачной записи или после всех
Nick
рейдз1 будет ограничен по записи скоростью одного диска, а у рейд10 из 4 дисков запись будет удвоенная. Вообще, зеркала это самый крутой тип рейда по всем статьям, в том числе и по надежности. Единственный (и огромный) минус это его дороговизна зеркала
все рейдZ на самом деле для файлохранилищ с частым чтением и редкой записью. Для ВМ и баз данных они откровенно плохи
ну, не хороши или плохи, а подходят под нагрузку или не подходят.
Nick
если там нвме то кроме отдельных случаев узким местом будет совсем не скорость диска