в прицнипе всё бьётся с теорией: у тебя запись как у одного диска, у меня как у двух
Да весьма похоже
T
T
ну да, вот мне и стало интересно сравнить. Запись выше, места меньше, вот и сиди-выбирай)
Ну для дома имхо место больший приоритет
Art
да, SMR работоспособен, пока были только частные проблемы с конкретными моделями WD
T
да, я наверное в итоге поддамся жабе, и сделаю RaidZ
Все правильно, а то где хранить видео с Геленджикской оргии 1997 )
Art
может я чего-то не догоняю но чем raid10 лучше чем raid6?
Быстрее, как заметил Andrey , что уже здорово!
А ещё расширяются зеркала на изи. Для RaidZ расширяемость всё ещё не завезли в стейбл-релиз вроде.
Ну и ещё на зеркале нет этой проблемы с оверхедом
https://github.com/openzfs/zfs/issues/1807
Вроде... всё🤔
Andrey
Наискось читал чтото по ZFS. Завезли расширение raidz но через гланды: физические устройства загонять в vdev а из него собирать raidz и тогда можно vdev расширять и райдз тоже
Ivan
Ivan
vdev это слой которго не избежать
Ivan
и через добавление vdev вродь всегда можно было расширять
Andrey
ну вот :)
Алексей
Добрый день, подскажите, есть ли у zfs опция запрета использования swap для arc кеша?
Vladislav
Добрый день, подскажите, есть ли у zfs опция запрета использования swap для arc кеша?
Если не ошибаюсь, то arc не свопится в swap.img
Egor
Добрый день, подскажите, есть ли у zfs опция запрета использования swap для arc кеша?
Так arc вроде в оперативке только? Забивает её до упора и всё, далее если ядру нужна RAM - zfs освобождает её
Vladislav
Andrey
Так arc вроде в оперативке только? Забивает её до упора и всё, далее если ядру нужна RAM - zfs освобождает её
это работает не так гладко как хотелось бы
Andrey
скорее надо быть готовым к тому что оперативка не будет освобождена
Egor
это работает не так гладко как хотелось бы
У меня на фряхе это работает идеально, за несколько лет ни разу проблем не видел
Andrey
У меня в проксе 7.0 с ума ноды кубера сходили, пока не орграничил по памяти arc. Виню ksm и balooning, но четко связи не смог проставить
Andrey
А не подскажете как посмотреть реальное свободное место на пуле/fs при использовании дедупликации и сжатия?
Vladislav
У меня на фряхе это работает идеально, за несколько лет ни разу проблем не видел
ложное утверждение.
и старая ZFS и openZFS захватывают память и плохо освобождают
Andrey
я думаю в кейсас стандалоне серверов с небольшим количеством процессов работает идеально, но с виртуализацией и контейнеризацией не всё гладко
Δαρθ
скорее надо быть готовым к тому что оперативка не будет освобождена
echo 3 > /proc/sys/vm/drop_caches сбрасывает большую часть занятого
Andrey
так я и выяснил что арк виноват
Georg🎞️🎥
Fedor
надо смотреть количество одновременных потоков, с физикой не поспоришь
Georg🎞️🎥
Ну в программе один файл типа за другим идёт последовательно
И порой выдаёт эти скорости на небольшом этапе 🤔
Ivan
Ivan
Вы о 128к который ?👋
да. когда в основном идет запись больших файлов, то полезно увеличить блок.
Georg🎞️🎥
да. когда в основном идет запись больших файлов, то полезно увеличить блок.
А разве применится это к уже записанным данным ? И опять таки, в тесте вон все здорово 🤷🏻♂️
Ivan
А разве применится это к уже записанным данным ? И опять таки, в тесте вон все здорово 🤷🏻♂️
так а важнее писать или читать ? если реальность не совпадает с тестом, значит профиль нагрузки другой.
Georg🎞️🎥
так а важнее писать или читать ? если реальность не совпадает с тестом, значит профиль нагрузки другой.
Читать важнее. Запись идёт только когда мы по сути закидываем материял , с ней все ок
Ivan
Читать важнее. Запись идёт только когда мы по сути закидываем материял , с ней все ок
случаем не hls пишется ?
Ivan
Ходим по smb
а подробней. файл должен копироваться или смотрится поточно ?
какого размера файл ? сколько клиентов одновременно ?
Georg🎞️🎥
а подробней. файл должен копироваться или смотрится поточно ?
какого размера файл ? сколько клиентов одновременно ?
В этой конкретной операции - 1 клиент. Он(они) читаються и кодируются сразу . С внутреннего ssd скорость кодирование сильно выше, то бишь я в мощность машины не упираюсь
Ivan
тесты тоже по самбе проводятся ?
Georg🎞️🎥
Думаю вот может свич помощнее нужен для видео 🤔🤷🏻♂️
Алексей
Так arc вроде в оперативке только? Забивает её до упора и всё, далее если ядру нужна RAM - zfs освобождает её
Похоже, что нет, у меня PVE на сервере с 128gb ОЗУ + 50gb swap, у VM выключен ballooning. Картина складывается такая: Running VM Reserved: 115 GB, ARC SIZE = 28 GB. При серьезных нагрузках на диски (как внутри vm, так и на хосте) процессы zfs нажинают выжирать cpu на 100% и сервер начинает жутко тормозить. Если сделать swapoff -a, ARC значительно уменьшается, сервер начинает работать значительно быстрее, при тех же нагрузках.
Алексей
именно проц выжирает или io wait?
io delay поднимается, но не значительно, где то до 2-3%. В графиках PVE это выглядит так (запустил клон VM):
Алексей
Алексей
хера се
Алексей
получается что дисковая подсистема не нагружена
Алексей
проблема в чём то другом
Алексей
да.. и с выключенным swap нет таких нагрузок на cpu...
Георгий
свап же на зфс еще не так просто сделать, может накастыляли чего?
Ivan
свап же на зфс еще не так просто сделать, может накастыляли чего?
есть несколько способов его сделать на zfs. один прям проще некуда.
Георгий
ну по крайней мере в тупую как на ext4 - не получается
Алексей
кстати, без swap, но с zram, поведение 1 в 1 такое же.
LordMerlin
Сорян за кросспостинг, думаю тут уместно будет
LordMerlin
Очешуеть не встать.
Официальный ман Proxmox вот такое советует
# sgdisk <healthy bootable device> -R <new device>
А во всех остальных манах по инету пишут так
sgdisk -R <New_Disk> <Existing_Disk>
Ну таки я поверил Проксу, блэт...)))
И теперь х.з. чо делать)))
Пул пока жив, но похоже перезагружаться ни в коем случае нельзя, пока не исправлю как то))))
Воткнул другой диск, взаместо сбойного. Хотел скопировать таблицу разделов на него с рабочего, Гуид сгенерить и сделать реплейс
А теперь получается один диск в статусе "недоступен", тот что умер, а второй, с убитой таблицей, скопированой с чистого)))
LordMerlin
zpool status главное показывает что с тем, ошибочно стертым диском пока все хорошо. И в ГУИ Прокса показывает что разделы на месте))
А sgdisk -p на обоих дисках показывает пустоту))
Aleksandr
всё правильно в доке проксмокса написано, не раз так делал:
sgdisk ata-Samsung_SSD_870_QVO_2TB_S5SUNF0NC09265H -R ata-Samsung_SSD_870_QVO_2TB_S5SUNF0NC09305K
man sgdisk нам говорит, что:
-R, --replicate=second_device_filename
Maverick
LordMerlin
всё правильно в доке проксмокса написано, не раз так делал:
sgdisk ata-Samsung_SSD_870_QVO_2TB_S5SUNF0NC09265H -R ata-Samsung_SSD_870_QVO_2TB_S5SUNF0NC09305K
man sgdisk нам говорит, что:
-R, --replicate=second_device_filename
Читал я и Ман тоже.
Только какого он тогда наоборот сделал?
LordMerlin
И выходит весь остальной интернет ошибается?
Aleksandr
никто нигде не ошибается, копировать она будет на тот девайс, что вы указали после параметра -R
Хоть так хоть сяк пиши: sgdisk <healthy bootable device> -R <new device> = sgdisk -R <New_Disk> <Existing_Disk>
Alexander
И выходит весь остальной интернет ошибается?
Имеющийся диск - первый неименованный аргумент (позиционный), всё логично.
Где мы вкорячим именованный аргумент с -R - значения не имеет, это уже именованный параметр.
LordMerlin
Вооот, теперь я понял. Думал, что это просто ключ, указывающий какую именно операцию делать. А оно еще и указывающий на приемник.
Vladislav
Коллеги, я ведь правильно наглулил и я не могу поменять уровень рейда с stripes (raid0) на raidz (raid5) без переразворачивания всего пула?
P.S. Сейчас 1 диск пустой рядом и 6 дисков (nvme) в stripes (raid 0)
George
George
а zpool remove не работает если в пуле есть raidz пока
riv
Очешуеть не встать.
Официальный ман Proxmox вот такое советует
# sgdisk <healthy bootable device> -R <new device>
А во всех остальных манах по инету пишут так
sgdisk -R <New_Disk> <Existing_Disk>
Ну таки я поверил Проксу, блэт...)))
И теперь х.з. чо делать)))
Пул пока жив, но похоже перезагружаться ни в коем случае нельзя, пока не исправлю как то))))
Воткнул другой диск, взаместо сбойного. Хотел скопировать таблицу разделов на него с рабочего, Гуид сгенерить и сделать реплейс
А теперь получается один диск в статусе "недоступен", тот что умер, а второй, с убитой таблицей, скопированой с чистого)))
Вот по этому, подобную операцию надо делать через pipe или в два приема:
# sfdisk -d [SOURCE] | sfdisk [DESTINATION]
# sgdisk -b - [SOURCE] > [part_table]
# sgdisk -l - -Gg [DESTINATION] < [part_table]
Я когда help почитал от sgdisk тоже был в недоумении, по поводу отсутствия слов source и destenation. Help, мягко говоря, может ввести в заблуждение.
По этому сразу делал через файл.
LordMerlin
Да, так надёжнее, согласен.
Но уже открыли мне глаза, что -R это не только опция указывающая что делать, но и указывающая на выход.
Grace Gray has been banned! Reason: CAS ban.
George
Зеркало можно разобрать же, и потом сделать из него что угодно
* что угодно, если это угодно - зеркало :)
George
да, stripe можно превратить в миррор
George
и обратно
Egor
Ну так то можно накинуть дисков и уж точно что угодно)
George
проще сказать, что stripe может быть зеркалируемый, т.к. с raidz vdev никаких действий уже сделать не получится, как и из stripe сделать raidz
George
ещё есть удобная штука - пул из 1 миррора можно разделить штатно на 2 пула по 1 диску в каждом, будут идентичные по данным