Думал и на потери пакетов по NFS и на кеши Proxmox дисков

и на тип диска

Просто спонтанно с ubuntu 14 крашится диск крайне редко

при том если начал

то будет повторяться постоянно чуть ли не каждый день)))

бредятина полная

а вот со снапшотом я вообще ахринел

Я вот хочу в звол под контейнер вырубить кеширование в хелпе нашёл zfs set --help ... primarycache YES YES all | none | metadata secondarycache YES YES all | none | metadata ... Это выключаю и всё?

да, этого достаточно. Но, кмк - не любите вы себя))), раз такое хотите сделать.

да, этого достаточно. Но, кмк - не любите вы себя))), раз такое хотите сделать.

там нижэе вопрос, он ответ на то почему я так делаю

fio --directory=/nvme/subvol-100-disk-0/ --name=read --rw=read --bs=8k --size=200G --numjobs=1 --time_based --runtime=60 --group_reporting --ioengine libaio --iodepth=32 fio --directory=/nvme/subvol-100-disk-0/ --name=test --rw=randread --bs=8k --size=10G --numjobs=1 --time_based --runtime=60 --group_reporting --ioengine libaio --iodepth=32 fio --directory=/nvme/subvol-100-disk-0/ --name=test --rw=write --bs=8k --size=10G --numjobs=1 --group_reporting --ioengine libaio --iodepth=32 fio --directory=/nvme/subvol-100-disk-0/ --name=test --rw=randwrite --bs=8k --size=10G --numjobs=1 --group_reporting --ioengine libaio --iodepth=32

Ну и тесты решил вот так провести

так поддержка nvme идёт в ядре. или речь о каком-то другом драйвере?

о нём самом

просто есть мнение что этот драйвер с оф сайта чем-то отличается от поставляемого с ОС

хочется прверить это мнение

прочёл всё, крайне познавательно), такое надо прям в инфе о чате выкладывать)), или в закрепе))

это первое что я прочёл )

Прежде чем сюда написать что-то )

просто есть мнение что этот драйвер с оф сайта чем-то отличается от поставляемого с ОС

в таком случае лучше мерять само устройство. /dev/.... указывать в filename=

в таком случае лучше мерять само устройство. /dev/.... указывать в filename=

но такой тест выходит попортит данные в пуле?

ну наверное тут есть некий смысл, у меня есть там не очень критичный раздел, померяю на нём ещё дополнительно кроме замеров на зволюме

но такой тест выходит попортит данные в пуле?

если с записью? да

убрать его из пула на время тестов

он на кешировании, я просто убрал его да

интересно сравнить теперь будет как тест проходит с ZFS и без)

один и тот же тест

READ: bw=13.6MiB/s (14.3MB/s), 13.6MiB/s-13.6MiB/s (14.3MB/s-14.3MB/s), io=817MiB (857MB), run=60001-60001msec READ: bw=7529MiB/s (7894MB/s), 7529MiB/s-7529MiB/s (7894MB/s-7894MB/s), io=441GiB (474GB), run=60001-60001msec

первый через zfs, второй на прямую)

READ: bw=13.6MiB/s (14.3MB/s), 13.6MiB/s-13.6MiB/s (14.3MB/s-14.3MB/s), io=817MiB (857MB), run=60001-60001msec READ: bw=7529MiB/s (7894MB/s), 7529MiB/s-7529MiB/s (7894MB/s-7894MB/s), io=441GiB (474GB), run=60001-60001msec

такой разницы не должно быть. Что-то с тестами неправильно

такой разницы не должно быть. Что-то с тестами неправильно

у ZFS включено сжатие нулей)

я так понимаю он меряет скорость уже ужатой инфы

зато иопсы смотри

io это же иопсы?

так поддержка nvme идёт в ядре. или речь о каком-то другом драйвере?

https://www.samsung.com/semiconductor/support/openmpdk/

io это же иопсы?

нет, это общий объём записанных/прочитанных данных. IOPS так будут иопсы

ммммм

тогда что может быть не так?

наверное нужно теперь разобраться с fio? как её правильно "готовить"

fio --directory=/nvme/subvol-100-disk-0/ --name=read --rw=read --bs=8k --size=200G --numjobs=1 --time_based --runtime=60 --group_reporting --ioengine libaio --iodepth=32

и что тут не так?

перед тестами я сделал вот так

zfs set primarycache=none nvme/subvol-100-disk-0 zfs set secondarycache=none nvme/subvol-100-disk-0 zfs set atime=off nvme/subvol-100-disk-0 zfs set compression=zle nvme/subvol-100-disk-0 zfs set dedup=off nvme/subvol-100-disk-0

Попробую выключить сжатие вовсе

и что тут не так?

может и всё так). Вы сейчас попробуйте описать теперь обычным "человеческим" языком что меряете и каким образом такой командой. Когда объясняешь - и самому становиться понятнее)

может и всё так). Вы сейчас попробуйте описать теперь обычным "человеческим" языком что меряете и каким образом такой командой. Когда объясняешь - и самому становиться понятнее)

объясняю, взял первые попавшиеся тесты в инете))

отключение компрессии только ухудшило результаты, в процем с районе погрешности, всёравно всё плохо)

объясняю, взял первые попавшиеся тесты в инете))

тогда лучше задавать вопрос "что не так" - авторам этих тестов))) fio - это инструмент, как молоток. Молотком можно гвозди забивать, можно орехи колоть. Можно и пальцы отбить. Поэтому - спросите себя: "что я хочу померять?"

я хочу померять изменение латенси в нагрузке на обычном драйвере и на этом новомодном

нагрузка пларируется в виде тарантула, постгреса

такое

я хочу померять изменение латенси в нагрузке на обычном драйвере и на этом новомодном

очень обобщённо. измерить латенси в потоковом чтении? в потоковой записи? в случайном чтении? в случайной записи? в случайном чтении-запись? Померять файл на ZFS, померять zvol на ZFS, померять девайс? И таких вопросов перед составлением теста для fio может быть и больше)

такое

с постгресом на ZFS будет все плохо

с постгресом на ZFS будет все плохо

почему же?

почему же?

Никогда не догонете XFS рекомендуемый по скорости, отставание будет в разы

Никогда не догонете XFS рекомендуемый по скорости, отставание будет в разы

ну внутри виртуалки может и будет xfs

zfs будет на гипервизоре

ну внутри виртуалки может и будет xfs

Вы думаете если добавите слоев то ускорите операции?)

с постгресом на ZFS будет все плохо

вы это зря) Но переубеждать не буду. У каждого своя вера)

Каждый слой -10% минимум даст

вы это зря) Но переубеждать не буду. У каждого своя вера)

Я не верю-тестил

Но у нас конечно write >50%

соберите на ssd

пул специално для БД

соберите на ssd

А вы думаете куда постгрес упирается)))) в латенси SSD как раз у нас

хотя если U2 но тамо бюджет.... только полка будет стоит тыщ 300

Но мы пересмотрели задачи и ушла на Кликхаус

и получили выигрышь в 100 раз по скорости

для каждой задачи своя БД

Я не верю-тестил

я тоже. 1 млн. tps pgbench -S, и около 90000 tps на полном TPC-B

Какие настройки пула использовали?

Какие настройки пула использовали?

wal на отдельном пуле из оптанов. база на пуле raid-10 из 4х nvme + slog на оптане для wal recsize 128k, для базы 16k в пг отключено всё что уже обеспечивается самой zfs

вы это зря) Но переубеждать не буду. У каждого своя вера)

Я всё ещё не понимаю откуда у меня такая просадка получается

Но мы пересмотрели задачи и ушла на Кликхаус

ну если у вас не OLTP, то очень правильное решение

такой разницы не должно быть. Что-то с тестами неправильно

# ls /dev/nvme0n1p1* /dev/nvme0n1p1 /dev/nvme0n1p1.0.0

я тестил не NVME вовсе))

он создал файл в dev))

что-то я пока не вкурил как там передать раздел, разбираюсь

что-то я пока не вкурил как там передать раздел, разбираюсь

nvme list потом через filename= в fio указать имя устройства

wal на отдельном пуле из оптанов. база на пуле raid-10 из 4х nvme + slog на оптане для wal recsize 128k, для базы 16k в пг отключено всё что уже обеспечивается самой zfs

Обычно размер страницы же 8кб, не?)

Обычно размер страницы же 8кб, не?)

обычно 128к, 8к это если речь про проксмокс

Обычно размер страницы же 8кб, не?)

Да. Но тогда компрессия получается хуже. А с 16к сжимается лучше и при этом tps особо не страдает. При recsize 64/128 сжатие просто отличное, но оверхед по размеру блока даёт просадку в tps