для zfs пока 64 гига

вам не нужен ssd в качестве кэша. А вот то что вам даёт ssd в качесте SLOG проверяется следующим образом: pveperf /rpool zpool remove rpool sda2 pveperf /rpool zpool add rpool log /dev/sda2 pveperf /rpool внимательно изучаете FSYNCS/SECOND:

FSYNCS/SECOND: 535.59 с ssd vs FSYNCS/SECOND: 105.48 без

FSYNCS/SECOND: 535.59 с ssd vs FSYNCS/SECOND: 105.48 без

а что за ssd у вас?

при линейной записи будет такое же соотношение ?

а что за ssd у вас?

evo pro 850

ессно потом куплю что-то более подходящее

evo pro 850

это же консьюмерская модель?

я знаю )

меня скорее линейная скорость интересует, т.к. на сата и на прод ссд будет не сильно большая разница

при линейной записи будет такое же соотношение ?

тут нет такой взаимосвязи. SLOG нужен для ускорения синхронной записи/fsync

ок, понял

я знаю )

Данные будут потеряны. 😊

ето тесты. потом будет зеркало из двух нормальных ssd

FSYNCS/SECOND: 535.59 с ssd vs FSYNCS/SECOND: 105.48 без

вот мой пример: FSYNCS/SECOND: 2528.33 INTEL SSDSC2BB150G7

это сата ?

это сата ?

да

весьма неплохо

в качестве SLOG нужно ставить не быстрые в плане скорости, а быстрые в плане latency

у меня проблемка в том, что sata3 портов только 2.

остальные sata2

короч оптан идеально бы зашел ))

hdd диски в пуле будут на sata3?

короч оптан идеально бы зашел ))

да. на данный момент это идеальный выбор - P4801X

hdd диски в пуле будут на sata3?

диски вставлены в корзины, там всё ок. в корзине более нет мест.

у меня проблемка в том, что sata3 портов только 2.

ssd встаёт в sata3 или только sata2 остался?

под ssd 2 порта sata3 будет

под l2arc уж не будет места

под ssd 2 порта sata3 будет

тогда в чём проблема?

кэш записи и кэш чтения

это не кеш записи и кеш чтения :) logs - это slog - журнал синхронной записи cache = l2arc - вытеснение ARC кеша на чтение на ssd, по дефолту игнорит поточное чтение

под l2arc уж не будет места

он вам не нужен

т.е. 64 гига рамы будет за глаза ?

т.е. 64 гига рамы будет за глаза ?

да

сколько всего памяти будет на хосте и общий размер пула?

пул 40ТБ. пока рамы всего 128, но планируется забить минимум до 256

рамы добавить проще, чем ssd, в моем случае

пул 40ТБ. пока рамы всего 128, но планируется забить минимум до 256

я думаю что l2arc не для вашего случая. По крайне мере до тех пор пока не будет исчерпана доступная память для zfs. Мониторьте arcstat

Шаблон для мониторинга zfs для zabbix - https://github.com/Cosium/zabbix_zfs-on-linux

а еще меня один момент интересует: под slog можно весь ssd отдавать или лучше выровненную партицию ?

а еще меня один момент интересует: под slog можно весь ssd отдавать или лучше выровненную партицию ?

под slog много вообще не нужно, гигабайт 10 обычно с головой

ну что-то ещё держать на ссд не хорошо, т.к. это будет снижать производительность

ну что-то ещё держать на ссд не хорошо, т.к. это будет снижать производительность

А вам slog то вообще нужен?

канешна

лучше посмотреть на special allocation classes тогда, метадату на ссд вытащить всю

без него производительность дно

лучше посмотреть на special allocation classes тогда, метадату на ссд вытащить всю

можно на зеркало из ssd вытаскивать ?

без него производительность дно

ну смотря что крутите. Для синхронной записи маст хев, для колд стораджа не сильно нужно

можно на зеркало из ssd вытаскивать ?

да

круть

спасибо, гляну

надобность slog можно проверить установив sync=disabled для теста, если сильно меняется перформанс - slog стоит ставить, и его стоит зеркалировать тогда

меняется весьма ощутимо

меняется весьма ощутимо

и если не хотите что-то ещё на эти ссд вешать - лучше сделать дискард на весь ссд, и выделить небольшую партицию для slog, чтобы ссд свободным местом мог срок службы себе увеличить

вы просто протестите сколько за 5 секунд slog можете забить синхронной записью, сделайте x3 и больше вам не надо

вы просто протестите сколько за 5 секунд slog можете забить синхронной записью, сделайте x3 и больше вам не надо

о, а где глянуть статистику по наполнению slog ?

о, а где глянуть статистику по наполнению slog ?

zpool iostat

о, а где глянуть статистику по наполнению slog ?

free вроде на слог и покажет сколько он занял, плюс zpool iostat -r|v|w в помощь, можно посмотреть сколько за секунду, к примеру, успевает записаться

с slog случайная запсиь прямо мега хорошо идёт. показатели почти в 6 раз превосходят возможности hdd массива. а вот последовательная запись крайне печальная - в среднем 256MB/s. как-то можно затюнить последовательную запись ?

на продолжительном тесте вообще 100MB/s, когда как рандом блоками 8К на продолжительном тесте держится около 85MB/s

с slog случайная запсиь прямо мега хорошо идёт. показатели почти в 6 раз превосходят возможности hdd массива. а вот последовательная запись крайне печальная - в среднем 256MB/s. как-то можно затюнить последовательную запись ?

для начала посмотри в zpool iostat на что последовательная придёт

она скорее всего тоже на slog придёт, и вот тут твоя ssd видимо последовательную запись не очень смогла (а синхронная последовательная запись для ссд будет примерно похожа на случайную, если io depth не будет особо)

очень похоже что вы просто ссд свой утилизировали полностью

очень похоже что вы просто ссд свой утилизировали полностью

тот же тест напрямую на устройство или через dd показывает совсем другие результаты. т.е. получается, что на самом деле в zfs последовательной записи не случается ?

очень похоже что вы просто ссд свой утилизировали полностью

ну возможно. ssd хоть и типа pro, но по сути дно.

тот же тест напрямую на устройство или через dd показывает совсем другие результаты. т.е. получается, что на самом деле в zfs последовательной записи не случается ?

смотря как вы тестите) конкретные команды в студию

с slog случайная запсиь прямо мега хорошо идёт. показатели почти в 6 раз превосходят возможности hdd массива. а вот последовательная запись крайне печальная - в среднем 256MB/s. как-то можно затюнить последовательную запись ?

а ashift чему равен?

смотря как вы тестите) конкретные команды в студию

таакс, что-то случилось 😃 чегой-то скорость сильно упала на dd напрямую

но всё же повыше

а ashift чему равен?

на пуле 12

таакс, что-то случилось 😃 чегой-то скорость сильно упала на dd напрямую

ну вот, шаманите) В slog не лазил, но zfs да, редко последовательно пишет, особенно синхронную запись он в последовательную особо не с оптимизирует, плюс там не 1 io точно будет на каждый входящий io, а больше

сделал выравнивание партиции и получил буст на dd

а дискард разве не деструктивен на ssd ?

трим по таймеру не лучше ?

а дискард разве не деструктивен на ssd ?

дискард - как очистка диска и создание чуть меньшего раздела. чтобы для provisioning осталось место

ну вы абсолютно не честным 64МБ блоком тестите) смысл это как-то сравнивать

а дискард разве не деструктивен на ssd ?

наоборот

так линейноая запись, не ?

наоборот

а чего тогда в линукс дистрах от дискарда отказываются и рекомендуют трим ?

так линейноая запись, не ?

ну так вы добейтесь от какого-то приложения честный блок 64МБ