Georg🎞️🎥
на свежезагруженной для эксперимента машине, без постоянного l2arc, то есть и ARC и L2ARC оба пустые, никакой истории нет, поэтому файл сарзу кешируется читаем 500 гига файл (с масива стабильное чтение 1 гиг/сек) - тут жаже без сетки эксперимент RAMы скажем 16 L2ARC скажем 500 [off](при этом мы знаем что первые 12 гига могут записаться со скоростью больше чем читается с масива, скажем 1.6 но это не важно - главное быстрее) а оставшиееся 488 - со скоростью 200 мегасеков[/off] и так читаем мы скажем в нуль или в сетку 40 гига - во что-то много быстрее чем все кеши и т.п. (ну кроме памяти) считали первые 16 гига.... заполнили кеш в памяти - скорость чтения с масива - 1 гиг считали еще 12 гига... заполнили кеш на кеш-диске - скорость чтения с масива - 1 гиг (кеш то быстрее) поехали читать оставшиеся 472 гига (из файла в 500) - скорость чтения с масива - 1 гиг что произойдет ? 1. скорость чтения с масива упадет до скорости записи в l2arc ? 200 мега - ведь он будет тормозится скоростью записи l2arc ? 2. скорость масива останется 1 гига - но как оставшиееся 472 гига попадут в l2arc - ведь они туда не успеют записатся до окончания чтения файла (472 секунды, а что бы их записать в l2arc надо в 5 раз больше - 2360 секунд) то есть данные считаются с пула не успевая записатся в кеш и часть данных просто не попадет в кеш ? 3. допишутся потом потихоньку, раз файл надо закешировать, или просто проигнорируются ?
Y
Возьми да поставь эксперимент. У тебя какие-то очень странные условия. Кэш медленнее пула - эт вообще прям пять
Большенство ССД имеют на запись небольшой (скажем 16гига) кеш который пишется со скоростью скажем 2 гига, а весь остальной объем пишется медленнее, скажем 400 мега а то и 200. Так что да, прилинейном чтении с пула кеш может быть медленнее на запись
Алексей
В L2ARC после одногопрогонного последовательного чтения залетит чуть больше чем ничего
Алексей
Почему?
Не знаю, алгоритм так работает. Туда вымещаются данные из ARC а по какому принципу неизвестно
Y
Но это и не важно если не знаешь ответ. Тут речь о теории
Y
Не знаю, алгоритм так работает. Туда вымещаются данные из ARC а по какому принципу неизвестно
Ты это проверял? Я да. В момент чтения файла (большего чес арк) второй кеш тоже заполняется
Алексей
Как по мне л2 слегка бесполезно
Алексей
Я проверял
central
Как?
Гугл в помощь, там же поймешь почему он не заполняется при линейном чтение и как на это можно повлиять
Алексей
Спасибо умный человек
Y
Собсвтенно вот ответ... Я про эту переменную не подумал...
Y
Собсвтенно вот ответ... Я про эту переменную не подумал...
хотя всё еще не ясно допустим включено кеширование "стримов" - замедлится чтение с пула ?
Y
ФСЕ, кстати еще вопрос - встречал такое на просторах что для l2arc надо где-то 70 байт в памяти на блок то есть при ашифт=12 на 1 тера кеша может понадобится 18 гига РАМы, если сделать ашифт=13 - то уже "всего" 9 гига... и т.д. а в l2arc блоки переменного размера или нет ?
Y
а где то пишут 400 байт 😱 (это уже 100+ гига РАМы на 1 тера кеша) - кому верить?
Georg🎞️🎥
хотя всё еще не ясно допустим включено кеширование "стримов" - замедлится чтение с пула ?
Лично у меня непосредственное чтение больших файлов с u2 ssd по smb прироста не давало 🤷🏻‍♂️
George
Почему?
потому что последовательный доступ будет зря вымывать кеш, arc и l2arc к этому устойчивы и всё, что прошло через префетчер, не будут надолго кешировать. Только если к этим данным сразу ещё ещё пару раз обратятся
George
префетчер вообще мало кто кеширует, ибо вымывать кеш никто не хочет
Y
Вот же писали недавно
пруфы есть - а то это просто еще одно мнение в комплект к 70 байтам и 400ам - как раз оно где то посередине
Y
я просто взвешиваю что лучше special vdev или l2arc грубо говоря 4 диска nVME по 128-256 гига стоят копейки но вот что лучше (для переживания перезагрузок и быстрого доступа к метаданным) лучше сделать special vdev на 100/200 гига из них (3е + спаре или 4е сразу зеркало и не парится) или l2arc на 500-1000 гига...
George
ну и кейсы совершенно разные для них, определитесь чего хотите сначала
Y
ну и кейсы совершенно разные для них, определитесь чего хотите сначала
"иметь быструю метадату" после перезагрузки (когда РАМа пустая)
Y
вместо l2arc всегда лучше озу докинуть)
это ясно - если есть куда - мне некуда
Y
тогд special vdev однозначно
я тоже к этому склоняюсь - но это не опасно ? ведь уже назад не уберешь потом
George
сомневаетесь - погоняйте тесты сначала
Y
на RAIDZ2 масив я так понимю минимум 3е зеркало
Georg🎞️🎥
вместо l2arc всегда лучше озу докинуть)
Озу дорого ))) и там, куда «хотя бы» полтора два тера ОЗУ можно докинуть, цены на железки огого и на саму озу 🤔 Улучшит ли спешил ведев потоковое чтение ? Или в большом озу мета и так влезет ?🤔 что то читал , что мета это мол 0,3 от пула, блин пул то у меня 300тер и еще раздует его скоро на 80-100😱
Y
Озу дорого ))) и там, куда «хотя бы» полтора два тера ОЗУ можно докинуть, цены на железки огого и на саму озу 🤔 Улучшит ли спешил ведев потоковое чтение ? Или в большом озу мета и так влезет ?🤔 что то читал , что мета это мол 0,3 от пула, блин пул то у меня 300тер и еще раздует его скоро на 80-100😱
я тоже читал за 0.3% - мне проше - у меня всего 30 - то есть должно хватить диска на 128 гига (но у меня все равно только 256 есть несколько) - но спешл это зеркало - зеркало на чтение это хорошо (я так понимю оно читается одновременно со всем дисков как страйпе), а вот на запась как один диск
Y
самый важный вопрос про special - если от отвалится пул умрет или вернется живым после того как special вернется ? поясню: перед тем как переходить на ZFS я ее плотно тестировал (было времени больше) - например я четко проверил что если отвалится (например кабель проблемный) больше дисков чем позволяет избыточность, то с пулом ничего не случится и он оживет когда диски вернутся вопрос или такое же происходит с отвалом (не смертью) спешил - то есть скажем у меня спешл на отдельном контроллере САТА (или на отдельном райзере nVME ) - сдох контроллер или кабели или еще что... после того как спешл снова станет доступен - пул останется живой как в случаи с обычными его дисками ?
Georg🎞️🎥
special vdev
0,3 от размера пула ? 🤔поможет ли ? На больших файлах потокового чтения
Georg🎞️🎥
я могу предоставить свой кейс
Опишите, если не затруднит, видимо , я все равно буду тестировать 🤔
Fedor
По наблюдениям у меня было так
Georg🎞️🎥
это не для этого
Мне типа вообще ничего не поможет 🤣🤣🤣
Fedor
Зависит от размера блока на самом деле
Алексей
Georg🎞️🎥
Так и есть
Короче , l2 не стоит иметь сильно больше чем рам видимо 🤔полагаю, антологичного объема хватит 🤔
Fedor
Л2 не имеет смысла иметь пока рамы не забито под завязку
Georg🎞️🎥
какая там команда чтобы здб вывел таблицу?
Ой ну вы нашли кого спросить )))) я нуль)) железки и личный кейс еще кое как волоку )) команды - увы ((
Алексей
ждать 10 минут примерно
Fedor
В случае перекоса коэффициентов с л2 будет медленнее, чем без него
Georg🎞️🎥
Л2 не имеет смысла иметь пока рамы не забито под завязку
Под заыазКу возможности проца и матери ? 🤔
Y
какая там команда чтобы здб вывел таблицу?
да он ее 2 года будет выводить на большом пуле...
Y
(вот тут может и поможет спешл)
Georg🎞️🎥
Да
На основном - 192, на тестовом - 400, сделать 24 слота по 32gb пока дорого😱(((
Y
estimated time remaining: 0hr 05min 34sec
у меня несколько часов на 30 тера заняло
Fedor
Тогда л2 не надо вообще - будет еще хуже
Georg🎞️🎥
у меня несколько часов на 30 тера заняло
На 300 будет несколько десятков часов ? )))
Y
special... :)
у тебя есть ! таки ?
Алексей
так я ж говорю могу предоставить свой кейс.
Алексей
у тебя есть ! таки ?
есть конечно
Алексей
я эксперементировал с л2 сначала - но пришел к выводу что это порожняк
Georg🎞️🎥
A lot of RAM will kill alarm)))