Georg🎞️🎥
Autumn
Ssd. … ясно 👌
Тут два аспекта, полка чисто на хдд ни на что кроме хранения бэкапов не годится, а гонять зфс на хдд без slog на ссд или иногда спешл девайс на ссд это вообще беда-беда, даже под бэкапы бывает плохо ей. А некоторые еще l2arc на ссд прикручивают. Так что не вставить в полку ссд мне кажется не очень удачная идея.
Илья
Autumn
Кстати по этому поводу у 45drives недавно было видео. Оно конечно немного искуственное, но общую картину показывает.
Илья
Алексей
Autumn
А что за спешл? Просветите, пожалуста
Special device ссд подключенный к пулу (после сборки пула его удалить нельзя, поэтому его надо делать из миррор или трипл миррор ссд), на него льются метаданные и мелкие файлы.
Алексей
Maxim
ZIL?
Autumn
Autumn
Autumn
https://youtu.be/0aM1iZJkOaA?feature=shared
Autumn
Вот тут разница между чисто хдд пулом и хдд+спешл
Илья
Autumn
Autumn
Там метаданные жеж. Как вы хотите получить доступ к данным, если у вас умрут метаданные?
Autumn
А если и мелкие файлы туда лить, то при удалени спешл девайс вы просто удаляете все эти мелкие файлы.
Игорь
Uщеm паptнеpoв для тpeйдuнга крuптoвалютамu!
У нac мeсtо каk для опыtныx пpoфессuоналoв, таk u для новuчкoв.
Глaвнoe - вaшe желанue u усеpдuе.
Хотutе узнatь 6ольше? Напuшuте мне в лuчные соо6щенuя для подpo6носtей о сотpyднuчесtве!
Autumn
Почему не удаляется только счто проверил вме нормально удаляется
Вы наверное сделали простой пул без raidz, потому что:
Top-level vdevs can only be removed if the primary pool storage does not contain a top-level raidz vdev, all top-level vdevs have the same sector size, and the keys for all encrypted datasets are loaded.
Ivan
Autumn
Autumn
Задолбали.
Autumn
Про попытки удаления спешл куча плача на форумах. То пул сдох, то не дает удалить потому что ошибочно 1 ссд добавили, то еще что-то. Я не рискую.
Maxim
Нет, это slog
да, вспомнил, на днях про него читал
только это больше не про скорость, а про то, чтобы над накладными расходами не рыдать (на скорость, впрочем, разумеется, тоже влияет)
Autumn
да, вспомнил, на днях про него читал
только это больше не про скорость, а про то, чтобы над накладными расходами не рыдать (на скорость, впрочем, разумеется, тоже влияет)
Ни одна "примочка" не ускорит конечный vdev естессно, slog лишь снимает нагрузку перенося журнал транзакций синхронной записи с дисков на которые эта запись идет на отдельное более скоростное устройство тем самым уменьша очередь ожидания (я бы так сказал) при синхронной записи в пул, особенно на файлопомойках. Slog как и special хорошо помогают например фотографам/видеографам которые хранят и обрабатывают фото/видео на зфс. Я у себя еще бонус от слог получаю когда раздаю зфс через синхронный нфс. Еще слог помогает на пулах под виртуализацию, потому что проксмокс тоже пишет синхронно. Т.е. везде где есть синхронная запись слог полезен.
Autumn
Это все касательно пулов на шпинделях. Фуллфлеш пулам это все не надо.
Georg🎞️🎥
Georg🎞️🎥
Andrey
Коллеги, Вопрос по нишебродству.
Насколько плохо городить raidz на китайских nvme дисках в pcie nvme экспандерах? у меня коллега топит за них - говорит что все так делают, но я чет не верю.
Область применение = например PBS
Maxim
Autumn
Как вычислить размер нужного спешела, я так и не понял :(((
zdb -PLbbbs tank | tee ~/tank_metadata_output.txt
cat ~/tank_metadata_output.txt \
| grep -B 9999 'L1 Total' \
| grep -A 9999 'ASIZE' \
| grep -v \
-e 'L1 object array' -e 'L0 object array' \
-e 'L1 bpobj' -e 'L0 bpobj' \
-e 'L2 SPA space map' -e 'L1 SPA space map' -e 'L0 SPA space map' \
-e 'L5 DMU dnode' -e 'L4 DMU dnode' -e 'L3 DMU dnode' -e 'L2 DMU dnode' -e 'L1 DMU dnode' -e 'L0 DMU dnode' \
-e 'L0 ZFS plain file' -e 'ZFS plain file' \
-e 'L2 ZFS directory' -e 'L1 ZFS directory' -e 'L0 ZFS directory' \
-e 'L3 zvol object' -e 'L2 zvol object' -e 'L1 zvol object' -e 'L0 zvol object' \
-e 'L1 SPA history' -e 'L0 SPA history' \
-e 'L1 deferred free' -e 'L0 deferred free' \
| awk \
'{sum+=$4} \
END {printf "\nTotal Metadata\n %.0f Bytes\n" " %.2f GiB\n",sum,sum/1073741824}'
Autumn
и он покажет какой объем метаданных
Autumn
но для этого любой современной ссдшки хватит, главное что бы она была надежная ну и миррор из двух или трех ссд, желательно нвме
Autumn
cat ... это одна команда, там переносы, если убрать \ то все в одну строку
Autumn
метаданные обычно пару сотен мегабайт занимают
Autumn
если надо на спешл девайс хранить мелкие файлы то делаете:
zdb -bb
Autumn
он в конце выдаст гистограму по размеру блоков
Autumn
смотрите размер блока и сколько они занимают и накидываете поверх метаданных и получаете минимум того что надо под спешл
Autumn
но в принципе любая мелочевка от 64 гиг и выше годится
Georg🎞️🎥
Autumn
Georg🎞️🎥
Autumn
это две команды, первая zdb для дебага "вынимает" нужные данные, вторая cat парсит и выдает цифру
Autumn
вторая длинная цельная
Autumn
просто скопируйте из поста и замените tank на название своего пула
Autumn
ну и вопрос все это кто? у меня pbs это шпиндели + слог и спешл девайс на ынтырпрайз ссд hgst/wd
Vladislav
Autumn
особенно плохо если вы эти ноунеймы положите под raidz, где в отличии от обычного миррор-страйпа raid10 пишется парити и пыддинг
Georg🎞️🎥
Спасибо
Andrey
Andrey
Autumn
я уже заметил, какие то HP SSD soho в pbs заюзал. HDD их обгоняет
хз, у меня ни один ынтырпрайз хдд не может обогнать соло пользовательский ссд если тот не забит очередью или данными под 100%, ссд тупо быстрее, но согласен, есть проблема с появлением кучи пользовательских ссд от брендов с дико унылыми характеристиками такой же микроэлектронной базой, которые и рядом с теми же пользовательскими samsung 970 evo plus не стояли, не говоря про pro серию и уж тем более ынтырпрайз
Autumn
я бы как нищебродский вариант мог бы рассмотреть под зфс samsung pro или на крайняк evo plus серию, но только если их по башке не лупить отключением питания и выбрать заведомо больший объем ссдшки, ибо ынтырпрайз ссд из коробки имеют выше оверпровизионинг, но уж точно не ноунейм или какойнить брэнд типа kingstone a400 под зфс
Andrey
HP S650 - днище полное
Vladislav
Andrey
эво плюс сомнительно, когда уже можно PM883 купить или чтото другое за чуть большую цену
Vladislav
Но у меня были случаи, когда m.2 диск просто отвалился спустя 4 месяца работы, выключил сервер, вытащил-вставил все ок
Autumn
HP S650 - днище полное
да это говно а не ссд, сразу вспомнил интел 540 и позже когда интел перестал использовать свои контроллеры и чипы - хлам
Vladislav
Autumn
если взять трипл ево плюс под спешл и слог, то вай нот если не бить по башке питаловом
Andrey
а зачем трипл?
Autumn
а зачем трипл?
потому что мертвый слог = резкий тупняк всего пула, мертвый спешл = мертвый пул и данные
Autumn
а мы тут еще и про пользовательские ссд, которые да, достаточно надежны, но они же пользовательские
Andrey
с точки зрения логики есть Raidz то mirror должно хватить, А если raid2z тоже уже трипл нужен
Andrey
но идея понятна
Andrey
спасибо
Vladislav
Andrey
я точки зрения отказоустойячивости, сколько допустимо отказов дисков в основном пуле столько и в спешл/slog
Andrey
уровнять шансы
Autumn
Но у меня были случаи, когда m.2 диск просто отвалился спустя 4 месяца работы, выключил сервер, вытащил-вставил все ок
у меня такое же было на HP Proliant DL380/390, еще так же ОЗУ отваливалась, работает пол года норм, потом херяк и сервак висит мертво, по питанию сбрасываешь а диск или озу няма, вынул, резиночкой контакты протер, вставил - полетели
Autumn
но это к самой ссд думаю мало отношения имеет
Autumn
И как это слог помогает с видео ? :)))) когда в основном нужно читать, а не писать )))
Сорян, пропустил вопрос. Отвечаю - я не могу точно описать, потому что не занимаюсь ни фото ни видео, но у меня был кейс, была мини-студия и там люди занимались видеомонтажом и фотообработкой. Попросили надежный сторадж для кучи фото/видео итд, что бы реалтайм на нем работать а не тащить данные с него на локальный комп и обратно. Я собрал zfs машинку на 8 шпинделей и слог из двух ссд и раздал по самбе все это дело. Они сказали все оки, но можно быстрее? Я прикрутил трипл спешл девайс на трех мелких samsung pro и вуаля - все стало гораздо лучше и по фото и по видео. Ну раз говорят что видеообработка улучшилась то чего бы не верить. А так я честно хз как эти все адоб премьер и сони вегас с видеофайлами и исходниками работают.
Autumn
Мои обычные кейсы - офис, овердохера файла ввиде xls,doc,pdf,zip,rar,jpg,png и прочего на файлопомойке да виртуализация.
Autumn
А ну и мейлбоксы по нфс для почтовика