Aba
Хотя ща чувствую наберут, расскажут о создании звола на пуле в raid10 и создания из рейд10 зволов вдев)))
Georg🎞️🎥
Хотя ща чувствую наберут, расскажут о создании звола на пуле в raid10 и создания из рейд10 зволов вдев)))
Короче знаю что мой пул переживет любые 2 диска 🤣🤣
Владимир
Как у zfs будет выглядеть самая производительная сборка из 8ми дисков переживающая смерть двух дисков?
Vladislav
Доброго дня!
Планирую покупку пары серверов dl 360 gen 9 под proxmox. хранилище планируется в raidz. В датащите пишут про версии с u.2 дисками. Хочу получить максимально производительное хранилище на 3-4ТБ. Есть вообще смысл заморачиваться с дисками nvme, ssd-sas ?
Если нужно дешёво - купить sata ssd samsung и использовать zfs с 64-128гб оперативы.
Если у Вас аплинки от сервера от 25Г, то можно смотреть в сторону mdadm\lvm с nvme u.2 через pcie splitter
Владимир
Аплинки 10г
Vladislav
вычислительные рейды у ZFS ещё тупее чем у mdadm и хардварного, и прям весомо как я понимаю
у ZFS самые умные рейды*
mdadm это просто тупо рейд, максимальная производительность минимальный набор фич.
lvm+lvo это уже головная боль траблшута
хардварный стоит дохера
Владимир
Mdadm нет опыта эксплуатации. Смотрю только в сторону zfs. Аппаратные raid мне как то не очень понравилось в связке с ssd
Vladislav
Аплинки 10г
Это 2.4Гигабайта в секунду на два линка 10Г.
Один SSD это 580 Мегабайт в секунду, чтение растёт почти линейно в 5-6 рейде
Запись чуть сложнее, она почти не растёт с увеличением количества дисков.
Если смотреть в сторону производительности, то это наверно 10-й\50-й рейд, если в сторону надёжности, то тут разве что raidz2 (2 диска на отказ)
Владимир
А есть разница между sata-ssd и sas-ssd?
Nvme я так понимаю не даёт вообще никаких преимуществ.
Vladislav
А есть разница между sata-ssd и sas-ssd?
Nvme я так понимаю не даёт вообще никаких преимуществ.
Для вас нет. Для разницы в SAS ssd нужно
1) Два контроллера
или
2) кабели Dual Channel SFF-8482
или
3) Ещё один вид кабелей я не помню но схожих
Georg🎞️🎥
Georg🎞️🎥
Тут нужно чтобы бэкплейн умел в такие манёвры. Я таких не видел
Ну с hba 6g ssd то нужен вообще ?🤔
Владимир
HP H240ar Smart HBA планирую
Vladislav
12Г это при наличии двух каналов
Владимир
А по количеству операций ввода/вывод есть разница в реальной работе?
Vladislav
А по количеству операций ввода/вывод есть разница в реальной работе?
Вы в канал 6Г упираетесь
В любых samsung sata ssd
Владимир
Вы в канал 6Г упираетесь
В любых samsung sata ssd
На длительных операциях например бекап снижение скорости более чем в 4 раза происходит
Vladislav
На длительных операциях например бекап снижение скорости более чем в 4 раза происходит
Я не зря упомянул про samsung ssd
Vladislav
На рандомных с алика - да
Владимир
Не совсем самсунги.
Из днс
Владимир
Aba
На длительных операциях например бекап снижение скорости более чем в 4 раза происходит
бекап с ссд кудато? Или бекап на ссд? raidz2 массив из 8 таких дисков? Падение скорости до каких показателей?
Vladislav
Ммм, тоже пойдут, но у меня плохие воспоминания с ssd kingston. У меня рейд контроллер их терял после перезапуска :)
riv
Aba
На длительных операциях например бекап снижение скорости более чем в 4 раза происходит
Ну и то, куда льется бекап, не ограничивает ли как раз скорость ссд дисков?
riv
Видел в обсуждения выше. А есть разница в производительности между sas-ssd или sata-ssd ?
Есть в iops и пропускной способности в разы.
Владимир
Это может быть связано с тем, что у бытовых ssd переполнился буфер и они "подвисли" на записи. Zfs, по моему опыту, на такое не расчитан и через некоторое время, сбрасывает буфер записи по таймауту. В результате часть данных не записывается. Потом, при скрабе, там находятся ошибки.
Такое происходит только с бытовыми ssd при многократном превышении расчетных нагрузок.
Ситуация опасная
Используйте intel s3500 s3600 s3700 или intel p4510, p4610 итд в зависимости от нагрузок и бюджета
P4510 это nvme? В связке с zfs эти диски дают большую производительность против sas?
Vladislav
Vladislav
Nvme и zfs не дадут прироста скорости которого ждут от nvme ещё полгода-год
Autumn
Тут нужно чтобы бэкплейн умел в такие манёвры. Я таких не видел
вот выше про тесты писал, там как раз все полки были с хба дуалченел на 12 гигабит
Autumn
А есть разница между sata-ssd и sas-ssd?
Nvme я так понимаю не даёт вообще никаких преимуществ.
по скорости фактически ничего, sas через два канала позволяет организовать отказоустойчивость полки если сдох один из хба, некоторые решение принудительно стребуют дуалченел сас и хба, например майковский стораджспейсес
Autumn
Ну с hba 6g ssd то нужен вообще ?🤔
помоему 6 гигабит слишком старые полки и давно не выпускаются, по крайней мере я видел только 12 гиговые из свежих
Georg🎞️🎥
помоему 6 гигабит слишком старые полки и давно не выпускаются, по крайней мере я видел только 12 гиговые из свежих
Для hdd за глаза )) авито )))🤣
Autumn
На длительных операциях например бекап снижение скорости более чем в 4 раза происходит
вот тут не понял про что речь, у меня с прокса на зфс на убунту на зфс валятся бэкапы и общий объем за ночь порядка 20ТБ - не вижу снижения скорости, но я сливаю с ссд+хдд на проксе, на обычные хдд на бубунте, канал 10 гигабит
Vladislav
Autumn
Свежие полки стоят дохера
сама полка херня, вот набить ее датацентровскими дисками (особенно ссд) вот это ценовой челендж, на фоне 60-100 дисков, стоимость полки кажется детским лепетом
Vladislav
Я использую nvme, ибо 14к за 1.92тб (pm963) достаточно хорошее предложение
А по сата и под zfs 860 evo отлично работают
Autumn
согласен, самый бомж вариант зфс на ссд - самасунги ево на млц ну или прошки
Autumn
nvme+zfs ну как по мне такое себе решение, зфс не способна раскрыть кмк современные нвме ссдшки, но я в продашкине такое не крутил, поэтому вилами по воде писяное утверждение
Vladislav
Nikita
Поясните, плз, не очень быстро соображающим - нвме будет стабильно работать, но на скоростях околосата3? Хочу в сервер 4 диска пихнуть, а нвме, поскольку больше местов нет, даже в сарае койку сдал...
Autumn
единственное место nvme в zfs это диск под лог для пула на сата/сас ссд или шпинделей, в остальном они не раскроются
Volodymyr
Zfs raidz выносит write endurance любой SSD многократно быстрее чем любая другая файловая. Даже БэТерфс . Невьебенное кол-во метаданных файловой в купе с постоянными обновлением transaction logs в бэкграунде в 8ми копиях на каждом диске делают свое дело, плюс отсутствие синхрона кластера файловой пейджам страниц ssd. Гражданские диски долго не живут в таких тяжелых условиях, серверные же умеют равномерно распределять изнашиваемость ячеек внутренним транслятором.
riv
P4510 это nvme? В связке с zfs эти диски дают большую производительность против sas?
P4510 - это NVME не рассчитанный на большой поток записи, но тем не менее, это серверный NVME который не уйдёт "в астрал" из-за слишком большого темпа записи. Будет работать медленнее, но на приемлемой скорости. А вот ресурс у неё не очень (1.08 перезаписи всего объема накопителя в день в течении 5-ти лет), а вот, например intel DC P4610 имеет специальную технологию, увеличивающую срок жизни ячеек памяти, и там уже возможно толи 5 толи 10 перезаписей всего объема в день в течении всего срока жизни. Но самое главное, что производительность по iops у неё намного больше и не проседает при длительных больших нагрузках по записи.
Моя практика показала, что для размщения системного диска ОС большого количества VM подойдет intel DC P4510 (мы говорим о 30-100шт VM, когда диски по 30-60ГБ и ими занять почти весь накопитель), для не сильно нагруженных баз данных, типа файловых 1С или слабо нагруженных SQL подойдёт intel DC P4610 при этом базы данных могут занимать 90% емкости и постоянно работать.
Для сравнения, бытовая SSD может сдохнуть или уйти "в астрал" на одной базе даннынх, в которой начался како-то длительный процесс ведущий постоянную запись, например, обновление большой файловой 1С.
А вот для сильно нагруждеенных баз данных, для устройств дедупликации (zfs dedup vdev) и других способов изнасиловать SSD лучше взять optane. кроме огромнной устойчивости по записи (100 перезаписей в день!) там ещё низкие и что важно, равномерно низкие задержки при записи.
-------------
Теперь про произвоидтельность. NVME быстрее SAS, если говорить про произвоидтельноть интерфейсов, но NVME не прудусматривает отказоустойчивости линка к накопителю, а SAS-накопители могут быть подключены каждый к двум контроллерам, и, таким образом, крано повышается надежность (и стоимость!) решения. Лично я считаю, что сочетания raid с NVME достаточно надёжно и нет смысла переплачитвать за SAS. У себя я SAS не использую.
Зачастую, в режиме записи (а записи всегда на накопитель сваливается нимимум в 2-3 раза болше чем чтения, даже если это диск C:\ вашего ноутбука без баз данных) производительность ограничевается контроллером, а не интерфейсом. С этой точки зерния, SAS про производительности не сильно проигрывает NVME, но задержики у NVME сущесвенно ниже. Иногла важна не столько производительность, сколько латентность.
По латентности в не конкуренции Optane. Круче них только персистентный optane, который по сути является RAM с автоматическим сохранением в optane при потере питания.
riv
Nvme и zfs не дадут прироста скорости которого ждут от nvme ещё полгода-год
ждут улучшения латентности в первую очередь. но производительность тоже будет больше на NVME. А в сочетании с буферезированной записью, контроллеру NVME будет работать намного проще, чем со стандартным потоком. SATA SSD имеют ограничение по пропускной способности в районе 500МБ/сек и по iops как правио это в районе 30 000 iops для старых но обладающих очень большим ресурсом по записи intel S3700. NVME-аналоги кратно быстрее, несмотря на отсутствие оптимизации zfs для NVME,
riv
Я использую nvme, ибо 14к за 1.92тб (pm963) достаточно хорошее предложение
А по сата и под zfs 860 evo отлично работают
Всё это игры с огнем. Лучле бу серверные (не только intel)
Vladislav
Всё это игры с огнем. Лучле бу серверные (не только intel)
? Pm963 это и есть серверные nvme
Autumn
Всё это игры с огнем. Лучле бу серверные (не только intel)
Ну мы гоняли саташнын ево и про самасунги в схеме прокс+зфс, по 3-4 года без проблем. Потом пеняли на более емкие. А вот другие марки или более дешевые самсы я бы так не гонял. Стремно.
Autumn
Касательно серверных бу, серверные/цод-шные ссд тоже бывают разные. Есть ридинтенсив, есть миксед лоад а есть врайт интенсив. Вот первые бу я бы точно не брал в замен нового самса про серии. Вторые исходя из статистики. Третьи я честно активно не видел на бу рынке. Ну и интел разве оптаны не похоронил?
Vladislav
Касательно серверных бу, серверные/цод-шные ссд тоже бывают разные. Есть ридинтенсив, есть миксед лоад а есть врайт интенсив. Вот первые бу я бы точно не брал в замен нового самса про серии. Вторые исходя из статистики. Третьи я честно активно не видел на бу рынке. Ну и интел разве оптаны не похоронил?
Ну, RI с Алика/Авито с 0-20 ТиБ - вполне рабочие варианты
Опять же, даже у RI - 1 перезапись в день на 5 лет, это дохера, если у Вас не БД
Autumn
? Pm963 это и есть серверные nvme
Это вроде оем версия десктопных. Не помню назначение. У самсов вроде sm/pm, одни под чтение, вторые смешанная нагрузка. Надо с даташитом сверятся. Но если не изменяет память это просто переименованные десктопные для оем поставки вендорам под собственную фирмварь.
Autumn
Ну, RI с Алика/Авито с 0-20 ТиБ - вполне рабочие варианты
Опять же, даже у RI - 1 перезапись в день на 5 лет, это дохера, если у Вас не БД
Ну 0-20 это считай новые, особенно если емкость от 960ГБ и выше.
Vladislav
Это вроде оем версия десктопных. Не помню назначение. У самсов вроде sm/pm, одни под чтение, вторые смешанная нагрузка. Надо с даташитом сверятся. Но если не изменяет память это просто переименованные десктопные для оем поставки вендорам под собственную фирмварь.
Давайте так, если у самсунга есть десктопные на 2.7пб перезаписи - то наверно да
https://semiconductor.samsung.com/newsroom/tech-blog/samsung-ssd-pm963-brochure/
Ivan
Autumn
Я про те, которые уже по 200-300ТБ накатали, особенно мелочь типа 256-500 гиг.
Ivan
вот вопрос по ним:
а где прошивку для них взять ?
Vladislav
Я про те, которые уже по 200-300ТБ накатали, особенно мелочь типа 256-500 гиг.
С этими да, но учитывая, что на один сервак не так много nvme можно уместить - смысл от такого объема невелик
Autumn
вот вопрос по ним:
а где прошивку для них взять ?
К каким именно? Если это вендоровские то искать у конкретного вендора. Т.е. если это оем samsung pm963 сделанный для леново (это обычно по этикетке и партномеру видно) то у леново и искать. Сам самсунг на такие ссд не делает обновления фирмварей. То же касается других оем. Если это оригинальный от самого производителя, то у производителя. Но надо помнить, что некоторые вендоры типа hp/dell сами ссд не делают, а заказывают у wd/samsung/sandisk ..., но в своих серверах хотят видеть только свои "прошитые" своей фирмварей диски.
Autumn
Давайте так, если у самсунга есть десктопные на 2.7пб перезаписи - то наверно да
https://semiconductor.samsung.com/newsroom/tech-blog/samsung-ssd-pm963-brochure/
Подверился, перепутал с pm961, они оем версия десктопных. Но с самасунгом не мудрено, раздули номенклатуру. РМ963 поинтересней будет, хоть и ридинтенсив, текущие десктопные по даташиту в два раза меньше TBW, но может это очередной маркетинговый ход. Кто их знает.
Autumn
Самые вкусные были SM, помоему у них в 4 раза больше ресурс чем у РМ.
Vladislav
Ну, 14к (до изменения курса на Алике было 11к) за такой диск или 20к за pm9a3. Для домашней лабы довольно существенно
Maksim
Не суть важно я думаю, я бы такие только под SLOG ставил и то 480, не меньше.
480 исключительно из-за возросшего ресурса?
Autumn
480 исключительно из-за возросшего ресурса?
Там и скоростные показатели. Те же сата ссд начиная от 500ГБ и выше (лично тестил все до 2ТБ) имеют показатели производительности в пределах погрешности. А вот 240-250 и ниже медленне чем 500 и чем меньше емкость тем хуже, т.е. 120 хуже 240, 64 хуже 120. А ценовая разница между 240-480 ерунда. SLOG-у большой обем не нужен, поэтому излишек от 500-ки можно под оверпровизионинг отдать.
Autumn
Во для примера взгянул на 970 ево, 250-ка послед. запись 2500, 500-ка 3200, случ. чтение 250-ка 250к иопс, 500-ка 480к иопс. А вот уже у 1000-ки запись 3300, а чтение 600к. У 2000-ки 3300 и 620к. Т.е. с 500 разница мизер, а вот 250-ка почти в два раза медленнее.
Кот Матроскин
Подскажите, ZFS на Debian из zfs-fuse вполне юзабельная в проде уже на текущий момент или всё ещё сырая?
George
George
Хочется из коробки, а не мучиться со всякими репами.
В штатных репах дебиана есть нормальный zfs ядерный. А zfs-fuse вроде уже сдох, могу ошибаться, но не видел ни у кого его использования
Кот Матроскин
В штатных репах дебиана есть нормальный zfs ядерный. А zfs-fuse вроде уже сдох, могу ошибаться, но не видел ни у кого его использования
В штатных это из коробки в 11 дебиане?
Или из бэкпортов со всеми вытекающими потом?