А сколько дисков в пуле? Тесты производительности против raidz делали? Что за модель хетцнер выдает, а то у них на аукционе только enterprise написано?

точнее либо зеркало, либо 10 — SAMSUNG MZQL23T8HCLS-00A07 — KIOXIA KCD71RUG3T84 Как повезет, диски зависят от типа сервера. В самые дешевые скорее всего ставят другие, другого размера.

А сколько дисков в 10-м? Я смотрю хетцнер на их топ делл-ы всего 4 нвме по 7.5ТБ выдает. Мне жалко отдать 2х7ТБ в 10-ку, я в таком случае планирую raidz1 на 4 диска.

у нас до 4х из-за особенностей шасси, это дефолт там. Но AX161 до 8 вмещает. — Raid-Z скушает много IOPS, имейте ввиду, — могут быть серьезные проблемы с перерасходом места при размерах кластера zvol 8-16 кб и 4 дисках. Я толком так и не понял как считать паддинги и прочие штуки, щас пришлю таблицу)

Я таблицы видел, открыты у меня, я сейчас активно сам тесты гоняю, но пока нет в доступе системы с нвме.

Если что в хетцнере можно взять в тест драйв любой сервер на две недели бесплатно и сдать его без обьяснения причин. Много раз так уже делал

О как. А как это сделать? Я только аукцион вижу.

у нас до 4х из-за особенностей шасси, это дефолт там. Но AX161 до 8 вмещает. — Raid-Z скушает много IOPS, имейте ввиду, — могут быть серьезные проблемы с перерасходом места при размерах кластера zvol 8-16 кб и 4 дисках. Я толком так и не понял как считать паддинги и прочие штуки, щас пришлю таблицу)

Ну я когда работал с хетцнером лет 5-6 назад они иногда вытворяли типа диски с износом 99% в серваках продавали. Приходилось с сапортом "взаимодействовать" по замене. Но как меня коллеги заверили, сейчас все стало лучше. Я как раз планирую из другого ЦОДа в хетцнер пару клиентов мувнуть ибо ниже хетцнера цены на дедики по рынку не вижу.

Ну я когда работал с хетцнером лет 5-6 назад они иногда вытворяли типа диски с износом 99% в серваках продавали. Приходилось с сапортом "взаимодействовать" по замене. Но как меня коллеги заверили, сейчас все стало лучше. Я как раз планирую из другого ЦОДа в хетцнер пару клиентов мувнуть ибо ниже хетцнера цены на дедики по рынку не вижу.

они ещё могут самсунги ставить, где износ 120% показывает

С аукциона?

У меня даже скрин есть

Скрин в студию, пожалуйста)

Скрин в студию, пожалуйста)

они ещё могут самсунги ставить, где износ 120% показывает

так что 120% это ещё далеко не всё у самсунгов))

3dnews в бородатые времена лет 5 назад взялся тестировать ссдшки всех цветов на ресурс перезаписи. Там в топе были самсунги evo/pro с ресурсом перезаписи 3000-4000%, 250 гиговые с ресурсом в 150ТБ смогди всосать 5000-7000ТБ до появления проблем с записью. Но все равно не очень хочется на таких ссдшах жить.

3dnews в бородатые времена лет 5 назад взялся тестировать ссдшки всех цветов на ресурс перезаписи. Там в топе были самсунги evo/pro с ресурсом перезаписи 3000-4000%, 250 гиговые с ресурсом в 150ТБ смогди всосать 5000-7000ТБ до появления проблем с записью. Но все равно не очень хочется на таких ссдшах жить.

1. Сата будет работать 2. Как по мне - то lsi 3. Вроде ничего не мешает работать 4. Есть экспандеры, которые вообще не от pci питание берут. А так - экспандеру от pci только питание нужно, как его бюджетно сколхозить - вариантов масса

Коллеги! Просветите, пожалуйста, на тему коммутации SAS. Задача - есть сервер на 12 hdd, хочу расширить его полкой, но поскольку с полками ранее дела не имел, возникает множество вопросов. Накидал картинку, как я себе это вижу, по ней, соответственно, несколько вопросов: 1. Ранее я подключал диски по принципу одна линия SAS к одному диску, будут ли работать через экспандер диски SATA или при такой коммутации только SAS? 2. В выборе экспандера у меня как минимум 2 варианта- Adaptec и LSI. Будут ли рекомендации по этому поводу? 3. Будет ли вообще работать приведённая схема? 4. Правильно ли я понимаю, что в большинстве своём(если не брать решения высокой плотности по 36+ дисков) заводская полка = серверный корпус без материнки и с экспандером? И по сути, бюджетный вариант - это б/у сервер с минимальным процессором и памятью чтобы питать экспандер? З.Ы. и на всём этом безобразии zfs, разумеется)

Коллеги! Просветите, пожалуйста, на тему коммутации SAS. Задача - есть сервер на 12 hdd, хочу расширить его полкой, но поскольку с полками ранее дела не имел, возникает множество вопросов. Накидал картинку, как я себе это вижу, по ней, соответственно, несколько вопросов: 1. Ранее я подключал диски по принципу одна линия SAS к одному диску, будут ли работать через экспандер диски SATA или при такой коммутации только SAS? 2. В выборе экспандера у меня как минимум 2 варианта- Adaptec и LSI. Будут ли рекомендации по этому поводу? 3. Будет ли вообще работать приведённая схема? 4. Правильно ли я понимаю, что в большинстве своём(если не брать решения высокой плотности по 36+ дисков) заводская полка = серверный корпус без материнки и с экспандером? И по сути, бюджетный вариант - это б/у сервер с минимальным процессором и памятью чтобы питать экспандер? З.Ы. и на всём этом безобразии zfs, разумеется)

Возьмите просто JBOD с контроллерами? FC 8G https://www.avito.ru/tomsk/tovary_dlya_kompyutera/diskovaya_polka_emc_ktn-stl4_2419253358?slocation=637640 Тут нужно погуглить, но вроде она работает с серверами SAS: https://www.avito.ru/moskva/tovary_dlya_kompyutera/diskovaya_polka_ibm_s_diskami_2633825204

Но ведь сервер Intel даже не знает про полку Intel.... External Raid Controller знает. Но сервер видит только логический лун, который выдаёт ему контроллер

но как то же она должна автоматом включаться-выключаться? не верю, что на этот вопрос положили.

т.е. выключается она не с сервером, а с ИБП?

Диски выключатся с сервером, потому что команда SpinDown, но полка будет также работать

Более умные полки имеют контроллеры, которые сами решают такие вещи

Коллеги! Просветите, пожалуйста, на тему коммутации SAS. Задача - есть сервер на 12 hdd, хочу расширить его полкой, но поскольку с полками ранее дела не имел, возникает множество вопросов. Накидал картинку, как я себе это вижу, по ней, соответственно, несколько вопросов: 1. Ранее я подключал диски по принципу одна линия SAS к одному диску, будут ли работать через экспандер диски SATA или при такой коммутации только SAS? 2. В выборе экспандера у меня как минимум 2 варианта- Adaptec и LSI. Будут ли рекомендации по этому поводу? 3. Будет ли вообще работать приведённая схема? 4. Правильно ли я понимаю, что в большинстве своём(если не брать решения высокой плотности по 36+ дисков) заводская полка = серверный корпус без материнки и с экспандером? И по сути, бюджетный вариант - это б/у сервер с минимальным процессором и памятью чтобы питать экспандер? З.Ы. и на всём этом безобразии zfs, разумеется)

2. разница в 3 раза... были инциденты? 4. с питанием экспандера и дисков понятно. для меня пока загадкой остаётся - как в отсутствии материнки включать/выключать БП на полке... т.е. как это всё сколхозить я примерно представляю, но здравый смысл подсказывает, что должно быть "заводское" решение.

А если серьёзно, все сервера intel, хочется некоего единообразия) Ну и требования к полке - 3.5 диски и 2U. Предложения, конечно, есть, но всё каких то сторонних производителей. И если с полкой Intel я был бы более-менее уверен, что всё заработает, то тут нужно понимать как оно всё работает внутри, чтобы решить вопрос совместимости одного производителя с другим)

но как то же она должна автоматом включаться-выключаться? не верю, что на этот вопрос положили.

Какая-то ерунда. А зачем серверу интел знать кто ему кучу дисков отдает? Тот же сас хба тупо отдаст диски да и все, а что там внутри самой полки, это дело полки а не сервера.

А зачем ее выключать? Но если уж сильно надо, то в супермикре есть IPMI или можно взять управляемый APC rack PDU которые умеют вырубать нагрузку, но тогда общая стоимость решения круто вырастает.

тут я скорее про салазки и БП...

начинаю понимать, что, видимо, незачем...

какие такие салзаки =), там про другое, про потроха полки, а какая разница серверу какие в полке потроха, бэкплейн облуживает диски и если их два резервирует, все, затем через хба отдает диски серверу, сервер видит что "в него воткнуто столько то дисков", считает их своими родненькими - делай с ними что хочешь

Теперь понятно. А есть какой-нибудь исходник, типа rfc для SAS3? А то все статьи, которые находил, какой-нибудь нюанс, да пропустят...

Теперь понятно. А есть какой-нибудь исходник, типа rfc для SAS3? А то все статьи, которые находил, какой-нибудь нюанс, да пропустят...

Теперь понятно. А есть какой-нибудь исходник, типа rfc для SAS3? А то все статьи, которые находил, какой-нибудь нюанс, да пропустят...

эээм зачем? это всего лишь протокол, вы же не разбираете подробно как там тот же sata работает, вам технически лишь нужна спецификция, что бы понимать что вы получите в итоге

sata проще, один порт - один диск. И никакой дополнительной информации кроме чтения/записи данных и состояния непосредственно диска.

З.Ы, Когда тут писали про 2 бэкплейна, наверное всё же имели в виду 2 экспандера? Бэкплейн - это ж то, куда диски втыкаются, у sas дисков вроде всё еще один разъём или я чего то не знаю?

У меня в новых областях подход такой - 1. разобраться насколько это возможно в силу моих способностей и сложности предмета, 2. спроектировать на уровне детальной концепции чего бы хотелось, 3. сопоставить стоимость получившегося решения с имеющимися в лёгком доступе и прикинуть, нужно ли оно такой ценой. Просто, чтобы искать ту же полку, нужно понимать ключевые параметры того, что нужно и что есть, явные и не очень. Вы их знаете, а я пока еще разбираюсь)

нет там ничего особенного в поисках полки, просто берем и учитываем: 1. всегда SAS3 чтобы получит 12 гиг скорости 2. нужное кол-во дисков, с учетом лимита на ссд/хдд (в некоторые можно вставить только ограниченное кол-во ссд, например в hgst 4u60 только 12 ссд, остальные 48 хдд) 3. умеет ли сата/сас (например зфс пофигу, а вот майкрософтовский сторадж спейсес работал только с sas dual path) 4. нужен ли сас дуал паз для отказоустойчивости линков и бэкплейн-экспандеров от сервера к стораджку 5. смотрим список поддерживаемых адаптеров хба (обычно LSI годятся) 6. смотрим список поддерживаемых ссд/хдд (обычно микроны/самсунги годятся) 7. смотрим вес в сборе и габариты (что бы эта дура влезла в стойку и там стойку дешевую не погнула или не превысила суммарный вес оборудования на всю стойку) вроде все, может что забыл а дальше выбираем что доступно по рынку и цене

Просто для справки Sas3 не даст вам 12Г без MPIO*

дополню, а MPIO мы получим на sas dual path =) так что надо барать сас с бэкпленами на два экспандера, поэтому выше написал что сата это не про проще а про дешевле

Я скорее про настройку со стороны ОС, которая тоже должна понимать, что у неё два пути и она может работать по обоим

Потому что часто бывает active/passive в дефолтной настройке и мы возвращаемся к 6Г

ну так мультипас и в бой, у меня так строаджи настроены, тоже полки сас два путя, мультипасом собираю и через /dev/mapper/[SSD,HDD] пользуюс под зфс

А сколько дисков висит , что нужен мультипас ? И вы его делаете двумя hba ?👋спасибо

Да, от двух до 6 хба. Где как. Дисков по разному, но максимум 60 в полке.

У меня на 15 дисковую полку - одна «дырка» hba внешняя 6gb Думаю, мульти мне ничего не ускорит ((

Я когда начинал работать с зфс, у меня первая полка была sas2 на одной хба и был кейс, уже не помню из-за чего, но хба отвалилася и в разгар рабочего дня сервера потеряли сторадж. После этого я в сервер две хба ставлю если финансы позволяют.