Александр
Sergei
собирать кластер на десктопах - поговорите с Марком, он расскажет вам боль :)
Sheridan
Про сеть в курсе
Александр
А вот меня ждут весёлые времена. 😆
Sergei
У него на серверах, у него не десктопы же
я помню там был bus saturation, помню гринки. поэтому подумал, что десктопы. извините, если неправ.
Sheridan
3 ТБ 10 компов. наркоман ?
Категорически невозможно, да?
Anonymous
Если тебе так просто достать железо - достань его для меня. Или перестань хвалиться этим.
я не хвалюсь, просто разные вещи для разных задач, это как дебилы берут zfs и ставят под виртуалки на сервер, и выделяют ей 4 гб оперативы всего, не деют ssd под кеши и потом говорят, zfs говно, lvm лучше...
Mark ☢️
ну почему. делают же рэйд на дисководах и флешках
Sergei
Выхода нет
разницы между 10 десктопами и несколькими виртуалками у вас почти не будет. реально на десктопах крутить сеф - плохая идея. вы поиграете непонятно с чем. посчитаете цифры, которые будут никому не нужны, потому что никто в продакшн это не покатит в здравом уме.
Sergei
ну почему. делают же рэйд на дисководах и флешках
just for fun. но упаси бог строить стораджа на флоппарях.
Mark ☢️
Mark ☢️
на десктопах крайне говённые контроллеры
Александр
Sheridan
ну почему. делают же рэйд на дисководах и флешках
У меня рейд на флешках в расберри пи для хранения видео, которое фещается с того же пи в внутренний ТВ канал
Mark ☢️
они реально не могут просрать несколько дисков под нагрузкой все вместе
Александр
Десктоп это не только контроллер
Sergei
Обосунй про плохо?
1) non-ECC memory - привет периодические ребуты 2) шина узкая - привет bus saturation
Mark ☢️
1) non-ECC memory - привет периодические ребуты 2) шина узкая - привет bus saturation
ребуты — это ещё не страшно. страшно когда коррапт данных молчаливый
Александр
Но мне делать нечего, по этому я беру 4 десктопных станции и захуяриваю на них цеф
Sergei
Для 10 десктопов ребуты не страшно
собрать, чтобы поиграться - да, можно. собрать, чтобы что-то померить, а потом экстраполировать - нельзя. у меня в этом поинт. с другой стороны, собрать чтобы поиграться вполне можно на виртуалках. это быстрее и удобнее.
Александр
Да, десктопы, почти из топа.
Александр
А объём не играет значения, т.е. 3-6 нод, они как и с 10 тб могут быть, так и с 300 разницы в объёмах только в мониторах
Александр
Ну, цены я кидал, нам утвердили только такое, но плюс этого варианта в том, что можно закупить таких больше чем минимум который будет задействован
Anonymous
2 гб оперативы на тб пространства, нормальный проц уровня INTEL Xeon E5-1620 v4 3.5ГГц
Александр
Кто говорит?
Sergei
сеф на таком размере не крутил, крутил другой кластерный сторадж, самописный. но общие принципы похожи. прыг с размера 100 нод на 500 - большой. прыг с 500 нод на 5000 - еще больше.
Александр
нннннет
Нет, всмысле я не прав в своих суждения или нет что?
Anonymous
Ты пишешь хуйню
марк вон уже с 1 гб перешёл говорить на 1,5, скоро как и я будет 2
Sergei
Нет, всмысле я не прав в своих суждения или нет что?
я к тому, что говорить о том что разницы нет - несколько самонадеянно. разница есть.
Sergei
тут все просто. у вас что 2Тб спин будет выдавать 100-180 иопсов, что 8Тб спин. соотношение iops/GB естественно будет разным.
Sergei
в чём именно прыг ? типа во всём ?
получить network split на кластере из трех коммутаторов почти невозможно. на кластере из 100 стоек - без проблем, причем регулярно. это например.
Sergei
Я писал об объёме
там я чуть выше сказал.
Александр
там я чуть выше сказал.
Угу, увидел, пропустил это сообщение.
Sergei
в чём именно прыг ? типа во всём ?
становятся очень интересными вопросы "обновить кластер сразу везде". намного интереснее, чем на 100 нодах.
Sergei
но..... там же кворум... как?
как. у тебя есть большая сеть. была она целая. и стала она 78 стоек + 22 стойки. сходиться оно будет _заметно_ дольше, чем когда у тебя кластер на три стойки и три коммутатора.
Sergei
хмммм. а постепенно никак ?
еще как как. только это "постепенно" занимает, скажем так, 10 часов на деплой.
Sergei
потому что выключать нужно понемножку, и чтобы данные при этом не проебать. этот код нужно написать. его нужно оттестировать. нужно быть готовым к тому, что во время апдейта упадет еще стойка-другая.
Sergei
ну это не сплитбрэйн получается, а просто сплит надолго
это сплит именно сети, монам-то почти пофиг, они прееживут. а пиринг PG займет время.
Sergei
ох блять. чтож стойки-то падают ?
что что. автомат вырубило.
Sergei
Без ИБП?
автомат на стойку. ИБП повыше уровнем стоит.
Sergei
всмысле приватной цефной сети ?
в смысле магистральной сети, которая стойки связывает.
Mark ☢️
Mark ☢️
или вобще всей
Sergei
А что насчёт дублирования сети и сетевые в роунд Робин?
а у вас баг в OSPF-прошивке коммутаторов и OSPF сходится десятки секунд, за это время разваливается кворум и привет.
Sergei
еще раз, я не про сеф, я про самописный сторадж, работающий по в общем схожим принципам.
Sheridan
а у вас баг в OSPF-прошивке коммутаторов и OSPF сходится десятки секунд, за это время разваливается кворум и привет.
Это ты сейчас придумал или тоже каждый день по несколько раз спотыкаешься?
Sergei
а чойто он рубанулся?
сто причин может быть. коротнуло в сервере. инженер кнопку нажал по ошибке. блаблабла.
Sergei
Это ты сейчас придумал или тоже каждый день по несколько раз спотыкаешься?
не каждый день, конечно. но 1-2-3 стойки в день обязательно ломают. возможно и не аварийно, а просто сервисно.
Михаил
я тут помню только одного гентушника)