Mark ☢️
По цефу нихуя
Sven
ну там по цефу только поддержка
Mark ☢️
Где там
Sven
у прокса
Mark ☢️
Сетевики задрали
Mark ☢️
Со своими терминами
Mark ☢️
Хуй прссышь
Mark ☢️
Ну у вас же есть сетевой чат. Срите там. А тут про цеф
Sven
а есть?)
Sven
можно ссылочку
Sergei
А если сетевушка того?
ну хуй с ней. а если нода того? а если паника? а если ядро надо апгрейднуть и ребутнуть?
Mike
ну хуй с ней. а если нода того? а если паника? а если ядро надо апгрейднуть и ребутнуть?
А если запланированный даунтайм то ты не бежишь в зал вырубать по питанию, а снимаешь нагрузку, переносишься её или дожидается окончания ребаланса.
Sergei
а если незапланированный - то достаешь вазелин и снимаешь штаны?
отказ ноды - полностью штатная ситуация, имхо.
Sergei
на масштабе 3+ стойки - отказ стойки.
Mike
Именя две сетевушки, уменьшаешь вероятность отказа в обслуживании.
Sergei
Именя две сетевушки, уменьшаешь вероятность отказа в обслуживании.
ииии нет.
или имея две сетевые ты недогружаешь сеть (жрешь меньше одной), или ты деградируешь по сети в случае отказа сетевой карты (обычно деградация до тормозов сервису больнее, чем просто выключенная нода).
у меня нет точной статистики, но субъективно машины кратковременно выводятся из эксплуатации по разным причинам заметно чаще, чем ломаются патчкорды/выгорают порты
Mike
а если незапланированный - то достаешь вазелин и снимаешь штаны?
отказ ноды - полностью штатная ситуация, имхо.
Если все так штатно, не резервируй сеть. Не резервируй данные, линки и т.д.
Mark ☢️
а если незапланированный - то достаешь вазелин и снимаешь штаны?
отказ ноды - полностью штатная ситуация, имхо.
А кстати какие отказы самые частые ?
Mark ☢️
Ну окромя сыпанувшихся винтов
Sergei
это вы придумали, не я.
Sergei
@Lumen_Ratio , я к тому, что резервирование по схеме 2N - дорого. N+(2..3) - норм
Mike
ииии нет.
или имея две сетевые ты недогружаешь сеть (жрешь меньше одной), или ты деградируешь по сети в случае отказа сетевой карты (обычно деградация до тормозов сервису больнее, чем просто выключенная нода).
у меня нет точной статистики, но субъективно машины кратковременно выводятся из эксплуатации по разным причинам заметно чаще, чем ломаются патчкорды/выгорают порты
Ииииии да. В FC тупо две сети, не потому что такая схема производительные в два раза.
Sergei
не знаю ничего про FC, спорить не буду.
Mike
@Lumen_Ratio , я к тому, что резервирование по схеме 2N - дорого. N+(2..3) - норм
Что дорогого в двух сетевушках по 250 баксов?
Sergei
внезапно нам нужно не только сетевые, но и вдвое больше ToR-свитчей
Sergei
3 стойки, 120 машин, 500 долларов на порт (грубо прикинул), опа, 60кбаксов
Sergei
за эти деньги мы покупаем еще 5 машин
Mike
внезапно нам нужно не только сетевые, но и вдвое больше ToR-свитчей
И на сколько? Два коммутатора с гидрами на стойку хватит?
Sergei
И на сколько? Два коммутатора с гидрами на стойку хватит?
40 машин, два коммутатора, 48-портовые коммутаторы. обычно хватит. в вашей схеме.
Sergei
стоимость коммутаторов внезапно тоже нужно учитывать.
Sergei
а, грубо учтена в "500 долларов на порт"
Mike
стоимость коммутаторов внезапно тоже нужно учитывать.
Из и так два, или линки мы тоже не резервируем?
Sergei
кого два? зачем вам два ToR, если у вас все машины в стойке влезают в один, а домен отказа - стойка?
Mike
а, грубо учтена в "500 долларов на порт"
Ну вот смотри, стандартный наш компьют сервер - около $15к. Сыграет тут $500?
Mike
кого два? зачем вам два ToR, если у вас все машины в стойке влезают в один, а домен отказа - стойка?
Т.е. если свич надо обновить - это мне надо реьелансить всю стойку? Или всю нагрузку снимать? А ждать сколько надо, пока ребаланс пройдет? Клиенту, что скажу, на вопрос проседания?
Mike
Оказывается лучше заплатить больше, не много, и улучшить качество сервиса, удобство обслуживания и нервы, чем съэкономить и морочить мозги себе и клиентам
Mike
Ну то такое
Sergei
да.
будет не 500, будет несколько хуже.
у вас будет больше ToR, от этого будет больше Spine'ов, потому что вы будете вынуждены резервировать каждую стойку по полосе в режиме 2N. спайны будут толще или их будет больше, и они в сумме будут дороже.
при этом всю эту вашу чудесную супербыструю сеть вы должны будете использовать в каждом линке меньше, чем на 50%, потому что иначе в случае деградации вы получите bus saturation.
Sergei
Т.е. если свич надо обновить - это мне надо реьелансить всю стойку? Или всю нагрузку снимать? А ждать сколько надо, пока ребаланс пройдет? Клиенту, что скажу, на вопрос проседания?
у меня нет клиентов (на всех моих работах мы были сами себе клиент), поэтому у нас с вами разные подходы. стойка отказала - и хуй с ним, починим, вернем. мы не будем ребалансить, если ожидаем, что она вернулась. нам не надо снимать нагрузку - она сама съедет за пару секунд. проседания также не будет, потому что остальные N стоек (где N велико) живы.
Mike
Знаешь, стоит найти приложение, которое сможет мне нагрузить с одного свича на аплинки четыре-шесть соток.
Mike
у меня нет клиентов (на всех моих работах мы были сами себе клиент), поэтому у нас с вами разные подходы. стойка отказала - и хуй с ним, починим, вернем. мы не будем ребалансить, если ожидаем, что она вернулась. нам не надо снимать нагрузку - она сама съедет за пару секунд. проседания также не будет, потому что остальные N стоек (где N велико) живы.
Вот именно, вам похер, вы потерпите - тут не потерпят.
Sergei
год эксплуатировал такое приложение, в котором, блядь, средняя полоса со стойки 240 гигабит, пиковая 390
Sergei
и дешевле стойку потерять, пожить два дня на репликах и найти потом, чем ребалансить 2ПБ данных
Mike
год эксплуатировал такое приложение, в котором, блядь, средняя полоса со стойки 240 гигабит, пиковая 390
Ну так в моей схеме с одной стойки 8-12 линий уходит, т.к. коммутаторы резервируются
Sergei
Ну так в моей схеме с одной стойки 8-12 линий уходит, т.к. коммутаторы резервируются
да, и нам нужно больше портов на спайнах
Sergei
-> больше спайнов
Mike
и дешевле стойку потерять, пожить два дня на репликах и найти потом, чем ребалансить 2ПБ данных
Ага, это хорошо если за эти два дня данные не потерял. А если потерял - клиенту что скажем?
Sergei
и сеть все равно надо использовать только наполовину, потому что иначе затеним сеть и будет пиздец
Sergei
Ага, это хорошо если за эти два дня данные не потерял. А если потерял - клиенту что скажем?
я еще раз говорю - у нас с вами разные подходы, потому что мы сами себе клиент. у нас приложение заранее кладет данные в разные стойки. ну ушла и ушла, что теперь поделать
Mike
Да пойми ты, не всегда нужна твоя политика. Нам лучше переполнить, чем потерять данные или связность.
Sergei
так нет даталосса или потери связности.
Sergei
даже если мы смотрим на изолированный Ceph
Sergei
максимум деградации, которые ты получишь - ребаланс на время выключенности стойки.
Sergei
если у тебя в этой же фабрике компьюты (или компьюты и стораджа - одни и те же ноды) - то проблема будет только на том что у клиентов "ребутаются" машины. да, наверное это больно.
если компьюты на внешней фабрике - то даже этого не будет.
Mike
так нет даталосса или потери связности.
С одним портом на сервер - будет.
Если ты потерял реплику, осталось две, не дай бог одной из них попроситься.
J
Парни, но вы ж друг другу щас просто рассказываете как у вас принято)
Sergei
С одним портом на сервер - будет.
Если ты потерял реплику, осталось две, не дай бог одной из них попроситься.
да. именно поэтому 3 реплики на скейле больше, чем средний - немножко не оптимальное решение.
Mike
Парни, но вы ж друг другу щас просто рассказываете как у вас принято)
Я думал у него клиенты или хостинг. А если все своё - да пхах, делай что хочешь.
Sergei
но даже с резервированными линками на достаточно большом масштабе у вас вылетят три диска с малой паузой (по закону больших чисел это рано или поздно случится везде, но если дисков больше - то рано), среди которых была пачка блоков, которые лежали именно на этих трех дисках.
Sergei
Я думал у него клиенты или хостинг. А если все своё - да пхах, делай что хочешь.
это зависит от того, кого называть "клиенты".
Sergei
тех кого мы так называли было, хм, тысячи четыре человек, наверное.
Sergei
и у каждого свои гигабайты (или петебайты, кому уж как повезет) данных
J
Я думал у него клиенты или хостинг. А если все своё - да пхах, делай что хочешь.
Если не свое, тоже делай как хочешь на самом деле)
Sergei
500 долларов на сервер - да, погоды не сделают.
но сэкономленный миллион баксов - всегда сэкономленный миллион баксов.
Sergei
репликация вылетевшего диска начнется без скруба
Mark ☢️
при чем тут скруб?
Ну если колд данные то он их теребонькает и вовремя обнаружит смерть диска
Mark ☢️
Постарается
Sergei
Ну если колд данные то он их теребонькает и вовремя обнаружит смерть диска
ээээ. но смерть диска обнаружится гораздо раньше.