Alexey
G72K
ОК
kSandr
вот так всегда ... ты к ним со всей душой, а они тебя банят )
G72K
Никто не помнит блог года полтора назад был, как кто-то включил http/2 галочкой на лоад балансере и огрёб, так как оказалось много нюансов?
G3rhard
Звучит чотко, я бы тоже почитал
Vladimir
G72K
Pavel
ну и плюс там же все реквесты пачкой приходят, и бек может тупо от этого пасть
Pavel
вот чо делает омозон с ними хз
Pavel
кстати что делает nginx я тоже хз, надоб заполнить пробелы
Pavel
да, разбирает
Pavel
G72K
да, разбирает
Вот толстый ответ одного бекенда забивает единственную TCP трубу до клиента и все мелкие ждут.
G72K
Видимо балансеры не очень хорошо умеют в мультиплексинг в http/2
G72K
Dmitry
тем временем http3 на подходе, а гугл quick во всю крутят, а там вообще udp. Страшно жить
Евгений
В http/2 с L3 балансером вообще легко огрести: одно TCP соединение и не никак его не замультиплексируешь
Pavel
а там кстати же еще tcp hol, потерял пакеты, и и все стримы ждут пока пакетик не повторить. такшта на плохих каналах будет жопа полнейшая
Евгений
G72K
Pavel
ну да, lb не при чем, но, эт я к тому что галку тыцнул и потерял мобильных клиентов ))
Евгений
Евгений
Звучит не оч отказоустойчиво
Pavel
ну в амазоне alb вполне норм
Евгений
В амазоне alb небось встроенный l3 балансер имеет, незаметный для вас
Vladimir
Как?
Например резко вырастет нагрузка. А ещё до сих пор слегка разное понимание клиентами и серверами рфц
Vladimir
Балансеры л3 резко начинают видеть один Коннект :)
M
Эх а я толкто вчера включил http2
M
На простеньком дом жнижиниксн
Евгений
Гугл-то понимает тоже, что мы с тобой 😊
Vladimir
И это неожиданно для людей
Vladimir
Vladimir
Pavel
кароч тока quic спасет!
Евгений
G3rhard
G72K
-1 AZ и печалька
Так между AZ балансить только по днс или bgp можно, иначе как балансить балансеры ? :)
G72K
Aleksey
AS же,автономная система, какое еще AZ ?
Aleksey
Евгений
Евгений
Dmitry
-1 AZ и печалька
не понял, ну перетащил айпи на другой балансировщик, чем в этом плане отличается l3 от l7?
Евгений
https://static.googleusercontent.com/media/research.google.com/zh-CN//pubs/archive/44824.pdf
Aleksey
И получается если вся зона падает, то тебе надо делать bgp анонс на другую автономку (в другую зону). @elemir90, правильно? Приведешь пример на чем такое можно собрать?
Евгений
Ну, условно. L3-балансировка выглядит так:
1. В разных зонах стоят разные border router'ы, они анонсят один и тот же самый VIP (IP адрес балансера) с одним весом
2. Для анонса настроен ECMP, с помощью которого гарантируется, что трафик из одного sip:sport:dip:dport пройдёт через тот же самый border router
3. Внутри зоны обычно эта схема повторяется в маленьком масштабе, то есть internal bgp, ecmp и так трафик доползает до нужного бекенда. Кроме того есть автоматика, которая проверяет хелсчеки и снимает/поднимает анонсы на iBGP.
4. Анонсы iBGP прорастают в eBGP, что гарантирует, что если внутри зоны что-нибудь анонисится, то этот IP и вовне заанонсится.
Теперь что у вас будет с HTTP/1. У вас десять tcp соединений, каждое из них будет иметь свой sport, что позволит на 10 бекендов рассыпать трафик. С HTTP/2 у вас будет один набор sip:sport:dip:dport и всё посыплется на один бекенд. Альтернатив тут особых нет: сетевое оборудование ничего не знает про http2 streams и никаких железных технологий для этого нет
Aleksey
значит нужно в такой схеме сразу после прохождения внешнего балансировщика - дальше идти на обычные L7 балансеры, а их failover строить на хелсчеках, а не на bgp
Евгений
Aleksey
это просто наверное надо записывать в риски и объявлять учитывающий это SLA для клиентов
Aleksey
100% аптайм всё равно почти невозможен, и как нам проповедует гугл - не нужен
Aleksey
вот кстати, надо посмотреть рассказывал ли netflix как у них это устроено
Aleksey
у них же есть инструмент хаос-тулинга, хаос-горилла кажется - которая как раз целый регион кладет
Евгений
Нетфликс небось живёт на alb, AWS это продумал за них
Aleksey
значит они с этим прямо хорошо должны уметь жить
Евгений
А ещё у них HTTP/1.1
Aleksey
слышал вроде что у них только контрол-плейн на авс, а дата-плейн - на собственных железках
Aleksey
т.е. приходим к тому с чего начали? проблема в http2 в принципе?
Евгений
Ну у гугла http2
niko
как можно для анонса во внешний мир настроить ецмп?)
niko
всмысле там же нет никаких крутилок
Alexander
niko
не знаю, я процитировал сообщение выше)
Alexander
Там, видимо, имелся в виду ecmp анонсов с разных балансировщиков внутри as
Aleksey
Я вам (и себе) принес почитать - https://nag.ru/articles/reviews/105272/ecmp-i-prevratnosti-balansirovki-na-setevom-oborudovanii.html
Тут в конце статьи подборка ссылок. Надо изучить, переварить, и потом возобновить обсуждение )
niko
зачем для ецмп л2?)
niko
ничего не понимаю что происходит)
Alexander
ничего не понимаю что происходит)
Бывает. Про l2 я говорил в ответ на сообщение про vrrp. Ecmp же обсуждался совсем в другом контексте. Смотри, что является реплаем на что.
G72K
Ну, условно. L3-балансировка выглядит так:
1. В разных зонах стоят разные border router'ы, они анонсят один и тот же самый VIP (IP адрес балансера) с одним весом
2. Для анонса настроен ECMP, с помощью которого гарантируется, что трафик из одного sip:sport:dip:dport пройдёт через тот же самый border router
3. Внутри зоны обычно эта схема повторяется в маленьком масштабе, то есть internal bgp, ecmp и так трафик доползает до нужного бекенда. Кроме того есть автоматика, которая проверяет хелсчеки и снимает/поднимает анонсы на iBGP.
4. Анонсы iBGP прорастают в eBGP, что гарантирует, что если внутри зоны что-нибудь анонисится, то этот IP и вовне заанонсится.
Теперь что у вас будет с HTTP/1. У вас десять tcp соединений, каждое из них будет иметь свой sport, что позволит на 10 бекендов рассыпать трафик. С HTTP/2 у вас будет один набор sip:sport:dip:dport и всё посыплется на один бекенд. Альтернатив тут особых нет: сетевое оборудование ничего не знает про http2 streams и никаких железных технологий для этого нет
Интересно , облака так не делают. У fastly всё на свичах, bird на каждом сервере и отдельный демон, который mac address переносит с сервера на сервер . У кого-то там maglev, тоже с отдельным демоном. ECMP все сессии рвет при изменении количества нод, клиентам не нравится
Aleksey
Хорошо бы почитать где-то best practices по построению мульти ДЦ инфраструктуры, ориентированной на максимальный HA. Как в применении к собственному железу, так и поверх IaaS (всё на виртуалках, сетевые железки ставить возможности нет).