Aleksey
У меня вот сейчас как раз второй вариант - всё на виртуалках, продублировано в двух ДЦ, а HA между ДЦ - только на хелсчеках и днс на Route53.
Aleksey
Хотелось бы сделать лучше, но вот куда рыпнуться тут можно без бэкграунда в сетях глубокого и без возможности что-то накрутить у хостера, кроме тех самых виртуалок - не очень понятно.
One
роутеры тоже в виртуалках есть
niko
не рвет. просто при отсутствии консистент хешинга он твои пакеты в другой бекенд лить начнет
niko
это равносильно порванной сессии)
niko
на деле он конечно ничего про сессии не знает
niko
ну то есть если ецмп умеет в такие хеши, то и сессии он не рвет)
Рашит
ну то есть если ецмп умеет в такие хеши, то и сессии он не рвет)
https://tools.ietf.org/html/rfc2992 судя по всему умеет, если я правильно наискосок прочитал этот rfc
niko
ну в теории он умеет, вопрос умеет ли твоя железка)
niko
линукс кмк не умеет
niko
кумулус умеет на определенном списке железа
niko
пока все регионы работают)
Aleksey
А чем не устраивает то что сейчас? Мне кажется - норм по днс между регионами балансить
Да всё норм в принципе, но ощущение что можно лучше ) До 60 секунд время реакции хелсчека, 60 сек ттл днс записи За несколько минут большинство клиентов уже идет только на живые балансеры. Но есть меньшинство, те, у кого разные кэширующие днс сервера, особенно провайдеры таким грешат - они игнорят ттл у днс записи и кэшируют её для своих клиентов не на 60 сек, а на минуты-часы.
Aleksey
В принципе т.к. в днс ответе выдаются multiple A-записи, то для тех же браузеров это тоже не проблема. Да и мобильные приложения - недоступен один ip из ответа, идем на другой.
Рашит
niko
и как там сид указать?)
Nick
Но если есть деньги на улучшение - можно спрятаться под CDN и задирать частоту хелсчеков. ИМХО - самое простое решение
Aleksey
Трафик большой, больше пол-петабайта за месяц. На CDN разоримся за такие объемы, считал уже )
niko
а сама инфра-то в амазоне? или только роут53 от него?
Aleksey
только роут53 от него
George
Я на месте клиента не был бы сильно счастлив такой отказоустойчивости
Aleksey
ну это получается затрагивает только тех, у кого днс резолвится на серверах настроенных через одно место, с игнором ttl
Aleksey
все остальные в течении 2х минут перестают получать просто адреса недоступных балансеров
Aleksey
и ходят только на живые
George
Охеренно
George
Т.е. 2 минуты пользователь наблюдает протормозки на сайте
George
Или ты всерьез думаешь, что любой браузер ходит только лишь на живые айпи ?
Рашит
и как там сид указать?)
не очень понял, про какой сид речь
niko
не очень понял, про какой сид речь
это потому что линукс не умеет в него)
Aleksey
Т.е. 2 минуты пользователь наблюдает протормозки на сайте
Как сделать лучше? Могу платить больше денег за более частые хелсчеки, ttl записи не уверен можно ли уменьшить еще, но предположим. Снизим 2 минуты до десятков секунд-1 минуты. А дальше? Еще раз условия задачи - 2 ДЦ, только виртуалки.
niko
днсом быстрее никак
Dmitry
У меня вот сейчас как раз второй вариант - всё на виртуалках, продублировано в двух ДЦ, а HA между ДЦ - только на хелсчеках и днс на Route53.
Продублировано полностью? То есть второй дц подключается только в случае отказа первого и там все уже готово принимать трафик? А с базами как поступаете? Может случиться такое. Что отказали только балансеры в первом ДЦ, но остальное все работает норм? Чек о недоступности балансера в первом дц сработал, трафик пошел на второй ДЦ. Но бэкенды во втором ДЦ идут в базу первого ДЦ, так как мастер во второй ДЦ не переехал. В итоге получили большой latency в запросах и возможно все упадет. Задаю вопрос не целью прикопаться, а просто интересно как делаете.
Старый
я там админ - и я тебя предупреждал - о том что надо поуважительней общение строить
а мне вообще выписал бан хотя я там только читал и 1 рах задал вопрос про стоимость
Dmitry
Да странно что @yamlcoder где-то забанили. Адекватный человек, полезные советы дает
Aleksey
а в каком ДЦ мастер базы? Если мульти мастер, нет ли проблем из-за latency между ДЦ с мульти мастером?
Приложение почти не пишет напрямую в бд ничего, только через очередь в кластерном исполнении. Можем спокойно жить на репликах рид-онли без мастера всё время, которое необходимо для назначения одной из реплик новым мастером вручную.
Aleksey
А реплики есть в нескольких экземплярах в каждом ДЦ
Aleksey
постгря
Старый
а потом уже смотрите уровень приложений
Dmitry
для начала наймите себе нормального сетевика, чтобы он настроил сети нормальные между дц
Он писал выше, что нету возможности что-то делать с сетями. Ограничения хостера
Старый
Ты считаешь тебе не за что?
там да, я там ничего не писал, кроме 1 раз задал вопрос про хосты с amd epyc
Dmitry
постгря
а очередь какая?
Aleksey
Он писал выше, что нету возможности что-то делать с сетями. Ограничения хостера
Вот интересная мысль кстати прозвучала - крутить собственный роутер внутри виртуалки. Но никто ведь мне не даст с неё анонсить по BGP что-то в сеть хостера?
Aleksey
а очередь какая?
Kafka и Redis Sentinel
Alexey
там да, я там ничего не писал, кроме 1 раз задал вопрос про хосты с amd epyc
Вова, я б тебя перманенто в инете забанил, за пропаганду нытья
niko
вы можете просто свой внешний днс заменить на внешний лоадбалансер
Aleksey
вы можете просто свой внешний днс заменить на внешний лоадбалансер
тогда будет новая точка отказа ) нужен будет еще один балансер - и тут мы возвращаемся опять к тому же ))
Aleksey
облачный балансер крутить - объемы трафика не позволяют, очень дорого
niko
он будет анонсировать сам себя по бгп и этим резервироваться
niko
ну да
Aleksey
стоимость инфры вырастет в 10 раз
niko
дороже днса выйдет)
niko
тебе не поможет роутер внутри. тебе нужно чтобы твой адрес кто-то наружу анонсировал с твоих двух дц
niko
а у тебя и твоего адреса-то нет)
Dmitry
потому что это отдельный мир
это понятно. Но непонятно как в него прийти, если хочется HA красивый, с L3 балансировкой для разных AZ и вот это все
Aleksey
Вот ) Вчера еще эту тему подняли интересную, почему и сегодня я её продолжил.
niko
да почти любой хостер бгп дает
Старый
и никак иначе
Aleksey
Пока получается есть два варианта - либо свои железки и сеть, либо заносить тележку бабла клауду.