Oleksandr
его просто научить перестраивать конфиги
Aleksey
сложность задачи представляете когда серверов хотябы 10 ? точек пристутствия хотя бы 2?
Oleksandr
ну для начала почитать библию
Oleksandr
https://landing.google.com/sre/sre-book/chapters/addressing-cascading-failures/
Aleksey
https://landing.google.com/sre/sre-book/chapters/addressing-cascading-failures/
а кто говорит что это каскадный отказ ?
Oleksandr
а кто говорит что это каскадный отказ ?
каскадный сбой - это просто самое плохое что случается. тяжелый частный случай
Aleksey
вдруг стало работать медленно требует чудовищного графа или не менее чудовищной работы по partitioning
Oleksandr
я б начал с того, а как все детектить без зависимостей
Oleksandr
а потом начать понимать "а как построить зависимости"
Oleksandr
Oleksandr
все от архитектуры зависит
Aleksey
я б начал с того, а как все детектить без зависимостей
я уже был в этой точке. мне уже можно в следующую
Oleksandr
я б делал упор на мониторинг брокера, если он используется
Oleksandr
по крайней мере мы это ощущаем у себя на кролике в первую очередь
Aleksey
я б делал упор на мониторинг брокера, если он используется
кул. он говорит что e2e latency скачком увеличилось в 100 раз.
Oleksandr
кул. он говорит что e2e latency скачком увеличилось в 100 раз.
ну так он не просто так скажет. можно ж дальше копать до консьюмера, очереди, роута, экченджа
Aleksey
ну так он не просто так скажет. можно ж дальше копать до консьюмера, очереди, роута, экченджа
и эта только одна зависимость.
Oleksandr
тот же рейт можно ловить на микросервисе
Oleksandr
но я думаю, это лишнее
Aleksey
не ну можно начать думать про свой боргмон
ну вот есть кубы. как они решают вопрос зависимости через очередь ?
Oleksandr
вся пляска будет от сервисов и их мониторинга + мониторинг брокера и сопоставление обоих мониторингов для поиска аномалий
Aleksey
я там конечно конкретную ситуацию имел ввиду про рост с 12 до 970 ms
Oleksandr
задержки?
Aleksey
Oleksandr
в том что сеть работает. а приложение тоже работает. но коннект начинает вместо 12ms занимать 970ms
ну тут дорога "раздвояецца" на жопа в сети илижопа в сервисах
Oleksandr
задержка как правило повышенная нагрузка где-то
Aleksey
ага да. всё это понятно Александр.
Aleksey
но граф тут снова посасывает
Oleksandr
зачем тебе граф?
Oleksandr
быть модным?
Aleksey
что бы вместо 1000050000 алертов получить хотя бы 50
Oleksandr
зависимости. строить их по накопленному опыту
Oleksandr
нет. о любой
George
Чисто теоретически
George
То что ты делаешь - нужно
George
Но бесполезно
George
Любая система является не просто механической совокупностью своих частей
Oleksandr
микросервис чем хорош - нже должен быть простым в мониторинге. ты знаешь откуда в него что-то прилетает и куда с него что-то вылетает. ограниченное к-во входов и выходов
George
Соответственно, у тебя даже условная работоспособность компонентов не означает, что система работает
George
Твоя декомпозиция не работает
George
Т.к. помимо описания на нижнем уровне придется описывать совокупность компонентов как систему и надсистему
George
Типичный пример - это несколько связанных буферов
Oleksandr
@freeseacher
тебе не надо ломать голову почему приложение-монолит жрет 100% цпу. и трейсить его.
достаточно понять какой из микросервисов начал прогибаться. вычислить это можно по его метрикам. вычислив его можно понять причину просадки
George
По отдельности все метрики чики-поки, в вместе все глючит, тормозит и взрывается
Oleksandr
По отдельности все метрики чики-поки, в вместе все глючит, тормозит и взрывается
да не бывает так. всегда есть причина
Oleksandr
просто причины разные )
Oleksandr
а вот обратная сторона - это как раз твои 100500 алертов из-за каскада
George
Срать на 100% потребление ОЗУ и цпу.
George
Вообще это так и должно быть. Иначе зачем мы платим деньги
Oleksandr
да. иногда она простая. изменился профиль нагрузки.
очень частое явление. например мы такое ловили после маркетинговой кампании
George
Здесь более возможно применение принципа бейзлайна и машинного обучения, т.е. именно поиск аномаоий
Aleksey
что привело к тому что стали запускатся задачи требующие не короткий запрос к бд а длинный. и привет
George
"система работает странно". Относительно предыдущего такого периода
Oleksandr
Oleksandr
не надо про такое
Aleksey
Oleksandr
это пиздить архитектора
Aleksey
ладно с вами весело. пойду тыкать k3s
Oleksandr
раз внезапно поменялся профиль нагрузки
Gennady
Oleksandr
а что миникуб умер?
George
очень частое явление. например мы такое ловили после маркетинговой кампании
Только кто корелляции будет строить.
Oleksandr
без арма и иот не обошлось
Aleksey
это пиздить архитектора
архитектор. микросервисы. камон. 2019 год. всюду стартапы. какой архитектор мля
Oleksandr
архитектор. микросервисы. камон. 2019 год. всюду стартапы. какой архитектор мля
жирный ленивый и умный
George
архитектор. микросервисы. камон. 2019 год. всюду стартапы. какой архитектор мля
Многосерийный комедийный фильм "сам себе архитектор"
Oleksandr
чей он? как правило он между