Rainbow
Мне что-то показалось, что там вопрос про сбор метрик с nginx-ingress 🙈 prometeus разве метрики через /metrics отдаёт? Думал он через него собирает только...
Rainbow
@Andorka ты как-то спрашивал про мониторинг фейлов конфига nginx, нашел как?
Rainbow
count(nginx_ingress_controller_config_last_reload_successful{controller_pod=~"$controller",controller_namespace=~"$namespace"} == 0)
Все уже готово... отсюда
https://github.com/kubernetes/ingress-nginx/blob/master/deploy/grafana/dashboards/nginx.yaml
Andor
Отлично что есть ручка
Denis
привет и доброго времени суток. Ребятки , как вы мониторите ИТЦД хосты куба . Чтото я не врублю как прометеус натравить на итцд .
Andor
Итцд
Vadim
привет и доброго времени суток. Ребятки , как вы мониторите ИТЦД хосты куба . Чтото я не врублю как прометеус натравить на итцд .
https://github.com/etcd-io/etcd/blob/master/Documentation/op-guide/monitoring.md#metrics-endpoint
Denis
это да , но я не могу забрать метрики по ХТТП
Denis
у меня секьюр итцд с сертификатами и блэкджэком
Vadim
тогда тебе надо настроить tls_config в прометее
Andor
Итцд
Denis
тоесть мне серты итцд в прометеус нужно запихнуть
Andor
Итцд
Andor
А он точно по хттпс метрики отдаёт, а не по хттп?
Vadim
только healthz без аутентификации и то только с 3.3
Denis
тогда тебе надо настроить tls_config в прометее
можно пжлста обьяснить где и как засторить сертификаты . куда их класть =\ прометеус бежит как сервис в кубе
Andor
https://prometheus.io/docs/prometheus/latest/configuration/configuration/#%3Ctls_config%3E
Denis
👍
Vadim
https://www.cncf.io/announcement/2018/11/28/cncf-announces-envoy-graduation/
готов для продакшена!
Oleksii
Кто какой ингресс юзает? Nginx сегодня весело свалился при замене подов
Andor
по какой причине?
Andrey
Ребят, а есть какой-то варик замутить "внутренний" ingress?
Суть, есть 2 приложения, одно работает по /, инстансы второго по /%any%/metrics. Хост у них должен быть один(особенность приложения потребителя).
Как бы сделать так чтобы не гонять трав через наружу?
Igor Ivanov
Там же path есть в ингресс
Alik
Ребят, а есть какой-то варик замутить "внутренний" ingress?
Суть, есть 2 приложения, одно работает по /, инстансы второго по /%any%/metrics. Хост у них должен быть один(особенность приложения потребителя).
Как бы сделать так чтобы не гонять трав через наружу?
в последних версиях контроллера nginx вроде появилась поддержка по regex для path
Andrey
Там же path есть в ингресс
Да, но если это делать через обычный ingress то все это дело будет доступно снаружи, а у меня приложение потребитель находится в том же кластере. Т.е. гонять его траф через ingress немного накладно
Alik
посмотрите в сторону ambassador
Vadim
Ребят, а есть какой-то варик замутить "внутренний" ingress?
Суть, есть 2 приложения, одно работает по /, инстансы второго по /%any%/metrics. Хост у них должен быть один(особенность приложения потребителя).
Как бы сделать так чтобы не гонять трав через наружу?
завернуть в отдельный haproxy, например?
Rainbow
Rainbow
Или вообще в одном поде их ставить
Andrey
Или вообще в одном поде их ставить
В одном поде дельзя, масштабировать я сложно будет. А по dns пока нет возможности слелать
Rainbow
В одном поде дельзя, масштабировать я сложно будет. А по dns пока нет возможности слелать
Почему нет? Уже просто интересно
Andrey
Почему нет? Уже просто интересно
В приложении один эндпоинт на монолит. Который как раз в процессе расщепления на микросервисы
Rainbow
Свой nginx вставить между ингресом и апами
Oleksii
по какой причине?
Цпу полезло вверх после обновления приложения чьи коннекты обслуживает ингресс. Выросло примерно в 8 раз и в эти моменты не отрабатывал соединения. При 11к рпс на один под nginx это было больно
Andor
звучит как будто ты сам себе в ногу стрельнул
Oleksii
Чей-то
Oleksii
Но не возражаю :)
Oleksii
Деплоймент аппы c rolling update и readiness probe. Не вижу проблем в данном случае
Rainbow
Oleksii
4 пода ингресс
Rainbow
Упал и упал, там соседи должны быть
Oleksii
4 пода аппы
Rainbow
На разных нодах?
Oleksii
По графику. Просто свалился весь траффик и он перестал отвечать.
Andor
к каждому пришло 11к рпс?
Rainbow
Звучит странно
Oleksii
Около 300к в минуту
Rainbow
Такие ситуации в чатике не обсуждают, слишком много если
Andor
300k в минуту это 5к в секунду
Andor
примерно в два раза меньше чем у тебя заявлено
Andor
звучит так как будто ты не можешь потерять одну ноду, иначе на другие хосты приходит столько трафика, сколько ты уже не осиливаешь освоить
Rainbow
И вся схема... 4 ингреса, 4 апы и 4 ноды... зачем вам куб?
Vadim
тем временем CRIO скоро перейдет под крыло CNCF - https://github.com/cncf/toc/pull/177
Oleksii
Косяк именно при обновлении конфигурации
Andor
чо там будет теперь
Andor
rkt уже был
Oleksii
ноды есть, я не уверен что +2 (например) пода ингресса решат проблему релоада конфига
Rainbow
ноды есть, я не уверен что +2 (например) пода ингресса решат проблему релоада конфига
Там реплоад только на добавление удаление сервисов.
Oleksii
верю 🙂
Andor
может у тебя readyness фальшивый?
Oleksii
нет, вполне себе жив
Oleksii
Oleksii
вот как это выглядит
Andor
и что это?
Oleksii
это момент когда nginx решил заткнуться
Andor
"решил"?
Oleksii
выгядело это именно так
Andor
как "так"?
Andor
нжинкс не умеет "решил заткнуться"
Oleksii
почему это