Где-то между одним прометеем и другим

Я не знаю как у тебя это всё сделано

Проблема в сетевой связности

Там tcp всякие, адреса, порты

А можеть быть такое, когда в slave-prometheus один из внутренних таргетов в DOWN, то master выдает ошибку context deadline exceeded. Заметил что в этот момент происходит эта ошибка. Т.е нужно что бы все таргете в слейве были UP. Я просто туже конфигурацию тестировал на другом кластере, и все работало, и там таркеты всегды были в состоянии UP на slave-prometheus

нет

какая версия?

какая версия?

Минутку

какая версия?

На мастере: 2.3.2 на слейве: 1.8.2

на 2.2.0 проверил, ничего подобного нет

ну и сеть проверить проще

попигнуй там, iperf, вот это всё

А можеть быть такое, когда в slave-prometheus один из внутренних таргетов в DOWN, то master выдает ошибку context deadline exceeded. Заметил что в этот момент происходит эта ошибка. Т.е нужно что бы все таргете в слейве были UP. Я просто туже конфигурацию тестировал на другом кластере, и все работало, и там таркеты всегды были в состоянии UP на slave-prometheus

у тебя down может быть как раз по той же причине, почему и федерация падает...

А куда мне смотреть, если у меня prometheus_remote_storage_queue_length постоянно висит на уровне 2 миллионов или не падает и не растет?

А куда мне смотреть, если у меня prometheus_remote_storage_queue_length постоянно висит на уровне 2 миллионов или не падает и не растет?

Ты используешь remote_write?

Ты используешь remote_write?

ага

Ну вот кажется туда и надо смотреть

у тебя down может быть как раз по той же причине, почему и федерация падает...

Меня больше волнует почему он при попытке обращения отдает вот эту ошибку. component=web msg="federation failed" err="write tcp 10.100.71.226:9090->10.0.0.11:34446: write: broken pipe" Типа не может какую-то запись сделать по этому адресу: 10.0.0.11 ? Это пишет slave-пром, который в k8s.

Меня больше волнует почему он при попытке обращения отдает вот эту ошибку. component=web msg="federation failed" err="write tcp 10.100.71.226:9090->10.0.0.11:34446: write: broken pipe" Типа не может какую-то запись сделать по этому адресу: 10.0.0.11 ? Это пишет slave-пром, который в k8s.

Timeout - скорее всего проблемы с сетью, как писали выше

Timeout - скорее всего проблемы с сетью, как писали выше

Да я понял, что возможно проблемы с сетью k8s. Я думал что мастер стучится на слейв, забирает все метрики у него и уходит. А тут в логах во время этого процесса фигурирует API-kubernetes. Пытаюсь понять, кого пинать. Или сетевого провайдера или провайдера kubernetes

они не мастер и слейв

Если ничего не помогает - запустите, наконец, tcpdump. Broken pipe это следствие deadline exceeded, т.е. к8с-ный пром не успевает ответить вопрошающему.

Т.е. в принципе связь между ними есть, но она может либо портиться, либо у к8с-ного прометея могут появляться какие-нибудь _дела_ типа " меня затроттлили по цпу в связи с перезапуском упавшего"

Тем более он старый. Я прямо глазами наблюдал эффекты троттлинга цпу на приложения с гц, выливающиеся в безумные тайм-ауты в сети, потому что процессу некогда данные из сокета забрать

@f545_j_43g43u_jer3tfgu32fh3333 а есть возможность поставить в тот же кубер свежего прометея?

отличный юзернейм))

напоминает анекдот про сисадмина и запрет на использование в качестве пароля имени домашнего любимца

@f545_j_43g43u_jer3tfgu32fh3333 а есть возможность поставить в тот же кубер свежего прометея?

Да, только что это сделал в отдельный namespace. Проблема таже. Я кажется понял куда копать. Хожу в k8s-prometheus по endpoint: https://91.163.254.163:6443/api/v1/namespaces/prometheus-monitoring/services/prometheus:9090/proxy/federate Там в логах по этому и фигурирует kubeapi k8s.

Ну вот кажется туда и надо смотреть

обновил оператор до 0.24, поды пересоздались с прометеем, все прошло

zbs

Да, только что это сделал в отдельный namespace. Проблема таже. Я кажется понял куда копать. Хожу в k8s-prometheus по endpoint: https://91.163.254.163:6443/api/v1/namespaces/prometheus-monitoring/services/prometheus:9090/proxy/federate Там в логах по этому и фигурирует kubeapi k8s.

А почему бы не ходить на прометеус напрямую?

А почему бы не ходить на прометеус напрямую?

Я к сожалению не знаю как это внутри k8s(

Кароч публикуешь прометеус через сервис типа NodePort, и с одного из портов любой ноды попадаешь на него.

разве это напрямую?

Ну.

Кароч публикуешь прометеус через сервис типа NodePort, и с одного из портов любой ноды попадаешь на него.

Ну как для дебага можно попробовать, в обход kubeapi

Я просто на случай, если с сетью подов нет связности снаружи. Прост возможно, что таймаут наступает внутри прокси, который предоставляет api, а доступ через сервис эту ситуацию исключит.

чуваки, а как можно алертменеджер подебажить? щас какая-то странная херня, что часть алертов улетает только в почту, а часть - только в слак

и я что-то никак не раскурю почему

для начала проверить логи

Я просто на случай, если с сетью подов нет связности снаружи. Прост возможно, что таймаут наступает внутри прокси, который предоставляет api, а доступ через сервис эту ситуацию исключит.

Да что ж такое, это тоже не тот чат >_<

пустота

ваще

и по конфигу посмотреть, может ты так настроил

ну то есть да, я так настроил

в смысле так досталось

но с виду почем так - я не могу понять

и чтобы разобраться, нужно бы туда-сюда потыкать этот конфиг

смотри по конфигу же

https://prometheus.io/webtools/alerting/routing-tree-editor/ может это поможет разобраться? :)

Я просто на случай, если с сетью подов нет связности снаружи. Прост возможно, что таймаут наступает внутри прокси, который предоставляет api, а доступ через сервис эту ситуацию исключит.

Спасибо за совет!

https://prometheus.io/webtools/alerting/routing-tree-editor/ может это поможет разобраться? :)

в моем случае ваще ничего не происходит ?

но да, хотелось бы чего-то такого

хотя не, происходит

но нихера не понятно

если кому-то не лень, то вот конфиг

https://gist.github.com/f11f72911d2c1fdf97e6fa86ff51ddc2

А что именно не понятно?

я так понимаю, тут матчатся лейблы не ресиверы

я не понимаю в какой момент critical превращается в slack_critical

Когда label severity: critical сматчит, ну или я не так понял вопрос :)

ERROR: S client not available

не ну да, но почему тогда, если есть severity="critical" в метрике, в слак ничего не попадает, но приходит на почту?

т.е. (я там вчера спрашивал) я сделал метрику foo{severity="critical"} 1

и сделал алерт по foo == 1

и тут раз все сломалось

надор подскажите а как писать данные perfdata из icinga2 в postgresql

ну чтобы метрику записывал набодобе как в influxdb

привет, о гуру метрик, кто может помочь со зверем kapacitor?

ладно можно не гуру

забиксом и рисуй

очень сильно захламлена карта

lomik/carbon-clickhouse was tagged: v0.9.0 Link: https://github.com/lomik/carbon-clickhouse/releases/tag/v0.9.0 Release notes: ### Bugfix * Tagged series shouldn't be modified during upload to "reversed" tables [#23](https://github.com/lomik/carbon-clickhouse/issues/23) ### Features * New `telegraf_http_json` receiver was added * New option `zero-timestamp` was adde... More

lomik/graphite-clickhouse was tagged: v0.8.0 Link: https://github.com/lomik/graphite-clickhouse/releases/tag/v0.8.0 Release notes: ### Bugfix * Tagged series should not be modified during select from "reversed" tables [lomik/carbon-clickhouse#23](https://github.com/lomik/carbon-clickhouse/issues/23)

lomik/graphite-clickhouse was tagged: v0.8.0 Link: https://github.com/lomik/graphite-clickhouse/releases/tag/v0.8.0 Release notes: ### Bugfix * Tagged series should not be modified during select from "reversed" tables [lomik/carbon-clickhouse#23](https://github.com/lomik/carbon-clickhouse/issues/23)

Дико плюсую за временной фильтр

@liquidbob будет жить. Поприветствуем!

@academ1c будет жить. Поприветствуем!

Всем привет! Подскажите, как лучше поступить. Мониторю Селениум ноды на предмет зависших сессий. Использую свой экспортер для прометея. Использую labeled gauge, то есть считаю запущенные браузеры, разных версий по разным платформам. Проблема в чем, что когда сессия пропадает - метрика тоже ремувается. Конечно, правильнее не схлапывать, а ставить 0. Но тогда возникает проблема, что надо где-то помнить ВСЕ возможные сессии - суть произведение платформ, браузеров и версий. По-сути, хранить стейт происходящего, а это не хочется, реалтайм легче.

Мне кажется, что я что-то делаю не так.

Как отличается зависшая сессия от независшей?

всем привет

подскажите про pushgateway. как я понимаю, он собирает метрики пуллами и потом пропушивает их в прометей, верно?

необорот

в него пропушиваются метрики, а прометей потом с него снимает пуллом?

а как они в него пропушиваются, если экспортеры ждут пуллов?

ну он нужен для тех кто не умеет открывать порт, например

Как отличается зависшая сессия от независшей?

ничем, кроме того, что эти сессии живут до рестарта Java и их видно на мониторингах. 8)

Кто идет на хайлоад — я подал митап чтобы мы могли все там затусить — голосуйте за "BoF церкви метрик" https://conf.ontico.ru/meetups/

и приходите?

мне из зала подсказывают, что можно как-то перебирать накопленные gauge метрики. хм.

необорот

Надо запомнить словцо

наеборот