из prometheus в alerta я не вижу json

в логе

а можешь скинуть пример своего alertad.conf?

у меня оно alerta/alertad.conf.sh

и там TELEGRAM_TOKEN='ххххххх' TELEGRAM_CHATID='хххх'

ну да тоже самое и у меня врядли проблема с url так как Alerta Telegram API работает сообщение уходят и попадают в Telegram

через alerta cli

а ты енв праивльно отдаешь ?

что за env?

ALLOWED_ENVIRONMENTS=

у меня так вот

ALLOWED_ENVIRONMENTS= ['production', 'development', 'infrastructure', 'Production', 'Development', 'Infrastructure']

exact match

не я с этой опцией не играл

а зачем она нужна

я знаю там плагин reject есть который как следит за этим

http://alerta.readthedocs.io/en/latest/api/reference.html#create-an-alert

он вроде по дефолту идет

environment string environment, used to namespace the resource

и он там врет что environment не Required

у меня когда из prometheus в alerta приходит что нить там автоматом проставляется Production

ладно попробую щас добавить этот енв и проверить )

алерт выглядлит так вот

ALERT FM_too_many_alerts IF httpjson_fm_monitor_alarms_active_alarms{env="prod"} > 100 FOR 30s LABELS { service = "FM", severity = "major", value = "{{$value}}", environment = "Production", type = "Prometheus" } ANNOTATIONS { summary = "Too much alerts in system", customer = "xx xx" }

а если только severity указан ?

из меток

я бы так не стал

обрати внимание какие теги требуеются в телеге что бы отправлять сообщения

я в итоге переписал его себе вот так

https://gist.github.com/freeseacher/e4ced9db25821b363ad06216af3bf595

да я уже заметил, но из них обязательные только 2

это resource и event

спасибо посмотрю вижу там темплейт jinja2

да

мне так показалось проще

если будет желание чего то добавить велкам

я кажется не добил вывод ссылки на график

добавил allowed_environments не помогает

еще добавил тег environment для alerts

@freeseacher огонь вообще нашел в чем проблема, пришлось руками JSON постить и сравнивать с примерами, и что оказалось у меня event: "http_status" был , когда я его изменил на event: "httpstatus" все заработало, а этот event это имя ALERT httpstatus, в общем этот underscore сделал мой день.

может будет интересно ньюфагам https://dvps.blog/statsd-part-2/

всем привет! Кто-нибудь собирает данные с unbound ?

Мммм... ну у меня он стоит на серверах. Если я не буду собирать от него данные, он станет бесполезен.

шутка. а что с него собрать-то можно/нужно?

сколько берет из кэша, какие типы запросов проходят и так далее

сколько памяти отжирает

там много интересного собирается

штатный сборщик munin хорошо все делает

там особенно интересны тайминги

https://www.unbound.net/documentation/howto_statistics.html

поставил его, но как-то не очень работает из коробки

т.е. собирается, но сам мониторинг не отображает определенные графики

не не не не

я не предлагаю ставить munin

только подглядеть методику сбора

поглядел) оно подробно, да

ну и поставил сразу

для моих целей не подходит. Вот и интересно, кто чем собирает

https://github.com/r3boot/unbound_exporter

пробовал ?

скачал, но пока не пробовал

коллеги, кто использует нотификацию прометея в телеграм - поделитесь ссылочкой на рабочее решение пжлст

эмм

мы используем

можно ссылку на гитхаб? Или оно секретное?

не секретное

ERROR: S client not available

ща

https://github.com/inCaller/prometheus_bot

спасибо

коллеги, кто использует нотификацию прометея в телеграм - поделитесь ссылочкой на рабочее решение пжлст

Можно еще использовать http://docs.alerta.io/en/latest/ с плагином для телеграмма https://github.com/alerta/alerta-contrib/tree/master/plugins/telegram .

мы используем

а есть примеры темплейтов ?)

можно например вынуть из {{ .CommonAnnotations }} title или description ?

а в чём, кроме гуя, приемущество алерты над алертменеджером?

или оно только фронтенд к разным тревожным кнопкам?

ну, там же монга внутре :D

алерта дашборд. и в нее может писать не только пром

у меня туда пишет деплой например

алерта дашборд. и в нее может писать не только пром

а, она не умеет рулить правилами?

как писать факт деплоя в пром я не придумал

никак :(

точнее, можно

а, она не умеет рулить правилами?

via python

app_deploy{commit="foobar"} 1 TS

как писать факт деплоя в пром я не придумал

всмысле? что мешает в конце деплоя пушить в pushgateway?

всмысле? что мешает в конце деплоя пушить в pushgateway?

лол

всмысле? что мешает в конце деплоя пушить в pushgateway?

у меня его нету.

но вариант защитан. :)

даже если бы был, @pipopolam не понимает как работает PG

чойта?

тойта

расскажите, поручик, интересно ©

в прометея нельзя «пушить». ты не можешь взять и просто так пропихнуть в него данные. pushgateway это тупо key/value сторадж, в котором ключом является метрика с лейблами, а значением значение метрики. если ты три раза запишешь в PG foo{a="b"} 13, то в прометее не будет 3 точек для foo{a="b"}

будет только та, которую скейпнёт прометей

pushgateway нужен исключительно для случаев когда у тебя есть штука, которая не может постоянно хранить своё состояние и к которой нельзя прикрутить HTTP эндпоинт

например кронтаски

я не знаю нахрена они назвали это pushgatway, потому что оно не push ну ни разу

назвали бы cachegatway или не знаю, persistentgateway

вобщем если у тебя скейп интервал, например, минута, а за это время случилось три деплоя, через pushgateway так просто не выйдет ничо