в скрапере описываешь: - job_name: 'http' ... metrics_path: /probe params: module: [http_2xx] static_configs: - targets: - https://link_1 - https://user:password@link_2 ... relabel_configs: - source_labels: [__address__] regex: (.*)(:80)? target_label: __param_target replacement: ${1} - source_labels: [__param_target] regex: ^https?://([^/]+).*$ target_label: instance replacement: ${1} - source_labels: [] regex: .* target_label: __address__ replacement: <где-ты-там-его-поднял>:9115 # Blackbox exporter.

его можно хоть в докере, хоть в где

понял. пойду экспериментировать

спасибо :)

самое сложное с прометеем после заббикса - осознать его принцип работы

вот с этим сложно да.. пока вообще не могу ничего понять)

он не запускает никаких чеков, не делает никаких хттп-запросов, etc

он ТОЛЬКО собирает метрики

т.е. по сути все собирается локально - и потом он просто все это забирает?

то есть вот твой чек-на-успешный-логин в терминах прометея это что-то вроде sum(successfull_logins_to_porno_ru)[5m] >= 5

и если за пять минут логинов было меньше пяти (ну мы подразумеваем чек раз в минуту), то надо колотить в рынду

но вот эту МЕТРИКУ прометею кто-то должен отдать

то есть должен быть какой-то сервис (exporter в терминах прометея), который будет монотонно логиниться и по заранее известному урлу отдавать прометею текущую статистику

Хм. Окей. Сейчас будем вкуривать. Идея понятна. Спасибо за ликбез

если тебе для проверки чего-то нужно запускать шелл-скрипты, то можно сделать например так:

# crontab -l | grep update # Chef Name: security_updates 0 * * * * /usr/lib/update-notifier/apt-check 2>&1 | awk -F\; '{print "debian_updates_pending{type=\"security\"} "$1"\ndebian_updates_pending{type=\"others\"} "$2}' > /var/lib/node_exporter/textfile_collector/debian_updates.prom.$$ && mv /var/lib/node_exporter/textfile_collector/debian_updates.prom.$$ /var/lib/node_exporter/textfile_collector/debian_updates.prom

тут мы воспользовались textfile_collector'ом node_exporter'a

https://github.com/prometheus/node_exporter#textfile-collector

# crontab -l | grep update # Chef Name: security_updates 0 * * * * /usr/lib/update-notifier/apt-check 2>&1 | awk -F\; '{print "debian_updates_pending{type=\"security\"} "$1"\ndebian_updates_pending{type=\"others\"} "$2}' > /var/lib/node_exporter/textfile_collector/debian_updates.prom.$$ && mv /var/lib/node_exporter/textfile_collector/debian_updates.prom.$$ /var/lib/node_exporter/textfile_collector/debian_updates.prom

кул

у меня вот чет подгорает с blackbox экспортера

документации чет маловато, код смотреть непонятно порой

второй путь - запускать кучу шелл-скриптов консулами, и собирать метрики с них

пример:

# cat /var/lib/consul/checks/unicorn_workers_check #!/bin/bash workers=$(ps aux | grep '[u]nicorn_rails worker'|wc -l) echo $workers if [ "${workers}" -ge "2" ]; then exit 0; fi exit 255

тут мы проверяем, что воркер-процессов юникорна больше двух

этот чек зарегистрирован в консуле:

# cat /etc/consul/conf.d/unicorn_workers.json { "check": { "script": "/var/lib/consul/checks/unicorn_workers_check", "interval": "15s", "service_id": "application", "name": "unicorn_workers" } }

тут консул каждые 15 секунд проверяет количество юникорн-воркеров

скрапер выглядит вот так: - job_name: 'consul' scrape_interval: 15s scrape_timeout: 10s static_configs: - targets: ['192.168.222.2:9107']

192.168.222.2:9107 - это адрес консул-експортера

https://github.com/prometheus/consul_exporter

он монотонно собирает все метрики со всего кластера консулов

так я имею в прометее все метрики по шелл-чекам

Огонь. Т.е. по сути скриптами собирает все данные и все...

алерт по приложенькам выглядит вот так:

ALERT service_is_unreachable IF sum by (node, service)(consul_catalog_service_node_healthy == 0 and (consul_catalog_service_node_healthy{node !~ ".*beta.+"} or consul_catalog_service_node_healthy{service = "blackbox-exporter"})) FOR 3m LABELS { severity = "critical" } ANNOTATIONS { summary = "ALARM! service \"{{ $labels.service }}\" on node {{ $labels.node }} is unreachable", }

Кстати, а зависимости тут есть?

хотя не, это какой-то слишком хитроебаный алерт

ща попроще покажу

Ну из банального упал nginx на одном сервере - недоступен портал А.

И алерт только один на основопричину

да, это называется "подавления"

вот алерт попроще:

ALERT SecurityUpdates IF debian_updates_pending{type="security"} > 0 LABELS { severity = "warning" } ANNOTATIONS { summary = "Node {{ $labels.instance }} has {{ $value }} pending security updates", description = "Run `# apt-get -s dist-upgrade | grep \"^Inst\" | grep -i securi | awk -F \" \" {'print $2'} | xargs apt-get install` on {{ $labels.instance }} ASAP!" }

это как-раз я про крон там выше показывал

вот про подавления: https://prometheus.io/docs/alerting/alertmanager/#inhibition

https://prometheus.io/docs/alerting/configuration/#inhibit-rule-<inhibit_rule>

Почитаю

короче, самое сложное в прометее после заббикс-лайк систем - это осознать, что он работает по-другому

а дальше все встает на свои места и становится логично, легко и приятно

попробуем)

а еще из тупых вопросов, а это что? https://github.com/knyar/nginx-lua-prometheus

позволяет отдавать нужные метрики самим nginx?

да

location /metrics { content_by_lua 'prometheus:collect()'; }

но это чот сложно как-то

луа там какая-то...

я вот этот юзаю: https://github.com/discordianfish/nginx_exporter

а еще вот офигенная штука: https://github.com/google/mtail

превращает логи в метрики

очень крутая хрень в некоторых случаях

луа там какая-то...

я отсюда взял это https://prometheus.io/docs/instrumenting/exporters/

да я ж не говорю, что это плохо

просто оно считает nginx_http_requests_total и nginx_http_request_duration_seconds

которые доступны из stub_status'a без всяких луй

ага

я вот этот юзаю: https://github.com/discordianfish/nginx_exporter

Копия логсташа:) только на го вместо явы.

wat? o_O

при чем тут вообще логстэш?

:)) сори

он имел ввиду mtail

а еще вот офигенная штука: https://github.com/google/mtail

Вот это копия логсташа.

а

нууу, да

Только меньше и на го:)

близко

и быстрее

блекбокс в докере не собирается)) что ж за люди такие(

Ну да, брать метрики из логов хорошо.

Но надо еще и просто логи смотреть :) Например урл и рефер из лога апача:) В таймсериес бд плохо такое запихивать.

не, ну конечно это не отменяет всяких лосей

root@ubuntu:~/go/blackbox_exporter# make docker >> building docker image Sending build context to Docker daemon 6.686 MB Step 1 : FROM quay.io/prometheus/busybox:latest ---> 00ff5d2279a5 Step 2 : MAINTAINER The Prometheus Authors <prometheus-developers@googlegroups.com> ---> Using cache ---> 90a67f632a9b Step 3 : COPY blackbox_exporter /bin/blackbox_exporter lstat blackbox_exporter: no such file or directory Makefile:51: recipe for target 'docker' failed make: *** [docker] Error 1 root@ubuntu:~/go/blackbox_exporter#

я где то лох? или тупо контейнер кривой?)

да собери ты руками

там еще хуже ?

ммм

ща я попробую

root@ubuntu:~/go/blackbox_exporter# make build >> building binaries > blackbox_exporter can't load package: package github.com/prometheus/blackbox_exporter: cannot find package "github.com/prometheus/blackbox_exporter" in any of: /usr/lib/go-1.6/src/github.com/prometheus/blackbox_exporter (from $GOROOT) /home/kurachav/go/src/github.com/prometheus/blackbox_exporter (from $GOPATH) [1] /home/kurachav/go/src/github.com/prometheus/blackbox_exporter (from $GOPATH) Makefile:43: recipe for target 'build' failed make: *** [build] Error 1

почему он гитхаб у меня в gopath ищет?)

ну а где он еще его должен искать?

так устроен го

$ go get -v -d github.com/prometheus/blackbox_exporter $ cd $GOPATH/src/github.com/prometheus/blackbox_exporter $ CGO_ENABLED=0 go build --ldflags '-s -w --extldflags "-static"' $ file blackbox_exporter blackbox_exporter: ELF 64-bit LSB executable, x86-64, version 1 (SYSV), statically linked, stripped

все отлично билдится

понял

прислать тебе бинарь готовый?

уже сделал :)

ок

https://github.com/grafana/grafana/issues/5996 расходимся.... =(

хотя рано паникую, руками если зафигачить работает