и судя по всему графана не умеет в мультиалертинг

ну т.е. если в match ему залетает больше 1 значения - он ничего не пишет.

А покажи скриншот того, что там написано в настройках письма

вот такой вот тест алерта

https://pastebin.com/JwfSaZcM

и судя по всему графана не умеет в мультиалертинг

Такого не пробовал. Возможно

кто настраивал alert manager для mysql в прометеусе?

вы пишете sql запрос в базу и проверяете ответит ли?

или как определяете что сервер жив а не висит просто

использую метрику mysql_up от mysqld_exporter

он там уже сам запросы выполняет

mysql uptime?

чтот я не вижу mysql_up

нашёл

mysqld_exporter тема, да

@alxrem будет жить. Поприветствуем!

они у тебя в пром заведены айпишником?

они у тебя в пром заведены айпишником?

static_configs: - targets: ['172.27.64.34:19999', '172.27.64.33:19999', '172.27.64.36:19999']

ну тогда резолви в вебморде

ну тогда резолви в вебморде

Это как?

не знаю

пром за тебя резолвить не будет

пром за тебя резолвить не будет

Я понимаю, хотябы в доке где смотреть?)

так я не работал с нетдатой, не в курсе, какие там функции есть. в проме функции резолва нет

Сам в прометее айпишники завёл, а ожидает хостнеймы

Прикольно

Ну я понимаю, что вы все круты и все знаете. Спасибо за конструктив

Не стоит так воспринимать

Не поможет

заведи лучше хостнеймами

заведи лучше хостнеймами

Я понял, что так проще будет. Спасибо :)

можно же label=hostname сделать)

можно же label=hostname сделать)

Вопрос как?) в принципе я хочу сделать так как я делаю это в elastic, типа выбрать метрики только с одного хоста, который в variable grafana

можно же label=hostname сделать)

Зачем, если проще сразу хостнеймы задавать

у нас тут есть олдскульные погромисты, которые до сих пор ипишники хардкодят и вместо смены одного синейма надо пересобирать зависимости на десятке серваков

кстати, у меня такой же вопрос почти, вот у меня крутится три экспортера на одной тачке, которые чекают три базы, хочу для каждого свой инстанс адекватный, как мне это сделать?

Можешь добавить каждому лейбл и потом релейбелингом вписать

этот лейбл надо в проме прописывать? или на стороне экспортера?

Как захочешь

Посмотри например как работает блекбокс экспортер

Или снмп

ок, спасибо

yandex/ClickHouse was tagged: v18.10.3-stable Link: https://github.com/yandex/ClickHouse/releases/tag/v18.10.3-stable Release notes: Auto version update to [18.10.3] [54405]

@acid232 будет жить. Поприветствуем!

Как измерить успех. Стратегии мониторинга и их связь с бизнес-проблемами https://habr.com/company/oleg-bunin/blog/418975/

Как по мне, довольно классная статья)

Хочу хорошо спать

Это моя метрика успеха

Ну конечно при условии, что другие метрики не падают

есть хаятушники по алертменеджеру для совсем тупых?

Как по мне, довольно классная статья)

Согласен. У Леона вообще классные доклады, он еще в прошлом году на devopsdays был.

как influx заставить перестать гадить в syslog?

в конфиге в секции [http] указано /var/log/influxdb/access_http.log"

Но в /var/log/syslog полно что то типа Aug 14 11:20:17 mon influxd[11826]: [httpd] 127.0.0.1 - - [14/Aug/2018:11:20:16 +0300] "POST /write?db=librenms&precision=n HTTP/1.1" 204 0 "-" "GuzzleHttp/6.3.3 curl/7.52.1 PHP/7.0.27-0+deb9u1" e01dc688-9f9a-11e8-8731-000000000000 694386

Пофиксил багу так: В systemd unit написал ExecStart=/usr/bin/influxd -config /etc/influxdb/influxdb.conf ${INFLUXD_OPTS} > ${STDOUT} 2> ${STDERR}

Народ я понимаю что прометей немного не про то

но как получить именно последнее значение метрики

ERROR: S client not available

?

где?

Запросом в самом прометее

Пофиксил багу так: В systemd unit написал ExecStart=/usr/bin/influxd -config /etc/influxdb/influxdb.conf ${INFLUXD_OPTS} > ${STDOUT} 2> ${STDERR}

https://stackoverflow.com/questions/37585758/how-to-redirect-output-of-systemd-service-to-a-file

https://stackoverflow.com/questions/37585758/how-to-redirect-output-of-systemd-service-to-a-file

Это немного не то

Но тоже вариант

Пофиксил багу так: В systemd unit написал ExecStart=/usr/bin/influxd -config /etc/influxdb/influxdb.conf ${INFLUXD_OPTS} > ${STDOUT} 2> ${STDERR}

$STDOUT и $STDERR это что?

имена файлов?

$STDOUT и $STDERR это что?

То что в /etc/default/influxd, а именно /dev/null

прост если там будет что-то отличное от /dev/null, то кто эти файлы будет ротировать

прост если там будет что-то отличное от /dev/null, то кто эти файлы будет ротировать

logrotate)))

ну-ну

а переоткрывать на запись после ротации кто будет?

прост если там будет что-то отличное от /dev/null, то кто эти файлы будет ротировать

Логротейт рекурсивно по /var/log ходит уже очень давно

речь не о том, чтобы переименовать файл, а о том чтобы закрыть его на запись после переименования

а переоткрывать на запись после ротации кто будет?

copytruncate)

и если это делать шеллом через > то это делать будет никто

copytruncate как костыль разве что, ага

не лучше ли сделать правила для сислога?

а переоткрывать на запись после ротации кто будет?

Это давно починено

что "это"?

Переоткрытие логов на запись при ротации

кто в файл пишет если ты делаешь >?

copytruncate как костыль разве что, ага

С чего бы костыль?

потому что copytruncate жрёт иопсы

Короче то пошел оффтоп и к метрикам не относится

как и изначальный вопрос)

потому что copytruncate жрёт иопсы

Пусть жрёт, не жалко

"не жалко" != "не костыль"