и понимаешь примерно какие запросы на анализ будут

а, ну если это нужно близкое к реалтайму, иначе проще в elasticsearch скормить и не парится

Уже функционирует. Запросы формализованы, выданы операторам, фидбэк в основном позитивный.

Уже функционирует. Запросы формализованы, выданы операторам, фидбэк в основном позитивный.

А в чем вопрос?

Визуализация. Полученные логи заводятся под работу с конкретно следующим https://github.com/Vertamedia/clickhouse-grafana И обработка ( вернее, замена ) timestamp` ов nginx`а на требуемые Date | DateTime выходит некоторым образом дорогой по iops..

Визуализация. Полученные логи заводятся под работу с конкретно следующим https://github.com/Vertamedia/clickhouse-grafana И обработка ( вернее, замена ) timestamp` ов nginx`а на требуемые Date | DateTime выходит некоторым образом дорогой по iops..

ммм... а вот тут наверное лучше пойти в группу по кликхаусу и пообщаться там, показав запросы, которые вы делаете и структуру таблицы

потому что, возможно, вы делаете что-то не так

https://t.me/clickhouse_ru

https://t.me/clickhouse_ru

Спасибо, верно.

А не напомните группу про заббикс?

А не напомните группу про заббикс?

https://t.me/ZabbixPro

https://t.me/ZabbixPro

Спасибо

Хм ... я правильно понимаю, что если у меня вот такой запрос в grafana: sum(100 - ((container_spec_memory_limit_bytes{name=~".+"} - container_memory_usage_bytes{name=~".+"}) * 100 / container_spec_memory_limit_bytes{name=~".+"}) ) by (name) то сделать по нему alert я не смогу?

Хм ... я правильно понимаю, что если у меня вот такой запрос в grafana: sum(100 - ((container_spec_memory_limit_bytes{name=~".+"} - container_memory_usage_bytes{name=~".+"}) * 100 / container_spec_memory_limit_bytes{name=~".+"}) ) by (name) то сделать по нему alert я не смогу?

Почему?

Почему?

У меня выводится довольно странная ошибка "body json marshal"

У меня выводится довольно странная ошибка "body json marshal"

А график без алерта нормально рисуется?

Ну, кое-как. Вроде нормально, но иногда странным образом сбоит другой график. Но вот удалось добиться вроде нормально результата.

Ага, ругается на + t=2017-07-13T14:11:23+0000 lvl=eror msg="body json marshal" logger=context userId=1 orgId=1 uname=siredvin error="json: error calling MarshalJSON for type null.Float: invalid character '+' looking for beginning of value"

Может на 0 поделили?

Там будет +Inf, кажется

Вот и ругается

Ага, в самом деле, вполне может быть

Сейчас буду думать, как выкрутится, спасибо за совет)

Мда, теперь нужно придумать, как отфильтровать лишние метрики)

А, ну да. Понятно)

Ребята, ребятушечки, нид хелп. Я правильно понимаю, что нужно убрать веник с рейда и внести его + запустить синхронизацию ? Первый раз такую хрень вижу (( DegradedArray event on /dev/md/1:server.net This is an automatically generated mail message from mdadm running on server.net A DegradedArray event had been detected on md device /dev/md/1. Faithfully yours, etc. P.S. The /proc/mdstat file currently contains the following: Personalities : [raid1] [raid0] [linear] [multipath] [raid6] [raid5] [raid4] [raid10] md2 : active raid1 sda4[0] 208925568 blocks super 1.0 [2/1] [U_] bitmap: 2/2 pages [8KB], 65536KB chunk md1 : active raid1 sda3[0] 20479872 blocks super 1.0 [2/1] [U_] md0 : active raid1 sda1[0] 1023936 blocks super 1.0 [2/1] [U_] unused devices:

Примерно так навскидку: mdadm --detail /dev/mdn mdadm --manage /dev/mdn --fail /dev/sdXn mdadm --manage /dev/mdn --remove /dev/sdXn mdadm --manage /dev/mdn --add /dev/sdXn

смотри в dmesg

что там у тебя - сбойнул контроллер или диск накрылся

если первое, то рецепт уже привели

"веник"

Привет! На счет алертов в Графане. Я правильно понимаю, что они будут срабатывать даже если дашборд не будет открыт в браузере?

Привет! На счет алертов в Графане. Я правильно понимаю, что они будут срабатывать даже если дашборд не будет открыт в браузере?

Да

А подскажите, плз, есть ли какой-то период времени, в течении которого должен срабатывать алерт чтобы перейти в режим FIRE?

А подскажите, плз, есть ли какой-то период времени, в течении которого должен срабатывать алерт чтобы перейти в режим FIRE?

В графане ты указываешь период времени в запросе.

Вы имеете в виду "query(A, 5m, now)" - т.е. алерт по запросу перейдет в FIRE, если каждый раз при проверке в течении 5мин условие возвращало true?

Вы имеете в виду "query(A, 5m, now)" - т.е. алерт по запросу перейдет в FIRE, если каждый раз при проверке в течении 5мин условие возвращало true?

Весь запрос выглядит как-то так: Когда функция() от запрос(Номер запроса, отступ от точки отчета, точка отчета)

Например, avg() of query(A, 5m, now) > 70 означает, что если среднее значение метрики за 5 минут больше 70, то алерт сработает

Если вам нужно, что бы именно значение метрики все пять минут было выше какого-то значения, то вроде совсем прямо такого сделать нельзя. Но я не уверен, что вам именно это нужно. Обычно avg() или median() весьма неплохо работают.

И если у вас метрики более-менее постоянны (что бывает довольно часто), то вроде и avg() будет делать то же самое, что вам нужно

И если у вас метрики более-менее постоянны (что бывает довольно часто), то вроде и avg() будет делать то же самое, что вам нужно

спасибо!

Ну, еще есть период проверки, по умолчанию 60 секунд

Если вам нужно, что бы именно значение метрики все пять минут было выше какого-то значения, то вроде совсем прямо такого сделать нельзя. Но я не уверен, что вам именно это нужно. Обычно avg() или median() весьма неплохо работают.

min ?

min ?

И в самом деле( Спасибо за подсказку)

котаны, а кто в докере пром крутит? как к алертменеджеру цеплятся, без модификации ентрипойнта?

у меня так

ну тип, в ентрипойнт влез всё же)

-alertmanager.url=http://alertmanager:9093

я так воображаю, чтобы забубехать типа docker pull prometheus/prometheus для обновления, рестартнуть его беднягу и всё

видимо придётся влезать ручонками в него :(

ну я просто pull делаю и голову не грею

у меня работает норм

а это композовский файл, верно? или для чего?

да это он

я от туда повыкусывал

у меня там еще обвязки понакручено

типа traefik графана и вот это вот всё

а в системд пихаешь его? или как ты рулишь этим всем?

ERROR: S client not available

парни, кто юзал ? https://github.com/messagebird/sachet

docker-compose up -d

и всё

там рестарт же написан

там рестарт же написан

я чет не оч понимаю, а кто вызовет запуск, после например ребута системы?

докер стартует - стартует зависимые контейнеры

thats pretty goood

котаны, а кто в докере пром крутит? как к алертменеджеру цеплятся, без модификации ентрипойнта?

а кто мешает взять alertmanager_configs: в конфиг вписать?

https://prometheus.io/docs/operating/configuration/#<alertmanager_config>

а кто мешает взять alertmanager_configs: в конфиг вписать?

какой-то факин меджик, я в своём конфиге этого не вижу

спасибо большое, решает мой кейс

Есть пользователи Bosun?

Там обычный алерт по полкам или что то более изощрённые ?

что значит по полкам?

наверно имеется ввиду пороговое значение

https://github.com/prometheus/blackbox_exporter/releases/tag/v0.7.0

[FEATURE] Automatically determine timeout from Prometheus’s scrape_timeout [FEATURE] Expose http version as metric [FEATURE] Allow specifying with http versions classify as a success [FEATURE] Add metric for regex or query response failure [FEATURE] Expose configuration on /config [ENHANCEMENT] Improve logging of tcp module errors [BUGFIX] Set DNS lookup duration metric even if lookup fails

надеюсь показ конфига отключаемый

/subscribe prometheus/blackbox_exporter all

или бота выгнали?

вот должен теперь оповещения о этой репе слать, если будут релизы

если будет работать надо вообще все полезное добавить будет

ок, давай посомтрим, главное что бы он на всех входящих не агрился приветствием

ок, давай посомтрим, главное что бы он на всех входящих не агрился приветствием

не должен

я прошлый раз его как раз за это пнул

да?

хм, ща уберу

я прошлый раз его как раз за это пнул

а, нашел где бага, ща поправлю