Да не за что :)

Это один из самых полезных докладов про прометея

пока слайды смотрю, соглашусь :)

Видео глянь, Фабиан классный

кто-то знает, есть ли где то кроме кода, интерпретация ошибок, которые прометей отражает в своих статах а-ля head_series_not_found?

сейчас будет глупый вопрос

я запускаю пром на своей машине вот так - docker run --name prometheus -d -p 127.0.0.1:9090:9090 quay.io/prometheus/prometheus мне нужно запустить его со своим конфигом, чтобы иметь возможность настроить remote write, как это сделать?

у него там какой-то свой конфиг есть, внутри контейнера

почитать документакию к докеру на тему передачи директорий-файлов внутрь

Можно взять готовый композ еще, там уже все прикручено

@chloe_raven будет жить. Поприветствуем!

здравствуйте! а как бы триггер прилепить на строчку с ERROR в кибане и эластике 6.3 желательно без лишних извращений и без x-pack (они вроде вкорячили часть функций из x-pack начиная с 6.2 нахаляву но триггеров я что то не нашел)

кажется тебе в чят про эластик

здравствуйте! а как бы триггер прилепить на строчку с ERROR в кибане и эластике 6.3 желательно без лишних извращений и без x-pack (они вроде вкорячили часть функций из x-pack начиная с 6.2 нахаляву но триггеров я что то не нашел)

https://t.me/elasticsearch_ru

спасибо извините)

кто-нибудь знает как работает remote-write/remote-read в проме? я собрал пример из documentation/examples и пытаюсь передавать в него данные из прома, пром постоянно выводит в лог - level=warn ts=2018-07-10T13:00:03.994454959Z caller=queue_manager.go:530 component=remote queue=0:http://localhost:9201/write msg="Error sending samples to remote storage" count=100 err="Post http://localhost:9201/write: dial tcp 127.0.0.1:9201: connect: connection refused"

при этом example слушает именно этот порт

и прометей в докере небось запускаешь?

конечно, ему порт нужно пробросить?

ну если у тебя прометей в докере (и тем более если "конечно"), а слушателя ты запускаешь на локалхосте, то проблема очевидна

твой локалхост и локалхост из контейнера- это разные адреса)

кто-нибудь знает, умеет ли пром писать больше чем в один поток?

Жаль, если нет)

В метрике, которая содержит количество отправленных точек, есть номер очереди.

Я думаю это либо код смотреть или Алексея спрашивать

кто-нибудь знает, умеет ли пром писать больше чем в один поток?

он по-умолчанию пишет в 1000 потоков. https://github.com/prometheus/prometheus/blob/master/docs/configuration/configuration.md#remote_write секция queue_config

он по-умолчанию пишет в 1000 потоков. https://github.com/prometheus/prometheus/blob/master/docs/configuration/configuration.md#remote_write секция queue_config

круто, спасибо!

Gabriel будет жить. Поприветствуем!

а в каком каталоге пром хранит метрики, если запускать через докер?

эта сволочь за ночь сожрала все место на диске, хотя возможно это логи

а в каком каталоге пром хранит метрики, если запускать через докер?

/var/lib/docker/volumes

В каком укажешь

эта сволочь за ночь сожрала все место на диске, хотя возможно это логи

Звучит как "я тут что-то сделал, не знаю, что, и место на диске кончилось"

В каком укажешь

я не указывал явно

Тогда внутри контейнера

Звучит как "я тут что-то сделал, не знаю, что, и место на диске кончилось"

так все и было

Понимаю :)

Тогда внутри контейнера

А нутрь контейнера на хост машине это /var/lib/docker/volumes

А нутрь контейнера на хост машине это /var/lib/docker/volumes

Нет, в /var/lib/docker/volumes — это volume-ы, а запись внутри контейнера идет в специальный слой поверх слоев образа.

Сам слой при этом лежит там же, где и остальные слои

Подскажите по графане, source prometheus. Есть Metrics A (sum(http_bytes_sent_bytes_sum) и Metrics B (sum(rate(http_upstream_response_length_bytes_sum) в графане. Хочется выводить как раз их значение, а также дополнительно значение "A / B". Могу я как-то в метрике "C" обратиться к "A" и "B" или необходимо будет именно делать новый реквест "(sum(http_bytes_sent_bytes_sum) / (sum(rate(http_upstream_response_length_bytes_sum)"

с точки зрения графаны это будет все равно новый запрос, поэтому не проще ли копипаст сделать?

Если так, то да. Думал может есть возможность манипулировать ранее полученными даннысми.

можно. рекордрулами в проме

Подскажите по графане, source prometheus. Есть Metrics A (sum(http_bytes_sent_bytes_sum) и Metrics B (sum(rate(http_upstream_response_length_bytes_sum) в графане. Хочется выводить как раз их значение, а также дополнительно значение "A / B". Могу я как-то в метрике "C" обратиться к "A" и "B" или необходимо будет именно делать новый реквест "(sum(http_bytes_sent_bytes_sum) / (sum(rate(http_upstream_response_length_bytes_sum)"

При прометеусе в качестве датасурса пока нельзя

можно. рекордрулами в проме

да, это понимаю.

При прометеусе в качестве датасурса пока нельзя

спасибо

ну технически можно одни запросом получать все значения что ты хочешь

но вряд ли ты захочешь видеть этот запрос

В графане в синглстат можно выводить текущее значение, в не зависимости от выбранного периода?

посмотри там настройки про интервал

не уверен что у синглстат есть, у обычных графиков точно есть override interval

current выстави

стоит 1 минута и current

но полез смотреть выделенный период и значение стало на тот момент времени

А статус панель кто-нибудь крутил в графане? Можно там из прома выводить?

https://code.fb.com/data-infrastructure/spiral-self-tuning-services-via-real-time-machine-learning/ видали?

Добрый день. Подскажите, пожалуйста, куда копнуть чтобы заработал prometheus.io/scrape: «true»? В более ранних версиях prometheus operator/kube-prometheus это работало.

ну откатил бы уже версию и удостоверился что работало так как ты запомнил

ERROR: S client not available

https://code.fb.com/data-infrastructure/spiral-self-tuning-services-via-real-time-machine-learning/ видали?

Молодцы ФБ, но они ж ее не заопенсорсили ?

конечно

но вообще это серьезный звоночек

вот без шуток

джва года об этом мечтаю

джва года об этом мечтаю

потерять работу?

"роботы отберут у нас работу" ага

ну-ну

а зачем платить зарплату админу, если его работу выполняет робот? вот серьезно?

затем чтобы админ занимался чем-то более высокоуровневым?

истерики на тему "роботы лишают нас работы" уже триста лет существуют

ну откатил бы уже версию и удостоверился что работало так как ты запомнил

Там тоже кривая версия была, со своими приколами

ты issue им писал?

ты реально же уже третий день спрашиваешь об этом

Нет, не писал, но, видимо, придется. Пока не горело.

Я ж, наверняка, не один с этой проблемой

а зачем платить зарплату админу, если его работу выполняет робот? вот серьезно?

админ знает, как программировать робота

админ знает, как программировать робота

это же ML - его нельзя программировать. Его только учить можно

а дальше оно живет своей жизнью, и даже вмешаться в его внутренний мир малореально

одна из рутинных и скучных задач уходит роботу, ура!

@alexanderzobnin а если в папке General в Графане несколько тысяч дашбордов, то папки ниже нее не отображаются. Это известный баг, или надо репортить? Самое близкое что нашел https://github.com/grafana/grafana/issues/3623 но оно вроде закрыто

хорошо живёте

хорошо живёте

зависит от того как на это глядеть. Не скучно - это точно

что то в таком подходе кажется странным

Подскажите по прометхеусу: Мне нужно найти точки в метриках где значение было отрицательным. Такое встречается крайне редко, и на большом масштабе не видно на графиках. как это сделать вобще ?

Можешь сделать min_over_time с большим интервалом например

Чтобы было повиднее

блин. картинки не постятся

@freeseacher дай мне прав постить картинки плиз