не в контейнере запущен?

в нем самом

похоже https://github.com/prometheus/node_exporter/issues/20 ?

через докер запущен верно?

похоже https://github.com/prometheus/node_exporter/issues/20 ?

да, очень похоже на мой случай

посмотри в самом низу Using Docker там написано https://github.com/prometheus/node_exporter

что не рекомендуется так использовать

из за ограничений с фс

мда, дурак...

большое спасибо!

пожалуйста )

а мне тут интересно, почему prometheus, а не InfluxDB+Telegraf?

существует поверье, что Influxdb очень кривой.

и мнение что он не держит нагрузку

а еще для алертинга к нему придется прикрутить богомерзкий капаситор.

а если графану?

ну или теперь графану да

просто сейчас хочу делать на influx+telegraf+grafana

раньше у нас заббикс был

я алертинг на графане даже не включал так что хз

о. каминг аут! круто.

просто сейчас хочу делать на influx+telegraf+grafana

по нагрузке прикинь.

инфлюкс в общем случаее более жруч нежели пром

оке, спасибо, надо будет глянуть

ух к prometheus еще и service discovery прикручивать

а мне тут интересно, почему prometheus, а не InfluxDB+Telegraf?

вот тут хорошо расписано про Storage https://prometheus.io/docs/introduction/comparison/

/stat@combot

combot.org/chat/-1001068522817

Антон Успенский: да уже поставил нативным способом у меня теперь конфликтует prometheus из за локейшенов в nginx все идет почему то на uwsgi Если ещё актуально, то конфиг нджинкса в студию. Зачиним.

Антон Успенский: да уже поставил нативным способом у меня теперь конфликтует prometheus из за локейшенов в nginx все идет почему то на uwsgi Если ещё актуально, то конфиг нджинкса в студию. Зачиним.

актуально, только я щас занят попозже скину конфиг )

ок

вот тут хорошо расписано про Storage https://prometheus.io/docs/introduction/comparison/

походу это года 2014 статья, influx уже не скейлится горизонтально

это тоже минус

но не для всех

не, я вполне не против держать сервер для каждого микросервиса/сервиса

буду пробовать короче, а то этот коммент пугает немного: InfluxDB simply cannot hold production load (metrics) from 1000 servers. It has some real problems with data ingestion and ends up stalled/hanged and unusable. We tried to use it for a while but once data amount reached some critical level it could not be used anymore. No memory or cpu upgrades helped. Therefore our experience is definitely avoid it, it's not mature product and has serious architectural design problems. And I am not even talking about sudden shift to commercial by Influx. Next we researched Prometheus and while it required to rewrite queries it now ingests 4 times more metrics without any problems whatsoever compared to what we tried to feed to Influx. And all that load is handled by single Prometheus server, it's fast, reliable, and dependable. This is our experience running huge international internet shop under pretty heavy load.

а машин более 1к?

угу

и генерируют просто вагон метрик

у нас сейчас самописная штука для сбора метрик из java, но это ад ад ад, почти терабайт трафика в час =)

тот кто это писал, не думал, что будет так много машин

у нас поменьше машин и начал с Prometheus

эксперементировать с чем то другим не было времени)

а я вот начал с influx, так как дома он уже года 2 пашет без проблем

но дома и нагрузки нет

но я знаю что gitlab.com использует InfluxDB c Prometheus у них вообще очень много всего на вики можно найти https://docs.gitlab.com/ce/administration/monitoring/performance/influxdb_configuration.html

ага, видел

просто в целом когда гуглишь про метрики, больше всплывает telegraf+influx, но тут я смотрю больше о prometheus говорят

вот и интересно почему

influx очень любит память и процессоры жрать

мы собираем в него загрузку портов

там еще есть разница в timestamps и query language

бедолагу плющит, у него регулярно возикает благородная отрыжка

поэтому у нас вокруг influx'а крутятся сервисы, которые слушают очередь NSQ и пытаются его кормить с ложечки

и смотрят, чтобы он все переварил

когда он делает compact шарду - на какое-то время уходит в себя

ну и взлетает по 20 минут, если не сдохнет на взлете

ну пока у нас распоряжение такое - если проще пользоваться, но больше жрет ресурсов - брать то, что проще

оно неравномерно жрет

ну и больше 100k метрик в секунду проблемы начинаются

смотрим в сторону clickhouse. Кто уже покрутил графановский плагин для него?

ну пока у нас распоряжение такое - если проще пользоваться, но больше жрет ресурсов - брать то, что проще

Потерять 20 минут метрик на перезапуске базы не проблема?

Тогда он ок

Телеграф может кормить и пром и инфлюкс одновременно

Я так и делал

ERROR: S client not available

ну вот я так сейчас и планирую затестить

и туда и туда буду складывать и потом посмотрим что лучше

Пром лучше с точки зрения запросов

Прям простые вещи делаются проще

С вариантом и туда и туда есть проблема

Ты будешь рисовать Даши два раза

jetty кто чем собирает статистику?

JMX рулит

https://collectd.org/wiki/index.php/Plugin:GenericJMX - такое?

д

можно и такое

да, вариант вполне

Угу, спасибо.

а jetty у вас внешний или embedded?

либо если надо круче/кастомней - есть возможность из питона читать

а jetty у вас внешний или embedded?

А хз, я даж не задумывался об этом

http://www.boxever.com/easy-java-instrumentation-with-prometheus/ например

Ага, это интересно

с промом удобно метрики тянуть с jmx и еще свои теги навешивать

btw в opentsdb кассандру завезли

? пока босун был очень хотелось

смотрим в сторону clickhouse. Кто уже покрутил графановский плагин для него?

Я немного крутил. Работает неплохо, но я пока не представляю как сделать удаление данных

И для кликхауса прикручивать тэги еще надо как то

с промом удобно метрики тянуть с jmx и еще свои теги навешивать

Только у меня прома нет. ?

А почему всем так нравится своё поднимать? Вот куча же возни с influx'ом, например, даже тут в чате многие жалуются.

Почему SaaS может не устраивать? Их полно же разных.

http://www.techradar.com/news/software/applications/for-and-against-saas-and-installed-applications-1139860

Почему SaaS может не устраивать? Их полно же разных.

Saas дорого

Малому бизнесу да, нафиг что то еще надо

Я немного крутил. Работает неплохо, но я пока не представляю как сделать удаление данных

Там же партиции вроде по дням можно делать, так и чистить

Там же партиции вроде по дням можно делать, так и чистить

Пока по месяцам

Пока по месяцам

Ок, 1 месяц тоже норм (для нас по крайней мере ;) )