Хм ... А кто-то пользовался https://osquery.io/?)

Хм ... А кто-то пользовался https://osquery.io/?)

Штука хорошая, но я не придумал что полезное с ней можно сделать

В смысле, фейсбук уже пару лет как ее заопенсорсил

а зачем оно? ?

это поиск по фактам

грусть какая

В "стандартной схеме", у тебя твои ансиблы\ пуппеты \ шефы могут генерить факты, который ты можешь использовать как мету для чего либо.

QIWI тоже в проде держат

Звучит как mco

mco не то.

Большая часть того, что заканчивается на io - от лукавого.

вобще идея выделенного хранилща метаданных с фактами по нодам она неплохая.

сложность основная с пониманием иерархии и ее границми

puppetdb?

А чем mco не то? По фактам же ищет

ищет, но это не первичная его задача

хотя без неё он и бесполезен

puppetdb?

ближе к сути)

Коллеги, подскажите пожалуйста, кто в графане выводил какие-нибудь нестандартные эллементы для управления? Например нужна заскриптованная кнопка вкл/выкл какой-нибудь удаленной службы на сервере, кто как это реализует?

https://community.grafana.com/t/button-in-dashboard/1556

в text панели вполне себе рендерится html, я вот их использую когда нужно вставить формы или что-то подобное

а может кто прислать скрин как выглядит интерфейс с кастомными кнопками? не смог нагуглить

кнопки ты сам делаешь какие хочешь в хтмл

Большая часть того, что заканчивается на io - от лукавого.

prometheus.io

prometheus.io

большая часть != все подряд =)

отмазывайся теперь...

?

Большая часть того, что заканчивается на io - от лукавого.

Большая часть всего - от лукавого

большая часть лукавого - от лукавого

отмазывайся теперь...

=(

Коллеги, у меня вопрос. Кто-либо сравнивал метрики прометеуса и коллектд? У меня расходятся данные по дисковым операциям (кол-во записанных/прочитанных байт), причём заметно.

Коллеги, у меня вопрос. Кто-либо сравнивал метрики прометеуса и коллектд? У меня расходятся данные по дисковым операциям (кол-во записанных/прочитанных байт), причём заметно.

имеется ввиду node_exporter vs collectd?

совершенно верно.

совершенно верно.

Я первое время collectd использовал, расхождений не видел. Сейчас воткну на какой-нибудь сервак collectd, вечером сравню результаты. Интересно стало ? Пингани меня вечерком плиз - посмотрим.

Коллеги, у меня вопрос. Кто-либо сравнивал метрики прометеуса и коллектд? У меня расходятся данные по дисковым операциям (кол-во записанных/прочитанных байт), причём заметно.

а расхождение в какую сторону? кто недосчитал?

Нубский вопрос про prometheus: для какой глубины истории он подходит? Разумно ли в нем хранить пол-года - год истории? Естественно, с большим кол-вом метрик и помнтов.

коллектд

Нубский вопрос про prometheus: для какой глубины истории он подходит? Разумно ли в нем хранить пол-года - год истории? Естественно, с большим кол-вом метрик и помнтов.

Мы в самом прометеусе храним 1 месяц данных, для более долгих сроков выкидываем данные в графит/кликхаус (сейчас на стадии теста)

Нубский вопрос про prometheus: для какой глубины истории он подходит? Разумно ли в нем хранить пол-года - год истории? Естественно, с большим кол-вом метрик и помнтов.

там есть remote storage для более длительного хранения

там есть remote storage для более длительного хранения

А почему приходится уносить старые данные из самого прометеуса? Начинает тормозить? Или на диск перестает влезать?

А почему приходится уносить старые данные из самого прометеуса? Начинает тормозить? Или на диск перестает влезать?

Сторадж прометеус больше подходит для оперативных данных, они сами это заявляют: Remote storage integrations As outlined above, Prometheus's local storage is limited in its scalability and durability. Instead of trying to solve long-term storage in Prometheus itself, Prometheus has a set of interfaces that allow integrating with remote long-term storage systems. proof: https://prometheus.io/docs/prometheus/latest/storage/#remote-storage-integrations Так что все что историческое - кидается в графит с агрегацией или в кликхаус сырыми ивентами, а дальше уже селектится оттуда.

Я первое время collectd использовал, расхождений не видел. Сейчас воткну на какой-нибудь сервак collectd, вечером сравню результаты. Интересно стало ? Пингани меня вечерком плиз - посмотрим.

Вопрос закрыт, проблема связана с кастомным патчем для коллектд, который поменял правила наименования метрик для графита.

Вопрос закрыт, проблема связана с кастомным патчем для коллектд, который поменял правила наименования метрик для графита.

Ок, откатываю ?

а нет же простого способа натравить прометей на несколько портов одного таргета?

например у меня через кубер дискаверится под/контейнер и мне надо туда в несколько портов сходить

Несколько дискавери сделать с разными портами? А вообще зачем на один таргет разные порты?

ну например у нас внутри джанга и хочется с каждого воркера снимать метрики

Хмм, вообще стандартный кейс - куча инфы в интернете. Очень многие переходят на push модель в statsd_exporter, а прометеус с него уже данные собирает. Или есть еще обсуждения как в отдельную переменную кучу портов засунуть - https://github.com/prometheus/prometheus/issues/2507, но это все выглядит как велосипед-вей

угу

В общем я бы использовал statsd_exporter, что-то мне не нравятся эти пляски с per worker target, relabels и тд. Statsd хоть стандартно выглядит.

ну я наверное пока просто обойдусь без этого :(

ну например у нас внутри джанга и хочется с каждого воркера снимать метрики

А почему не аггрегировать инфу?

Ну, prometheus_client умеет в multiprocess_mode

Или имеет смысл именно с каждого воркера собирать инфу?

он-то умеет, но я так не смогу получить стату по потребляемой памяти например

Хм ... и правда(

вощем нет одновременно и удобного и полного способа получать всё что хочется

статсд - неудобно, много-джобов - тоже неудобно

вощем нет одновременно и удобного и полного способа получать всё что хочется

Можешь пушить метрики в коллектд, например ? Благо протокол там практически детский.

я не хочу ради этого заводить сущность

я лучше перебьюсь с количеством (и качеством) метрик

я не хочу ради этого заводить сущность

Твои решения = твоя ответственность. Делай, как сам сочтёшь нужным.

ну всяко не будет хуже, чем щас :)

статсд - неудобно, много-джобов - тоже неудобно

Можно еще сделать такой себе prometheus-proxy, который будет собирать данные и делать вид, что он один ендпоинт.

ERROR: S client not available

да это будет то же самое

пофиг, так перебьюсь :)

Всем привет! Ухожу с телеграфа, ищу замену проверки ответа HTTP по коду и содержимому. Подскажите, пожалуйста, экспортер.

если там будет еще и время ответа - вообще замечательно.

blackbox?

стабилен?

Я думаю тут много кто есть из пользователей прома кто им пользуется, я не пользуюсь

спасибо! покопаю его.

о, даже регехи есть. вообще отлично.

https://github.com/grafana/grafana/releases/v5.0.0-beta1 was tagged

чота я не понял, сделал переменную-датасорс в графане, но не могу её выбрать в соседнем темплейте как источник

чо за фигня :(

и в графиках не могу выбрать

4.2.0 версия

анлаки :trollface:

Друзья, а как в регексе графаны сделать негативный матч? Типа "!= some_str"

re2 так не хочет. я у ся обошел через фильтрацию возможных ключей

Бля

Йобнуться же (

ну да.

вопрос не к гарафане ага

бебебе, а я сделал

/^(?!SMART.*)/

ы ?

а кто тебе negative lookahead делает ?

браузер что ли ?

А вот хз. https://community.grafana.com/t/templating-regex-exclude-not-working/1077/4

дак да

Это ж фильтрация отображения получается, а не запроса?

ага

Ну ладно, мне тут и так сойдет...