но это тоже не очень, да

да и так места нету

нужно больше дашбордов :) когда на один график много пихаешь это тоже не ок

ну блин, какой другой график

limits/requests в отрыве от текущего потребления несут мало смысла

prometheus/prometheus was tagged: 2.3.0 / 2018-06-07 Link: https://github.com/prometheus/prometheus/releases/tag/v2.3.0 Release notes: * [CHANGE] `marathon_sd`: use `auth_token` and `auth_token_file` for token-based authentication instead of `bearer_token` and `bearer_token_file` respectively. * [CHANGE] Metric names for HTTP server metrics changed * [FEATURE] Add query comman... More

оказывается там таки чот получше завезли https://www.robustperception.io/new-features-in-prometheus-2-3-0/

оказывается там таки чот получше завезли https://www.robustperception.io/new-features-in-prometheus-2-3-0/

это что ты имеешь ввиду

множественные спидапы же

Ребята подскажите стоит delta([24h]) но значение в grafana меняется в зависимости от времени(range) которое выставлено в ней

Ребята подскажите стоит delta([24h]) но значение в grafana меняется в зависимости от времени(range) которое выставлено в ней

Вроде звучит логично

Вроде звучит логично

а как тогда указать в grafana что delta всегда должна быть относительная сейчас и только

а как тогда указать в grafana что delta всегда должна быть относительная сейчас и только

Скорее всего никак

Датасоурс какой?

Датасоурс какой?

prom

а вот кто знает как сделать вот так delta(metric_name[5+5h])

нужно переменные в [] заключать

заключай

у меня не работает Error executing query: parse error at char 17: missing unit character in duration

заключай

вот такая ошибка произошла

ты покажи лучше чо ты делаешь

delta(api_calls[24-hour()h])

такого нету, да

ужас

Это ты пытаешься посчитать кол-во запросов с начала дня?

Это ты пытаешься посчитать кол-во запросов с начала дня?

да

да

Нашел вроде бы как можно сделать

Это ты пытаешься посчитать кол-во запросов с начала дня?

и сначала месяца

ребят а подскажите что можно поставить на сервер для коллектинга данных кроме collectd ? Хочется пощупать всякие варианты.

мы вроде как pcp выбрали - оно более жирнеее чем collectd но не такое свежее как snap, но у нас 90% это центось и РХ

а под винды пока только telegraf из free продуктов как агент, хотя там есть еще что в нем поправить

у ПЦП презенташка прикольная :) первый раз вижу чтобы так заморачивались https://pcp.io/slides/#/

мы вроде как pcp выбрали - оно более жирнеее чем collectd но не такое свежее как snap, но у нас 90% это центось и РХ

централизуете и архивируете метрики тоже pcp-ой или юзаете только как хостовый агент?

только как агент, он как сборщик вроде норм + к нему vector цепляется, остальной стек уже итак готов

ясно

т.е. по сути у вас только pmcd для сбора и pmwebd для экспорта?

ему в веб апи напихали всякого вкусного - пинаешь его и он по плагину в красивом виде выплевывает что он может собрать и комментами а зачем оно надо

ну вот веб часть мы не будем ставить , чтобы он оставался относительно легким

а експорт плагин для кафки я напишу

так он пром и графит умеет из коробки вроде

так он пром и графит умеет из коробки вроде

так это как раз через pmwebd делается.

а, не, через pmwebd только пром, у графита отдельный экспортер pcp2graphite.

ну вот я когда время будет запилю посыльщик без этого куска, графит вроде без него работал, смотрел пару дней на него месяца 4 назад

воть

с лог демоном главное аккуратно быть, он метрики на локальной машине начинает хранить и по формату скорее всего это виспер - толстовато получается

с лог демоном главное аккуратно быть, он метрики на локальной машине начинает хранить и по формату скорее всего это виспер - толстовато получается

это да

экспортеры там, похоже, несложно пишутся. на питоне, правда.

мне на го привычнее

по количеству выплевываемых метрик вроде как лидер (отдельный вопрос а надо ли это все)

при этом у него есть плагины которые написаны "по тибетским скрижалям" т.е. в описании апи к железке такого нет, но в коде оно есть и они используют хаки :)

мне на го привычнее

про биндинги к go не знал.

при этом у него есть плагины которые написаны "по тибетским скрижалям" т.е. в описании апи к железке такого нет, но в коде оно есть и они используют хаки :)

подозреваю, что, скорее, потом и кровью через "какого хрена оно не работает согласно доке? а если вот так? а эдак?". :)

ну оно теперь под крылом РХ и в проде у всяких там нетфликсов - подозреваю что такие штуки пилились под кого то большого и толстого, и нам оно нахаляву дано как есть :)

т.е. такой вершон лок ентерпрайз попавший в опенсорс

ну я не думаю, что даже инженеры редхата с ноги открывают двери в каких-нибудь IBM-ах и оперативно получают доступ к мозгам инженеров без бюрократии на, подчас, в несколько месяцев.

ребят а кто как прикручивал elasticsearch в grafana

до этого я долго смотрел на снап, он архитектурно более современен, но его список плагинов... немножко маркетинговый - открываешь плагин а там 8 метрик прибитых гвоздями, хочешь - переписывай

а то блин query вообще жесть

а то блин query вообще жесть

он там lucene-вский же, емнип.

и при этом они год назад решили рефакторинг своей архитектуры замутить (сами написали что хз зачем мы это начали но вроде так будет красивее) - оно под интелом, но подозреваю что в статусе такого статртапа-лабы

до этого я долго смотрел на снап, он архитектурно более современен, но его список плагинов... немножко маркетинговый - открываешь плагин а там 8 метрик прибитых гвоздями, хочешь - переписывай

это который http://snap-telemetry.io/ ?

ага

не смотрел пока, надо будет заценить архитектуру.

ну там еще большее разделение относительно PCP все из маленьких "микросервисов" - каждый плагин - отдельный бинарь который со своими соседами по grpc общается, вот начинаешь собирать стандартную задачу по сбору процессора памяти + предагрегацию+ завертывание в кафку - вроде все работает и можно что хошь убить и упадет только ветка а не весь сбор... но 20-40 процессов наблюдать на машине только для сбора обычных системных метрик - на любителя

:\

зато можно нечто вроде ганглии собрать но на стеке 18 года :)

т.е. я сначала думал что можно 5 плагинов для сбора + мастер который этим рулит + 1 плагин аггрегатор + 1 плагин експортер (в кафку или куда там хочется), ан нет, это они как то недоработали на каждый плагин свой аггрегатор + свой експортер

чет жесть

ERROR: S client not available

потому что "поток" метрик в их архитекруре линеен

и эти все плагины висят как линейные узлы с задачей берущейся из конфига

поэтому плагин то один, но процесс на каждую обработку - свой

ну вот по началу вроде было красиво, но когда собрал - стало понятно что немного криповенько

каждый процесс то + к этому свой порт жрет если мне память не изменяет

т.к. ты можешь каждый из кусочков ставить куда хочешь а не только на локальную машину

ну вот пцп чуть более монолитен :) + ядро на сях

коллектд в этом плане самый простой и компактный

#snap!

#pcp!

:)

CPU в основном тратится на парсинг протокола. По сравнению с этим - прирост сложно заметить. Ну и так как данных меньше, меньше кэш промахов и tlb промахов.

any ideas on оптимизировать протокол? или протокол стандартный и его менять вне скоупа?

дак там два же вроде. один от редиса второй от опентсдб если я правильно помню

influxdata/telegraf was tagged: 1.7.0-rc3 Link: https://github.com/influxdata/telegraf/releases/tag/1.7.0-rc3 Release notes: Telegraf 1.7.0-rc3

influxdata/telegraf was tagged: 1.7.0-rc3 Link: https://github.com/influxdata/telegraf/releases/tag/1.7.0-rc3 Release notes: Arch Platform Package SHA256 amd64 Debian [`telegraf_1.7.0~rc3-1_amd64.deb`](https://dl.influxdata.com/telegraf/releases/telegraf_1.7.0%7Erc3-1_amd64.deb) `db206f7de71ca5eb084aca2b08530e0eb6aa5a8c220a3afe01956aa463949f92`... More

any ideas on оптимизировать протокол? или протокол стандартный и его менять вне скоупа?

Основная проблема - парсинг имён метрик, метрика + тэги. Я оптимизировал протокол немного, добавив возможность передать набор возможных имён метрик один раз и потом ссылаться на них. Стало на 60% быстрее.

а кто так умеет ?

а кто так умеет ?

https://akumuli.gitbook.io/docs/writing-data#dictionary-mode

Ребят а кто remote read/write подключал к prometheus (сильно ли падает производительность ?)

https://akumuli.gitbook.io/docs/writing-data#dictionary-mode

прикольно конечно что такой интсрумент имеется с такими характеристиками , только под него получается нужно писать много своего

а под винды пока только telegraf из free продуктов как агент, хотя там есть еще что в нем поправить

А чем плох telegraf? Точнее чем хорош pcp по сравнению с telegraf, кроме того что он теперь в RH?

Если шутить, то тем что его делают инфлюксовцы)

а если не шутить, то тем что его делают инфлюксовцы

Концепция одного бинаря в который впихнуто все... я его отладкой задолбался заниматься, каждая сборка по минуте почти... ну допустим я такой себе разраб... но вот запускаешь его на ру винде и он в краш, находишь багу —правишь, а он жрет 6%, правишь, вроде работает и не течет по памяти( а тут люди ловили его прожорливость) но блин каждые 61 секунду он дропает с логированием посекундный цпу усадж...

К—качество

Но на вин платформе фактически безальтернативный, что печалит

Может мне так прямо повезло и я наступил сразу на 3 грабли одним шагом(ру вин +кафка) но что то меня это поле уже не манит своими ягодками

а у них кстати нет подвижек к плагинам в стиле терраформа?

Не в курсе, я в пожарном режиме решал задачу «надо прям щас»

Мне просто не нравится концепция каждый плагин на отдельном порту или отдельное подключение, и половина плагинов без ssl, как на проме. В pcp с этим как?

От смс ты не проснешься - у меня вибро

есть app'ы которые по определенным смс начинают орать пока не остановишь

есть app'ы которые по определенным смс начинают орать пока не остановишь

О. Тоже гуд. Спасибо