Прометей кушает все, что ему скармливают, причём, много того, что, по факту, не требуется. Как лучше фильтровать?

Может, есть гейты, которые пропускают только нужные метрики?

Спасибо за ответ. Я пробежался по докам графита и нашел только scaling factor, всякие load balancing, но, например, про миграцию шарда на новую ноду - ничего. Может ли графит копировать шарды с существующих нод на ноду, которую только добавили в кластер?

Графита есть разные стеки. Но графит это вообще Чертов конструктор, и как правильно сказали - одномерный

Если юзать кастомный стек и подумать о правильном consistent hash то можно его масштабировать до пары сотен машин легко. Линейно на запись, почти линейно на чтение.

В том числе с решардингом

Прометей кушает все, что ему скармливают, причём, много того, что, по факту, не требуется. Как лучше фильтровать?

metric_relabeling

Спасибо!

В Grafana возможно строить таблицы, такие как сводные таблицы Excel?

Нарм

В Grafana возможно строить таблицы, такие как сводные таблицы Excel?

Тоже очень интересно

в одной из последних версий вроде можно стало табличное представление нормальное

но насколько нормальное - я не смотрел ещё

в одной из последних версий вроде можно стало табличное представление нормальное

Pivot Tables это не совсем про нормальное табличное представление...

Если такое возможно,то кое-где аналитиков можно смело пресаживать с Excel на ELK+Grafana

отжать у аналитиков любимый эксель - то ещё развлечение

я думал что аналитика на кликхаусе делается нынче

я думал что аналитика на кликхаусе делается нынче

не смотрел еще

В том числе с решардингом

Спасибо

Я не аналитик, поэтому для аналитики "чо происходит" использую jupyter+pandas ))

Ну а данные подтягиваю из разных источников..

Я не аналитик, поэтому для аналитики "чо происходит" использую jupyter+pandas ))

это слишком круто для бизнес-аналитиков

а. вы про них

Ну а на счет сводных таблиц в графана безотносительно к аналитике интересует

excel это не средство визуализации

там скриптинг + мат функций и аддонов вагон

так что вы сравниваете ужа с ежом

Мило, что Вы заметили. Вопрос в другом.

нет, вопрос как раз в этом.

если вам нужно строить "сводные таблицы как excel" так и возьмите excel

если вам нужно строить "сводные таблицы как excel" так и возьмите excel

Мне нужно представление данных в Grafana на манер сводных таблиц Excel. А не функциональность Excel в Grafana. Так понятнее?

Народ, а как правильно делать если метрики нет? Т.е. сервис отключен и т.д.? Я делаю через питон. создаю Gauge и его заполняю через labels. Как будет правильно поступить если в этот момент это значение должно вернуть что сервиса вроде как и нет, т.е. ничего?

Мне нужно представление данных в Grafana на манер сводных таблиц Excel. А не функциональность Excel в Grafana. Так понятнее?

нарисовать тупую табличку на основании запроса из sql, так как рисует вам любой sql gui она может.

если вам что то большее нужно, то нет.

На SQL структуру сводной таблицы не получишь... Разве что процедурой. Понятно. Подготовить данные снаружи, а нарисовать она уже сможет любую матрицу.

Мне нужно представление данных в Grafana на манер сводных таблиц Excel. А не функциональность Excel в Grafana. Так понятнее?

тут постоянно говорят про redash

сам я конешно не пробовал. но парни курили и обсуждали, а я мимо проходил слышал

сам я конешно не пробовал. но парни курили и обсуждали, а я мимо проходил слышал

Круть из далека

Народ, а как правильно делать если метрики нет? Т.е. сервис отключен и т.д.? Я делаю через питон. создаю Gauge и его заполняю через labels. Как будет правильно поступить если в этот момент это значение должно вернуть что сервиса вроде как и нет, т.е. ничего?

Так что, никто не пробовал так делать? Просто сам скрипт отрубать считаю как то не очень приятно...

мы используем относительно активно.

кх прикрутили ?

нет, у нас pg/hive/es/python datasources

сам я конешно не пробовал. но парни курили и обсуждали, а я мимо проходил слышал

Спасибо за наводку

если только sql то можно ещё смотреть в сторону superset и там ччерез presto всё что угодно подсунуть

если только sql то можно ещё смотреть в сторону superset и там ччерез presto всё что угодно подсунуть

Не только

есть ещё hue но я что то хз как оно там живёт

http://gethue.com/

вобще всё что не sql довольно херово визуализируется

ок

для скуля еще metabase (редаш не подошел)

точняк

metabase по концепту "оставить запрос на борду" крутой

типа есть те кто просят борды, есть те кто реализуют в рамках одной "площадки"

ну и непрограммерам потыркать запросы удобно - у нас CEO возился

Источники: prometheus, elasticsearch, clickhouse, postgresql

ну и непрограммерам потыркать запросы удобно - у нас CEO возился

да и "няшненький" он не то что редаш)

а там кстати как с экспортом внешним заказчикам ?

апишка есть

апишка json'ы выдаёт ?

через апишку можно дернуть сохраненный запрос

я про борду красивую, аля табло.

да json

нет вроде, ща спрошу

ERROR: S client not available

вру

https://github.com/metabase/metabase/blob/master/docs/administration-guide/13-embedding.md

хочется типа создавать учеточку для внешнего партнера и там борды для него создавать на основании подготовленных запросов, а чтобы временные интервалы и всё такое он там сам мог посмотреть. но запрос менять не мог

да... в редаше такая же байда. приходится либо свои странички верстать либо в графану запихивать )

мы через апишку сейчас койчего выгружаем и показываем клиентам но в своей гуе

народ, кто с прометеусом дело имеет - как поступать если explorer работает а сервис лег? т.е. ответ дать надо но количество сервисов неизвестно, как можно ответить прометею что бы он понял?

народ, кто с прометеусом дело имеет - как поступать если explorer работает а сервис лег? т.е. ответ дать надо но количество сервисов неизвестно, как можно ответить прометею что бы он понял?

делайте отдельную метрику is_up. лег = 0

делайте отдельную метрику is_up. лег = 0

думал. но ведь старые данные тогда в этот момент будут показываться как последние запомненные( мне их надо как-то убрать

думал. но ведь старые данные тогда в этот момент будут показываться как последние запомненные( мне их надо как-то убрать

да, об этом я не подумал

и хоть для части я могу просто прописать в значениях тот же 0, но для всех - не могу. Есть часть которая получается с самого сервиса, а сколкьо их и какие - я в этот момент не знаю

хотя, по-моему экспортер парсит входящие данные и старых данных просто не будет (метрики пропадут)

по крайней мере тот экспортер эластика, что есть у нас - ведет себя именно так

не пропадут если его не перезагрузить

по крайне мере у меня не пропали(

прометей помечает данные как отсутствующие через 5 минут не-снятия метрик

по-умолчанию

лучше на дашборде выводи "blabla_up"

рядом с графиками

по крайней мере тот экспортер эластика, что есть у нас - ведет себя именно так

вы какой используете?

вы какой используете?

взял за основу https://github.com/justwatchcom/elasticsearch_exporter и слегка подравнял

у нас вроде он же

но подровненый не слегка

@dmitriy_swarovski

вот его лучше спроси

но подровненый не слегка

ну я его подрихтовал буквально чуть-чуть, чтобы он в новом го собрался

они там относительно недавно версию 1.0 зарелизили

но лучше спроси Диму, он больше в теме

мы взяли за основу https://github.com/justwatchcom/elasticsearch_exporter и плагин из телеграфа и сделали микс. В обоих решениях были косяки. Поделимся скоро нашим экспортером

прометей помечает данные как отсутствующие через 5 минут не-снятия метрик

это при отсутствии. но прикол еще и в том что я не могу отключить мониторинг. я даже скрипт завершить не могу

и в итоге получается что данные есть и они "зависли".

Что значит "отключить мониторинг"?