Можно чуть подробнее , к примеру есть часть в ода она создаёт обьект, объект что то делает и пушит метрики своих промежуточных состояний в графит, как только объект закончил свою задачу он погибает. Как со стороны прометеуса будет выглядеть пулинг таких метрик особенно если объекты создаются и погибают с очень большой частотой

Вот кстати этот момент заставляет задуматься что тебе вообще не time series нужен, а хранилище событий некоторые из которых конвертировать в метрики

Задача отлично на кх натягивается

А в чем жопность ?

все об этом гоорят. Нестабильно. Можно потерять даные

У прометея прокси есть. Тоесть пушишь в него а прометей потом выковыривает ужо с него

push gateway. Но он не для этого, ИМХО, а если сервис напрямую прометею недоступен (ну, там за НАТом или типа того)

Я об этом не говорю

А опыта с прометеем уже три года скоро будет

Я об этом не говорю

о чем? о долговременном хранении? Ну, расскажи, сколько у тебя всего прометеев, сколько в них данных лежит.

Правда, интересно

Вот кстати этот момент заставляет задуматься что тебе вообще не time series нужен, а хранилище событий некоторые из которых конвертировать в метрики

хадуп ))) ха-ха-ха

Три недели у меня сейчас лежит

Три недели у меня сейчас лежит

речь о том, чтобы туда засунуть метрики за 2 года

и чтоб стабильно

Ну сунь в танос если очень надо

Создатели прометея не ставили перед собой такую задачу, поэтому и не решили

https://improbable.io/games/blog/thanos-prometheus-at-scale положу ссылку. Мало ли кому пригодится.

Создатели прометея не ставили перед собой такую задачу, поэтому и не решили

несомненно. Но нужно понимать, что платформа мониторинга - это чуть шире, чем просто прометеус. Она состоит из множества связанных компонентов. И есть у нас проект, в котором она будет имплементирована. Делаем выбор компонентов

И это тоже про танос

Отличная публикация в блоге компании Monzo про то, как построена их новая система мониторинга на базе Prometheus+Alertmanager+Thanos+Grafana. И как Thanos помогает распределять нагрузку по многим инстансам Prometheus и обеспечивать долговременное хранение метрик. http://amp.gs/PrYE

все об этом гоорят. Нестабильно. Можно потерять даные

Есть конкретика?

Над прометеем сейчас есть три проекта для лонг-терм сторейжа

Над прометеем сейчас есть три проекта для лонг-терм сторейжа

я их перечислял вроде - M3DB, TimescaleDB и, видимо, Thanos?

Танос, м3 и вейв

Таймскейл не дают тебе мультинод в бесплатной версии

Лучшие практики инфлюкса

Не вейв, а кортекс кажется?

Хосспаде

Запилите ужо доку

Хосспаде

https://prometheus.io/docs/prometheus/latest/storage/

Note that a limitation of the local storage is that it is not clustered or replicated. Thus, it is not arbitrarily scalable or durable in the face of disk or node outages and should thus be treated as more of an ephemeral sliding window of recent data. However, if your durability requirements are not strict, you may still succeed in storing up to years of data in the local storage.

сами разрабы предупреждают как бе

т.е., повторюсь, для оперативного мониторинга - ИДЕАЛЬНО

для долговременного (ну, типа, посмотреть данные за три месяца назад) - такое себе

Не вейв, а кортекс кажется?

Точно

Note that a limitation of the local storage is that it is not clustered or replicated. Thus, it is not arbitrarily scalable or durable in the face of disk or node outages and should thus be treated as more of an ephemeral sliding window of recent data. However, if your durability requirements are not strict, you may still succeed in storing up to years of data in the local storage.

Чотко описано. Зачот

плюс еще вопрос - как вы обеспечиваете отказоустойчивость. Получается, что нужно скрейпить данные как минимум двумя прометеями

а то один упал... и приплыли

Ну перезапустил

Ну перезапустил

ты потерял все данные между сбоем и перезапуском

если это не критично = ок

Это же оперативный мониторинг, а не бизнес-данные

Это же оперативный мониторинг, а не бизнес-данные

ваши предложения для бизнес-метрик, учитывая, что приложуха их отдает в том же прометей-формате?

и чтоб не ваять 5 разных мониторингов

одна история интереснее другой

bebebe а свои истории есть?

bebebe а свои истории есть?

есть, но они такие, что у меня нет свободного времени их по воскресеньям в чатике рассказывать. простите.

??

ваши предложения для бизнес-метрик, учитывая, что приложуха их отдает в том же прометей-формате?

Вы же понимаете, что если не будете отсеивать 5% реально важных данных от всех остальных и хранить все как важные, будет больно?

А вот подскажите, за какое время вы храните логи?

Неужели реально имеет смысл хранить логи 3 летней давности например

Неужели реально имеет смысл хранить логи 3 летней давности например

у таких обычно на балконе и в гараже не протолкнуться...

Неужели реально имеет смысл хранить логи 3 летней давности например

Иногда

Кроме целесообразности запросов могут быть ещё законы

Ну кроме законов

Законы, это необходимость и тз

А вот как вы определяете, сколько хранить те или иные логи

ну, смотрите. У меня был кейс, когда мне нужно было смотреть метрики за полгода

т.к. была утечка памяти в коде, которая, если перезагружать сервера каждый день, не выявлялась

а там где полгода - там и год. Где год - там и три

Неужели реально имеет смысл хранить логи 3 летней давности например

Капасити планнинг, но там не так много метрик надо, кмк.

ERROR: S client not available

Капасити планнинг, но там не так много метрик надо, кмк.

А он про логи спрашивал

Joe Black будет жить. Поприветствуем!

@ifireice будет жить. Поприветствуем!

Коллеги. Глупый вопрос. Пока не нашел ответа в гугле. Какотключитьв индексе ненужные поля в еластике?

У меня идут поля что мне нужны и несктолько забралось лишних а где их рубануть не нашел

Коллеги. Глупый вопрос. Пока не нашел ответа в гугле. Какотключитьв индексе ненужные поля в еластике?

@elasticsearch_ru

Спасибо)

@truedevs будет жить. Поприветствуем!

Ну у меня задачка слать все, даже то что я не знаю. Имеется ввиду слать метрики всех действий с кода , то есть я не знаю что именно я буду слать в систему сбора метрик. В таком подходе прометеус не выглядит лучшим решением

Выглядит как задача для clickhouse

Отличная публикация в блоге компании Monzo про то, как построена их новая система мониторинга на базе Prometheus+Alertmanager+Thanos+Grafana. И как Thanos помогает распределять нагрузку по многим инстансам Prometheus и обеспечивать долговременное хранение метрик. http://amp.gs/PrYE

Скоро они перейдут на VictoriaMetrics и избавятся от всех сервисов, связанных с Thanos. Останется только прометеус и алертменеджер, оба - в stateless подах

Инсайды?

Здравый смысл :)

А какие крупнейшие организации используют Prometheus как основное решение? Хоть как-то оценить масштаб.

https://stackshare.io/prometheus

крупнейшие организации это что? Вон сбер родил Z в 2018 и прется с этого, а в других банках какой-нибудь ХП. Если на них смотреть, можно в говне купаться бесконечно

Некоторые используют rrdtool и довольны

Тиволи же

Тиволи же

прямо байка про "некий функционал" вспоминается :)

Скоро они перейдут на VictoriaMetrics и избавятся от всех сервисов, связанных с Thanos. Останется только прометеус и алертменеджер, оба - в stateless подах

Если не инсайды и VictoriaMetrics будет за деньги могу поспорить что не переедут ?

У нас Тиволи основное, но я ему не доверяю. Дошло до того что они из Prometheus хотят доставать мои метрики. Но тогда зачем все эти сложности.

А какие крупнейшие организации используют Prometheus как основное решение? Хоть как-то оценить масштаб.

Сходу вспоминается Soundcloud и DigitalOcean. Но Soundcloud – авторы изначального решения и DO раньше использовал Vulcan, на что переехали потом - непонятно.

Но вообще Пром это не про большие организации, там сама концепция другая имхо.

Сходу вспоминается Soundcloud и DigitalOcean. Но Soundcloud – авторы изначального решения и DO раньше использовал Vulcan, на что переехали потом - непонятно.

Мне с ходу cloudflare вспоминается

https://promcon.io/2017-munich/talks/monitoring-cloudflares-planet-scale-edge-network-with-prometheus/

Здравый смысл :)

Кек чебурек. Сделайте хотя бы скидку на "работает - не трогам" или инерцию в принятии решений.

А, ну да, я ж был на их докладе.

Ну они забавные.

У нас, грят, в каждом ДЦ две железки с промом

У нас, грят, в каждом ДЦ две железки с промом

Ну с учётом того что они понимают под ДЦ, суммарно это много