Чят, а скажи, как бы ты решал проблему хранения и обработки десятков тысяч метрик в минуту? Вот, условно у тебя в эксплуатации есть сервис, который крутится на почти сотне серверов. Сервис экспортирует очень детальные метрики с большим количеством измерений (dementions) по каждому компоненту сервиса и типу обрабатываемого события. Каждая размерность важна для определенного круга людей (для программистов, условно, скорость прохождения того или иного типа событий через каждый компонент сервиса, бизнесу интересны алерты по суммарным характеристикам, аналитикам вообще — чем больше размерностей, тем лучше).

Сейчас стоит прометей и он задыхается.

нужно больше прометеев

у меня уже 4

правда из за retention-а

> десятков тысяч метрик в минуту метрик или точек?

у нас было по 1млн+ и 100к+/секунду на хост и было норм

но это было на старом прометее, в 2.0 всё лучше должно быть

и серваки по 16 ядер на ссд?

40

более лучше даже

1млн это на самом ненагруженном было :)

Чят, а скажи, как бы ты решал проблему хранения и обработки десятков тысяч метрик в минуту? Вот, условно у тебя в эксплуатации есть сервис, который крутится на почти сотне серверов. Сервис экспортирует очень детальные метрики с большим количеством измерений (dementions) по каждому компоненту сервиса и типу обрабатываемого события. Каждая размерность важна для определенного круга людей (для программистов, условно, скорость прохождения того или иного типа событий через каждый компонент сервиса, бизнесу интересны алерты по суммарным характеристикам, аналитикам вообще — чем больше размерностей, тем лучше).

"большим" undefined

а вообще пром да из коробки заявляют что архтетурно держит мульт

щас они больше держат, я думаю

мы разгоняли до 2кк/сек, но это без агрегаций и без запросов (но и прометей тогда был версии 1.4)

сферически в вакууме получалось 2кк/сек

и серваки по 16 ядер на ссд?

/me посмотрел на cpu usage 24-ядерной машины со вторым порнометеусом

10% совсем в прыжке

а сколько метрик в секунду?

и сколько в него падает запросов в секунду?

rate(prometheus_tsdb_head_samples_appended_total [1m]) говорит 90к

а про запросы поискать ещё надо в этих переименованных промовских метриках имени себя

я это нжинксом делал :)

но там кроме шизанутых алерт-запросов особых потребителей нет

нормально. надо показать нашему заббиксу. может работать начнет.

вот 1.8 да, любил с похожим паттерном потребления жрать cpu порой

у нас прост было дохера (штук под 1000 наверное) агрегаций и запросы в него падали примерно 10 рпс на каждом инстансе

ну и не 2.х был

А кто-то сталкивался с такой ошибкой скрэйпа в ПРоме: Get: target-url: EOF ?

Чего ему не нравится непонятно.

синтаксис метрик

курлом дёрни и сам посмотри, может что-то очевидное будет

Бля, да, очевидное, но это значит бага в Проме. Этот хост от других отличается только наличием докера. И вот видимо на его метриках он и отваливается

вообще вряд ли

Вот такая ебала: netdata_disk_iotime_milliseconds_persec_average{chart="disk_iotime.docker_9_127_655431_ef152281ae9f983d8eaf8679d6ba03b406feabcfaabd1949471747d0cf63dd6e",family="docker-9_127-655431-ef152281ae9f983d8eaf8679d6ba03 b406feabcfaabd1949471747d0cf63dd6e",dimension="reads"} 0.0000000 1517929278000

обычно это означает что бага не в проме, а в экспортере

Хм, кстати тоже вариант.

уверен, что на этом ломается?

На 90%. Т.к. везде одинаковый конфиг для экспоуза, а отваливается только на этом хосте

И докеров больше нет нигде, т.е. тут как бы 2+2, ну и совпадение такое..

https://github.com/fhemberger/chrome-prometheus-formatter

неплохо

> десятков тысяч метрик в минуту метрик или точек?

Метрик.

10% совсем в прыжке

У меня либо потребителей много, либо я чего-то не пони, но мой прометей 1.5 упирается либо в диск, либо в cpu.

обнови до 2.1 сначала

У меня либо потребителей много, либо я чего-то не пони, но мой прометей 1.5 упирается либо в диск, либо в cpu.

SSD надеюсь?

1.5 совсем уж древний

хотя.. ему вроде год всего?

Следующий вопрос. В документации написано, что сторадж прометея не предназначен для длительного хранения данных. Что сейчас модно/кошеrно использовать для хранения исторических данных?

SSD надеюсь?

Да.

Следующий вопрос. В документации написано, что сторадж прометея не предназначен для длительного хранения данных. Что сейчас модно/кошеrно использовать для хранения исторических данных?

кликхауз

+1

обнови до 2.1 сначала

Там полтора терабайта данных. Я мигрировайт не устану?

устанешь

а их уже научились брать и переносить?

неа

устанешь

Хнык

это у тебя за какое время полтора терабайта?

у нас за месяц при 100+к/сек было меньше 500гб

кликхауз

А кликхауз уже нормально цепляется к прометею и графане?

это у тебя за какое время полтора терабайта?

Вот за примерно тот же год.

Ты год хранишь данные в прометее?

ERROR: S client not available

мухаха

Мигрировать на 2.х будешь тоже год

А хотя бы на 1.8 обновиться стоит

А хотя бы на 1.8 обновиться стоит

Это без крови будет или снапшоты — наше всо?

С 1.5 до 1.8 мы обновляли ваще без проблем

Но бэкап на всякий случай не помешает

Мигрировать на 2.х будешь тоже год

У меня одно оправдание — это было собрано до меня и как-то работало даже без вмешательства человеков.

Год это сурово

Хуй, не докер метрики причина... Что ж за.

А ты можешь сдампить с двух хостов и сравнить?

Ага, щас видимо придется.

А точка в имени лейблы допустима?

вернее в её value

допустимо хоть 1.23e45 в значении указывать

или я не понял твой вопрос

Про кликхаус. Как в него переливать историю и читать графаной? Сложное колдунство или пара строк конфигов?

именно от данных эта скотина и зависит от всех этих вот подписей к графикам и прочего, там вроде поговаривали что в свежей 5-ке они отрисовку поправили, может перестанет и скакать :)

читать графаной - это на гитхаб за плагином от вертамедии

Адаптерами разве что. Но я не видел еще адаптер prom -> clickhouse, который бы был обозначен как production ready. Или такие уже есть ?

Я тоже не видел, к сожалению

они прячутся

как суслики

А так есть список: https://prometheus.io/docs/operating/integrations/#remote-endpoints-and-storage

Если выбрать адаптер, который умеет в read и write, то можно вообще через пром работать. Правда они там все как минимум странные)

В теории еще можно самому чистить данные, оставляя только важные, но это только для prom >=2.0.

И таких штук я тоже пока не видел(

Things considered unstable for 2.x: Any feature listed as experimental or subject to change, including: Remote read, remote write and the remote read endpoint

А точка в имени лейблы допустима?

там допустим любой utf8 символ, который сможет распознать гошка

ну то есть не в имени, а в значении