on disk индекс

неплохо

Привет, а подскажите какие коллекторы данных для прометеуса есть? Я знаю telegraph, node_exporter, collectd

Я неправильно спросил. Как еще можно доставить системные метрики до prometheus? какие существуют еще коллекторы, кроме тех что я назвал?

теперь рестарты не по 40 часов?

теперь рестарты не по 40 часов?

никто не знает

Но с КХ трабла с ритеншенем еще. Вот будет - выкину инфублю

Чо за трабла? Там вроде ж есть ретеншен встроенный, как в виспере?

ритеншена нету как такового там вообще :(

ритеншена нету как такового там вообще :(

Непонятно что ты имеешь ввиду. Есть такое https://clickhouse.yandex/docs/ru/table_engines/graphitemergetree.html , тебе не оно нужно?

мне ритеншен для других таблиц нужен, не для метрик, а так да, почти оно, если только с метрикми работать.

Influx но не для метрик? О_о

вопрос был "умеет ли КХ ретеншен", в общем случае - нет. в частном случае для метрик - да.

Там есть aggregating merge tree, помесячные партишены и для графит мерж три есть ретеншены графит стайл

Но увы первое это не ретеншены в общем виде

Привет! Подскажите, пожалуйста, как для всех графиках в графане (источник - инфлюкс) построить персентиль за текущий месяц (считать с начала месяца до сейчас, рисовать поверх текущих значений чертой)

берёшь и рисуешь

потом выводишь например на правую ось X

процентиль же должна на уровне бэкенда высчитываться, так ведь? А графана в таком случае должна просто нарисовать метрику

Я могу сделать на графике два запроса - один за текущими значениями, другой за персентилем, но таймстемпы всё портят - у запроса на персентили будет только одна точка

И, вероятно, за пределами $timeinterval

ага. ну хоть понятно почему нет анонса от Influxdb. https://github.com/influxdata/influxdb/issues/8500

потому что они сделали релиз который работает пару минут и виснет. фуф.

А я так надеялся, что все станет лучше

станет, когда ты перестанешь юзать инфлюкс

КХ в продакшине для метрик много кто использует? Как ощущения?

Привет! Подскажите, можно ли в Prometheus как-то вытащить значение лейбла непосредственно в запросе? Например, метрика содержит лейбл с целочисленным значением - множитель. И нужно вывести значение метрики умноженное на этот множитель.

Или может быть в графане это можно как-то сделать?

станет, когда ты перестанешь юзать инфлюкс

я перестал, кстати

КХ в продакшине для метрик много кто использует? Как ощущения?

@rlomonosov вроде как использует

Мне лично непонятно насколько его можно использовать с кластером, учитывая что удаления метрик там нет а решардирование официально в бете.

И как оно себя будет вести когда у тебя пара реплик повалялась в дауне пару часов

короче, вопросов много. А на одной ноде неплохо говорят живет.

ну на сколько я знаю яндекс вполне в кластерах живет, более того КХ в отличии от эластика например линейно масштабируется по заявлениям разрабов. Про решардирование - видимо сразу поднимать с запасом, а остальное должно ок быть

у меня живет без кластера. только репликация. и мне прям очень нравится - бэкапы, репликация, кастомные запросы через sql и тд. Уже почти все что было на висперах допереводил на КХ

точнее кластер есть, но средствами graphite-web - он ходит в несколько независимых групп КХ

я с КХ работал только для аналитики, все круто было, кроме невозможности апдейта-удаления, но это понятно

точнее кластер есть, но средствами graphite-web - он ходит в несколько независимых групп КХ

Ну, в таком виде он нисколько не интереснее виспера.

Ну, в таком виде он нисколько не интереснее виспера.

Виспер не бекапится, виспер не реплицируется (и как следствие сам не восстанавливается после даунтайма одного из серверов), виспер утилизирует диск в 100 раз больше (лично у меня), виспер жрет много лишнего места на разреженные метрики, висперу требуется специальный агрегатор в памяти перед ним (который может терять данные на рестарте и раздуваться по памяти в случае дисковых тормозов) Такой "кластер" у меня потому, что данные в этих КХ из разных источников, а не потому что я таким образом хотел сделать шардинг. В шардинге пока необходимость не возникала и чувствую на нашей нагрузке еще не скоро возникнет

Шардинг нужен для нормального кластеринга. Чистые реплики даже с восстановлением - не интересно, их всего две и они рано или поздно кончатся. sparse спасает от разряженных метрик, коих правда немного, buckytools занимается восстановлением. Плюс минус норм, но КХ на этом фоне никак не выглядит серебрянной пулей.

ну хз. никогда не использовал buckytools и не могу сравнить его удобство с КХ

@rlomonosov : А как роллапы в КХ складываются? в ту же партицию? Там же вроде партиции можно подневно удалять, но можно ли их удалять только для определенного age?

Шардинг нужен для нормального кластеринга. Чистые реплики даже с восстановлением - не интересно, их всего две и они рано или поздно кончатся. sparse спасает от разряженных метрик, коих правда немного, buckytools занимается восстановлением. Плюс минус норм, но КХ на этом фоне никак не выглядит серебрянной пулей.

У нас спарс кстати не зашёл, начались веселые спецэффекты

Пока правда не разбирались почему конкретно, но когда включаем спарсы фрагментация памяти настолько увеличивается, что начинают появляться проблемы

У кх нет решардинга, это пока печально, хотя вот именно балансировкой метрик он сам может заниматься (в том числе на чтение)

Плюс в случаи записи в распределенные таблицы и недоступности всех реплик ноды он умеет временно куда нибудь данные положить, а потом перегнать

@rlomonosov : А как роллапы в КХ складываются? в ту же партицию? Там же вроде партиции можно подневно удалять, но можно ли их удалять только для определенного age?

В ту же партицию. Партиции пока только по месяцам. И удалять можно как угодно - удаление старых партиций на твоей совести

У нас спарс кстати не зашёл, начались веселые спецэффекты

у меня зашел ровно до тех пор пока мне не понадобилось все висперы скопировать на другой сервер - не влезли ) но в этот момент у нас уже был КХ - так что мы в результате висперы в него перегнали и выбросили

@deniszh кх не серебряная пуля, но кажется он хорошая основа для более правильного хранилища чем то что есть сейчас

Чем больше я по сторонам смотрю, тем больше так кажется

Привет всем. Подскажите, пожалуйста, где посмотреть текущее количество метрик, снимаемых прометеусом?

сходу не нашел

из-под коробки вряд ли есть, но на твоем месте помог бы обычный скрипт, который находит в конфиге прометея все ендпоинты, ходит к ним через curl и считает кол-во уникальных строк (т.е. метрик) через wc -l

@rlomonosov Мож я что то не понимаю тогда. Вот если у меня первый роллап поминутный с age 0, a последний - подневный с age 10 лет - то удалять данные я смогу только через 10 лет и к тому моменту у меня будет поминутных метрик за 10 лет храниться?

@rlomonosov Мож я что то не понимаю тогда. Вот если у меня первый роллап поминутный с age 0, a последний - подневный с age 10 лет - то удалять данные я смогу только через 10 лет и к тому моменту у меня будет поминутных метрик за 10 лет храниться?

удалить данные ты можешь в любой момент. просто грохнуть старую партицию все роллапы лежат в одной куче. условно говоря это сортированный по имени метрики и времени файлик - иногда он пересортировывается и делает из нескольких точек одну убить файлик ты можешь в любой момент - тебе никто не запрещает. Даже можешь сменить правила rollup-а и принудительно пересортировать

Спасибо!

Трям! А какова у вас нагрузка (качество количество) на чтение из КХ? У нас его когда начали мучать мелкими запросами типа дай 10000 метрик за 15 минут ему начинало как то не очень становиться

Ничего себе у вас мелкие запросы

т.е. для всяких генераций стат. данных он клевый, а вот как хранилка метрик с рандомным чтением как то пока непонятно

ERROR: S client not available

Виспер пробовали такими же кормить?

ну... я имел в виду не 10000 метрик а условно 100 запросов по 100 метрик

т.е. на генерацию графиков в системе телеметрии его лучше не применять, или можно?

Виспер пробовали такими же кормить?

я с виспером делаю сейчас финт ушами - если получится готовое к проду - напишу :)

У вас своя система или graphouse или Graphite-clickhouse?

@rlomonosov оченнна интересно

у меня зиппер стек карбона с кафкой

Если зипперстек то КХ тогда куда?

а соседний отдел лил какие то свои метрики и вот сообщили такое - хочешь статистику - супер, хочешь его валить мелкими запросами - не супер

ну так вот у Романа я так понял произошел переход на КХ с графита, интересно насколько его сильно мучают и как он живет под такой нагрузкой

точнее с виспера как бекенда

Трям! А какова у вас нагрузка (качество количество) на чтение из КХ? У нас его когда начали мучать мелкими запросами типа дай 10000 метрик за 15 минут ему начинало как то не очень становиться

Сейчас в среднем 50-100 rps. Но сколько метрик на запрос я сходу не скажу

Т.е. оно потом в графану отрисовывается? или в какую то свою БЛ? Хранилка - SSD?

Ну у @rlomonosov оно не напрямую ж пишется и читается, а через умных демонов тм

т.е. + кеширование

Хорошо, спасибо за инфу!

т.е. + кеширование

Нет кеширования - все запросы идут к КХ всегда. Сервер с ssd-ами. Отрисовывается в графит, свои дашборды (через графит) и графану (через графит)

а на сервер КХ самый толстый сколько мпс льется?

а на сервер КХ самый толстый сколько мпс льется?

не очень много - 2млн точек в минуту, все уникальные (из разных серий). аплод в КХ раз в секунду

мда, и как? запас есть или вышли на финишную прямую по требованиям и пока все норм?

у меня сырой поток 2-3М в сек с 1М+ униками - пока это все живо только благодаря аггрегациям

3M/сек - это сильно

у меня зиппер стек карбона с кафкой

Сейчас у зиппер есть маленькая проблема работы с кх. В кх надо отправлять всегда 1 запрос с глобами

Тогда он норм

Правда мы толком не тестировали на чтение пока

Sergey чисто на запись он очень интересен. У нас в тестах было 2.3м на сервер и пространство для оптимизации ещё процентов на 30

Но чтение мы так и не потестировали нормально

Руки пока не дошли

мда, и как? запас есть или вышли на финишную прямую по требованиям и пока все норм?

когда переливал висперы, то лилось около 10 часов со скоростью 1.3млн точек в секунду - пользователи даже не заметили. С тех пор нагрузочного тестирования больше не проводил