А это как-то связано с функцией targetContainsTemplate(target) { return this.templateSrv.variableExists(target.expr); } которую реализуют многие плагины? Я так и не смог найти откуда она вызывается.

Вроде, такая функция не используется графаной. Потом точнее проверю, как время будет.

Отличная статья https://habrahabr.ru/post/345974/

> Раньше все было наоборот, мы меняли пропускную способность на disk seeks, многие структуры данных построены вокруг этого компромисса (привет LSM-tree). Akumuli делает наоборот. ну вот, и тут для дешманских долговременных хранилищ что-то придумывать придётся

Evgeny интересно. спасибо. а скажите с учетом "Данные должны записываться в порядке увеличения меток времени." как планируется решатвопрос с временной недоступностью базы ? типично есть коллектор он собирает метрики. потом отдает их в очередь. сразу после этого про гарантию последовательности таймстапмов можно забыть

> Раньше все было наоборот, мы меняли пропускную способность на disk seeks, многие структуры данных построены вокруг этого компромисса (привет LSM-tree). Akumuli делает наоборот. ну вот, и тут для дешманских долговременных хранилищ что-то придумывать придётся

в смысле?

Evgeny интересно. спасибо. а скажите с учетом "Данные должны записываться в порядке увеличения меток времени." как планируется решатвопрос с временной недоступностью базы ? типично есть коллектор он собирает метрики. потом отдает их в очередь. сразу после этого про гарантию последовательности таймстапмов можно забыть

в какую очередь? я исхожу из того что данные будут записываться напрямую, следовательно, если БД недоступна, то просто никто туда не сможет ничего записывать :) вообще это временное ограничение, через два-три года появится возможность писать в любом порядке

про два-три года это шутка была

Отличная статья https://habrahabr.ru/post/345974/

спасибо

в какую очередь? я исхожу из того что данные будут записываться напрямую, следовательно, если БД недоступна, то просто никто туда не сможет ничего записывать :) вообще это временное ограничение, через два-три года появится возможность писать в любом порядке

есть коллектор. он что то собрал. ему надо что то кудато отдать. коллектор может что то посохранять в себе или же отдать в какую либо очередь. кролик какой нить или nsq тысячи их :) это вроде бы довольно типовая схема развязывания систем

ну ок, а почему про порядок можно забыть? очередь же FIFO

разве бывают fifo очереди в распределенных системах ?

а если коллекторов много ?

данные от одного коллектора будут таки fifo :)

а то что данные от разных коллекторов перемешаются - роли не играет

разные временные ряды не должны быть согласованы по времени

ну и опять же, я надеюсь скоро это исправить

ну ок

такая возможность закладывалась, но реализация довольно сложная, особенно в плане тестирования всего этого добра

будет иметь значения на сколько давние метрики будут приходить ?

я надеюсь что современные распределенные очереди общаются с клиентами по TCP :)

скажем перелить полугодовалые метрики будет ок ?

будет иметь значения на сколько давние метрики будут приходить ?

нет

если там уже есть данные за эти пол года, то нет

распределенные очереди несомненно. а вот между собой и at least once гарантия вносит свои коррективы

т.е. если есть временной ряд Х и последнее измерение там было вчера, то можно писать данные за сегодня, а за вчера уже ничего нельзя изменить

одну точку два раза можно записать

а что с протоколом приема точек ?

планируется адаптировать текущие коллекторы ?

всякий телеграф ?

а был не внимателен на эту тему.

Еще одно направление развития это всевозможные интеграции и инструменты. Я реализовал поддержку протокола OpenTSDB и теперь Akumuli можно использовать вместе с большим количеством коллекторов, вроде collectd. Еще у меня есть плагин для Grafana, который ждет своей очереди на включение в их plugin store. Еще я поглядываю на Redash, правда пока не уверен, что это кому-нибудь может быть нужно.

одну точку два раза можно записать

ого

да можно хоть три

это было сделано для случаев, когда таймер источника данных имеет низкую разрешающую способность, поэтому соседние точки могут иметь одинаковые метки времени

Кто пользует Bosun?

Есть пару вопросов по практическому применению

Ты вопросы задай)

даже не думай задавать его

фигасе Ферстаппен)))

Мысли и реальность

Отличная статья https://habrahabr.ru/post/345974/

Такое ощущение что это перевод)

по английски приходится больше писать

а почему так кажется, из-за кучи терминов на английсокм?

а почему так кажется, из-за кучи терминов на английсокм?

потому что кое-где проскакивают странные "переводы". например "реализовал колумнарное хранилище". лично мне сразу кажется, что переводил промт с гугл-транслейтом. в смысле, я никогда не видел русскоязычного человека, который называл колоночную (или столбцовую) бд колумнарной.

Лучше статьи на русском выглядящие как перевод, чем ужастные тексты на английском.

колоночная, столбцовая, колумнарная. Какая разница

ит термины не на английском это всегда компромисс и устоявшиеся выражения.

Гыг. Погуглил слово "колумнарный" нашел такое - https://habrahabr.ru/post/323256/

Это похоже специальное хабраслово

Не стеб, просто забавно

Гыг. Погуглил слово "колумнарный" нашел такое - https://habrahabr.ru/post/323256/

Это что-то церковное?

Это еще одна TSDB, и тоже на Хабре.

А чем колоночная Маша не устроила?https://mariadb.com/products/technology/columnstore

Подскажите! В графане есть возможность выбора режима отображения X-Axis - http://docs.grafana.org/features/panels/graph/#x-axis-mode А именно режим Series - means that the data is grouped by series and not by time. Можно ли как-то отобразить несколько значений для каждой серии? Например, серия - хост, значения: все запросы и запросы с !200 кодом. Такой функционал есть при отображении в режиме Time http://play.grafana.org/dashboard/db/big-dashboard2?panelId=5&fullscreen&edit&orgId=1&tab=general Но как сделать аналогичное отображение только сгруппировав по сериям, а не времени?

Вот так? ?

потому что кое-где проскакивают странные "переводы". например "реализовал колумнарное хранилище". лично мне сразу кажется, что переводил промт с гугл-транслейтом. в смысле, я никогда не видел русскоязычного человека, который называл колоночную (или столбцовую) бд колумнарной.

всегда ее так называл и даже не задумывался о том что это может быть не правильно

Вот так? ?

не так просто) Если смотреть на пример http://play.grafana.org/dashboard/db/big-dashboard2?panelId=5&fullscreen&edit&orgId=1&tab=axes то задача отобразить график где по X будут серии (режим Series), но каждая серия будет иметь несколько значений, а не одно

achso

не так просто) Если смотреть на пример http://play.grafana.org/dashboard/db/big-dashboard2?panelId=5&fullscreen&edit&orgId=1&tab=axes то задача отобразить график где по X будут серии (режим Series), но каждая серия будет иметь несколько значений, а не одно

Только если запрос возвращает несколько серий.

Это что-то церковное?

ещё колумбарий вспомни

Колоночный, почти как черви

ERROR: S client not available

адок

в точку

Кто-нить в курсе, сколько нод может опрашивать пром?

20тыщ может?

И как плять его масштабировать... до сих пор не могу найти ответа

https://www.robustperception.io/scaling-and-federating-prometheus/ ?

Тут вроде написано

И как плять его масштабировать... до сих пор не могу найти ответа

Он не масштабируется by design.

20тыщ может?

Опрашивать чего? Смотря сколько метрик.

Вот тебе и пул модель

много метрик

Масштабируется, просто ручками.

Масштабируется, просто ручками.

Поднять ещё один инстанс прома, который будет опрашивать новые хосты это не совсем масштабирование в классическом понимании.

> Горизонтальное масштабирование — разбиение системы на более мелкие структурные компоненты и разнесение их по отдельным физическим машинам (или их группам), и (или) увеличение количества серверов, параллельно выполняющих одну и ту же функцию. Масштабируемость в этом контексте означает возможность добавлять к системе новые узлы, серверы, процессоры для увеличения общей производительности. Этот способ масштабирования может требовать внесения изменений в программы, чтобы программы могли в полной мере пользоваться возросшим количеством ресурсов.

По мне так очень похоже на горизонтальное масштабирование

А разруливается уже на стороне графаны

А разруливается уже на стороне графаны

Да

У меня еще один вопрос. Я хочу сделать следующее - у меня есть автодополнение метрик, тегов и значений тегов. Хочется чтобы при дополнении значения тега вылезали не только возможные значения, как сейчас, но и список всех Query переменных. Откуда их можно извлечь? Я что-то пока не нашел где они хранятся.

Посмотрел исходиники - targetContainsTemplate() используется только для определения наличия переменных в запросе при добавлении alert rule (потому что переменные сейчас не поддерживаюся). Так что для плагинов, не поддерживающих alerting не нужно это реализовывать.

Круто, понял.

Народ, есть вот такой набор метрик metric1{labelName1="111"} N metric1{labelName1="222"} N metric2{labelName1="111"} 0|1 metric2{labelName1="222"} 0|1 metric3{labelName2="1"} 0|1 metric3{labelName2="2"} 0|1 Первые две метрики имеют одинаковые лейблы, в третьей метрике лейбл - это сабстринг из первых. Подскажите, возможно ли сделать запрос вида select metric1 where metric2=1 and metric3=1? Причем чтобы лейблы учитывались

Ууууу, прикольно, а расскажи кейс

Ууууу, прикольно, а расскажи кейс

metric1 - отражает работоспособность конечного приложения labelName1 - подсистема, одна из множеств metric2 - просто моргалка, работает подсистема или нет, задается из конфига labelName1 - та самая подсистема, одна из множеств metric3 - внешняя штука на которую надо опираться labelName2 - для удобства представляет из себя префикс, аля имя DC/кластера запрос надо для алерта. хочу понимать, что конечное приложение работает полноценно, учитывая при этом metric3 и metric2 можно написать много проверок с жестким указанием labelName, но получается не уверсально

Парни, кто трогал мониторинг sensu? По описанию выглядит как серебряная пуля :)

Парни, кто трогал мониторинг sensu? По описанию выглядит как серебряная пуля :)

Я трогал. Долго отмывал руки потом. Неприменимо. Хуже заббикса (хотя и он не подарок)

Что плохо там?

Что плохо там?

Если коротко, то практически все

Если коротко, то практически все

Я так не считаю. Мое мнение что плохо там то, что надо много всего руками делать. А что конкретно тебе не понравилось?

Но что нибуль оно делает хорошо? Например, как замена cacti

Парни, кто трогал мониторинг sensu? По описанию выглядит как серебряная пуля :)

Не трогал, но любой из этих пунктов выглядит как повод не прикасаться к этому: * rabbitmq в качестве транспорта (прощай, отказоустойчивость) * агент мониторинга на жирноруби * каждая проверка - это fork/exec исполняемого файла Это только из того, что вспомнил о том, что читал пару лет назад и что подтвердилось/обнаружилось за 5-минутный обзор документации

Кажется я поймал неуловимого Джо :)

Не трогал, но любой из этих пунктов выглядит как повод не прикасаться к этому: * rabbitmq в качестве транспорта (прощай, отказоустойчивость) * агент мониторинга на жирноруби * каждая проверка - это fork/exec исполняемого файла Это только из того, что вспомнил о том, что читал пару лет назад и что подтвердилось/обнаружилось за 5-минутный обзор документации

Почему кролик не отказоустойчивый? Он не умеет в кластер? (Умеет же)