https://github.com/dkulikovsky/metricsearch

и где-то еще размазано по репам этого товарища

https://github.com/dkulikovsky/graphite-ch-web отсюда можно плагин выцепить для graphite-web master

и адаптировать его под что-нибудь еще

ага... я учту

минус в том что там доков нет

нужно человека выискивать и его спрашивать )

или код читать

это один из вариантов прокси из графита в кликхаус

потому что внутр яндекса их минимум два разных

вторая помоему не выпущена, да

и какая лучше я не знаю )

ага. когда есть де и одна не выпущена...

друид это как бы вариант графита или свое ?

а

я затупил

java - 93.8% codebase :)

а почему у java на github коричневый цвет ? они что то знают ?

opentsdb = hbase = минимум 3х данные, зато хорошо когда нужна точность

по чесноку х9 ))

по чесноку х9 ))

откуда х9 ?

потому что х3 это репликация данных на hdfs. если у вас десяток регион нод(да даже если 3), то в случае падения одной из них регионы мастером переназначатся другим нодам, и данные начнут подниматься с hdfs что адски медленно и на этот период времени у вас будут они недоступны. Поэтому обычно включат репликацию регионов на уровне hdfs и если она х3 то получаем х9

нэ ?

наверно там hbase должно было быть в 1м из мест

всмысле ?

Виталя, это крайне неожиданный для меня результат.

Раз ты занимаешься SMM, грех не попробовать

всмысле ?

а ок, я перемудрил

Господа, а кто то уже попробовал clickhouse под метрики использовать ?

есть какие то впечателения ?

У меня руки не дошли еще

Его сложно использовать потому что обвязка без документации

А я еще генератор нагрузки хочу переделать

вот соглашуть на счет доки

В целом там есть экзампл конфиги

А, еще особенность

код кэшера не идеоматичный с точки зрения языка и его читать чуть сложнее (меньше желания это делать)

для начала понять бы, насколько плотно он все уложит. Писалака в базу - дело наживное

@dkulikovsky а я же правильно понял что вы пишите часть интеграции кликхауса с графитом ?

про clickhouse, графит и кешер (тот что на github.com/dkulikovsky) я могу рассказать всё

мы, я, да, пишем. скорее уже написали и пользуемся

а можете рассказать как оно вообще ? кликхаус выступает хранилкой ? а своя часть котоаря собирает метрики и пихает их в хранилку да ?

за код кешера извиняюсь) первый блин на go)

вообще хорошо, для нас там всё своё и clickhouse и кешер) в том числе и часть которая в кешер данные отправляет, тоже своя, но её, кажется, нет в OS

точнее не собирает а ловит отправленные

ну я так понимаю особой беды что то отправить в граифт нету

есть только проблема с виспером и 12-ю байтами на метрику...

Да, любые клиенты совместимы

а сколько получается в кликхаусе

8

8 это стабильно или плавает цифра ?

И там есть встроенное прореживание

8

Там же еще сжатие, не?

Стабильно

и на флоат и на инт ?

Это после сжатия

На то флоат что там записан

много достаточно

я так понял, что вы для каждого измерения храните название метрики, дату, отметку времени, результат и версию

так?

можно посмотреть структуру таблицы?

CREATE TABLE default.graphite ( Path String, Value Float64, Time UInt32, Date Date, Timestamp UInt32) ENGINE = MergeTree(Date, (Path, Time), 8192);

и конечно clickhouse не хранит на каждую точку имя метрики

А зачем Time + Date + Timestamp?

Так быстрее работает индекс

Сначала отсекается большая часть, потом по ней уже внутри поиск

Рекомендация Миловидова))

а это кто ?

а

Алексей Миловидов, руководитель группы разработки ClickHouse

понятно

:)

и при такой раскладке получается по 8 байт на метрику?

и зачем timestamp, если дата и время уже есть?

это нужно для того чтобы можно было обновлять данные по точке. Clickhouse не даёт возможности сделать update на запись, только дописать новую

вот по времени морда выбирает самые свежие точки

а

ну у нас по условиям метрика не меняется

а почему метрика может меняться ?

слишком часто пишите ?

есть use case такие

но у нас только создание и выборка

а с графаной как дружите?

метрика меняться может потому что агрегаторы стоят перед кешером

а в них может просто долетать сигнал от тормозов

графана работает через /render движок морды

там никаких изменений не нужно

а есть retention policy ?

я делал мимикрию под графит

она ведь поидее тоже будет переписывать метрику с другим таймстампом

основная проблема была в том, что графит выравнивает время по окну

и все его функции на этом построены