ну как бы influxdb тоже хотели что-то такое, но вышло не очень

все ж хотят не просто алертинг по метрикам, но еще и сторадж в том же месте и еще и много данных пихать

и каждый городит что-то свое

все ж хотят не просто алертинг по метрикам, но еще и сторадж в том же месте и еще и много данных пихать

с босуном было бы хорошо, если бони не были такими упертыми.

с босуном было бы хорошо, если бони не были такими упертыми.

а можно поподробнее?

они девелопят не для сообщества а для себя, их винить в этом нельзя, но все препоны в использовании связанны с этим

у нас тут периодически возникает желание впилить в наши куски графита некое подобие pub-sub :)

и в босун тоже

типа чтобы слать эвенты ?

ты хочешь превратить графит в римана ? )

чтоб мониторинг мог подписаться на метрики и получать диффы

и сам реконструировать данные

а не получать каждый раз полный набор

но вроде пока не критично это

а почему вы тут про какие то графиты говорите, а не прометеус?

потому что прометеус это заббикс )

(впрочем упоминание римана дает +2 в карму автору)

офигеть

типа такой триггер?

а почему вы тут про какие то графиты говорите, а не прометеус?

Я говорю про прометеус

а почему вы тут про какие то графиты говорите, а не прометеус?

именно для графиков прометеус не очень )

типа такой триггер?

pull = говно забикс?

именно для графиков прометеус не очень )

почему?

почему?

наверное потому что по скорости ощутимо медленее графита

может вы дименшенов насовали просто?

заббикс же эктив агент умеет )

может вы дименшенов насовали просто?

может быть конечно, не я тестил, но доверяю тем кто это делал )

ну и зря!

может вы дименшенов насовали просто?

впрочем даже СаундКлауды показывают цифры про прометеус которые меньше чем тянет графит у нас

у вас графит весь гошный ваниального ничо нет наверн окроме апи )

ну и зря!

не зря, у нас графит на 130ТБ )

а зачем вам такой графит?

у вас графит весь гошный ваниального ничо нет наверн окроме апи )

carbon-cache есть ) и js/html часть от graphite-web :)

а зачем вам такой графит?

потому что люди туда складывают все что могут

ну вот

вы зачем то делаете плохое

и мониторинг тулу используете как какой то аналитический инструмент

вы зачем то делаете плохое

не плохое, по графиту в том числе бизнес-отчеты строятся

вот вот

плохое

пиздец плохое )

если оно это тянет, почему это плохое?

и мониторинг тулу используете как какой то аналитический инструмент

Проблема в том что нет адекватных аналитических инструментов, которые near-realtime, а графит он вполне ок для этого

заббикс же эктив агент умеет )

Заббикс кал

Проблема в том что нет адекватных аналитических инструментов, которые near-realtime, а графит он вполне ок для этого

ну т.е. вот если вам те же данные писать в vertica / redshift то у вас не произойдет взрыва производительности и эффективноси на всех фронтах? а учитывая, что вам хватае графита, то аналитика крайне куцая, а значит даже тот же эластиксерч даст +1000 к текущей аналитите

ну т.е. вот если вам те же данные писать в vertica / redshift то у вас не произойдет взрыва производительности и эффективноси на всех фронтах? а учитывая, что вам хватае графита, то аналитика крайне куцая, а значит даже тот же эластиксерч даст +1000 к текущей аналитите

вертика слишком дорого стоит

не?

вертика слишком дорого стоит

да не особо

ваши 130тб в графите может даже в бесплатный вариант войдут

у вас же там дублирование ацкое наверняка

у вас же там дублирование ацкое наверняка

не, примерно 2х кратное

да не особо

у бесплатного варианта нет кластеризации никакой, например.

хочешь делать запросы по всем бэкэндам - плати деньги.

ну ок, тогда наверно не войдет ) но все равно, в целом лицензия вертики примерно как стоимость железа для нее на тот же период в аренду

хочешь кластеризацию? плати деньги

и пр.

у бесплатного варианта нет кластеризации никакой, например.

вы ошибаетесь

3 ноды

вы ошибаетесь

ну ок, мало все равно

с elasticsearch - а думаешь он с такими объемами справляется?

А в HDFS хранить в вашем дивном мире не принято?

в смсле что никто не пробовал туда ничего писать?

Втф эм ай ридин

А в HDFS хранить в вашем дивном мире не принято?

В нашем дивном мире есть отдельная event-based аналитика, где своя жизнь и которая некоторые свои результаты пишет в графит

какие имеет смысл потом рисовать конечно же

В нашем дивном мире есть отдельная event-based аналитика, где своя жизнь и которая некоторые свои результаты пишет в графит

Щта

Щта

ну у меня HDFS ассоциируется с хадупом и прочим map-reduce'ом например

ERROR: S client not available

Графит как агрегатор вторички, окай

ну у меня HDFS ассоциируется с хадупом и прочим map-reduce'ом например

И?

И?

ну и знаешь, map-reduce это даже близко не real-time :)

с elasticsearch - а думаешь он с такими объемами справляется?

Вообще, идея хранить данные в обратном индексе не кажется мне общеупотребительной

ну и знаешь, map-reduce это даже близко не real-time :)

Отличный вывод

с elasticsearch - а думаешь он с такими объемами справляется?

я не видел вживую большие инсталяции, так что не буду врать, но вроде у ребят очень значительные кластеры ES под аналитику бывают

Скажи мне, пожалуйста, какое отношение HDFS имеет к map-reduce?

ну у меня HDFS ассоциируется с хадупом и прочим map-reduce'ом например

hbase

например

Скажи мне, пожалуйста, какое отношение HDFS имеет к map-reduce?

а там все операции через него)))

hbase

opentsdb юзающий этот hbase тоже не тянет такие объемы

Вообще - зачем вы используете термины real-time и "аналитика" в одном предложении?

а там все операции через него)))

Что?

Вообще - зачем вы используете термины real-time и "аналитика" в одном предложении?

Наверное потому что цель получить near-realtime отчеты для последующего анализа людями

одна из целей

Наверное потому что цель получить near-realtime отчеты для последующего анализа людями

Уже "near-realtime", окай

И как с этим помогает general purpose storage?

У меня был один кустомер

И как с этим помогает general purpose storage?

А где ты видишь gp storage?

Который просил по хуебайтам данных за 2 секунды строить любой отчет

А где ты видишь gp storage?

А виспер это щто?

А ES это щто?

А виспер это щто?

time-series сторадж, он нифига не general purpose

time-series сторадж, он нифига не general purpose

Конечно, он знает о problem domain и типах запросов

Ладно, это грустный разговор ни о чем

Спасибо, я все понял

Что?

ну это шуточка была.

Ваш кейс мы рассмотрим на ближайшем совещании

time-series сторадж, он нифига не general purpose

Я таки спрошу

Я таки спрошу

таки спроси

Правильно ли я понял, что текущий план управления данными в букинге - "давайте навалим все везде, а потом зазырим"?

Это не стыдно, это сейчас у всех так