Vladimir
у нас тут периодически возникает желание впилить в наши куски графита некое подобие pub-sub :)
Vladimir
и в босун тоже
Denis
типа чтобы слать эвенты ?
Denis
ты хочешь превратить графит в римана ? )
Vladimir
чтоб мониторинг мог подписаться на метрики и получать диффы
Vladimir
и сам реконструировать данные
Vladimir
а не получать каждый раз полный набор
Vladimir
но вроде пока не критично это
Andrew
а почему вы тут про какие то графиты говорите, а не прометеус?
Denis
потому что прометеус это заббикс )
Andrew
(впрочем упоминание римана дает +2 в карму автору)
Andrew
офигеть
Andrew
типа такой триггер?
Vladimir
а почему вы тут про какие то графиты говорите, а не прометеус?
именно для графиков прометеус не очень )
Andrew
может вы дименшенов насовали просто?
Denis
заббикс же эктив агент умеет )
Vladimir
может вы дименшенов насовали просто?
может быть конечно, не я тестил, но доверяю тем кто это делал )
Andrew
ну и зря!
Vladimir
может вы дименшенов насовали просто?
впрочем даже СаундКлауды показывают цифры про прометеус которые меньше чем тянет графит у нас
Denis
у вас графит весь гошный ваниального ничо нет наверн окроме апи )
Andrew
а зачем вам такой графит?
Vladimir
у вас графит весь гошный ваниального ничо нет наверн окроме апи )
carbon-cache есть ) и js/html часть от graphite-web :)
Andrew
ну вот
Andrew
вы зачем то делаете плохое
Andrew
и мониторинг тулу используете как какой то аналитический инструмент
Andrew
вот вот
Andrew
плохое
Andrew
пиздец плохое )
Vladimir
если оно это тянет, почему это плохое?
Vladimir
и мониторинг тулу используете как какой то аналитический инструмент
Проблема в том что нет адекватных аналитических инструментов, которые near-realtime, а графит он вполне ок для этого
Andrew
Проблема в том что нет адекватных аналитических инструментов, которые near-realtime, а графит он вполне ок для этого
ну т.е. вот если вам те же данные писать в vertica / redshift то у вас не произойдет взрыва производительности и эффективноси на всех фронтах? а учитывая, что вам хватае графита, то аналитика крайне куцая, а значит даже тот же эластиксерч даст +1000 к текущей аналитите
Vladimir
Andrew
не?
Andrew
ваши 130тб в графите может даже в бесплатный вариант войдут
Andrew
у вас же там дублирование ацкое наверняка
Vladimir
хочешь делать запросы по всем бэкэндам - плати деньги.
Andrew
ну ок, тогда наверно не войдет ) но все равно, в целом лицензия вертики примерно как стоимость железа для нее на тот же период в аренду
Vladimir
хочешь кластеризацию? плати деньги
Vladimir
и пр.
Andrew
3 ноды
Vladimir
с elasticsearch - а думаешь он с такими объемами справляется?
Alexander 🐕
А в HDFS хранить в вашем дивном мире не принято?
Vladimir
в смсле что никто не пробовал туда ничего писать?
Alexander 🐕
Втф эм ай ридин
Vladimir
А в HDFS хранить в вашем дивном мире не принято?
В нашем дивном мире есть отдельная event-based аналитика, где своя жизнь и которая некоторые свои результаты пишет в графит
Vladimir
какие имеет смысл потом рисовать конечно же
Alexander 🐕
Alexander 🐕
Графит как агрегатор вторички, окай
Alexander 🐕
с elasticsearch - а думаешь он с такими объемами справляется?
Вообще, идея хранить данные в обратном индексе не кажется мне общеупотребительной
Andrew
с elasticsearch - а думаешь он с такими объемами справляется?
я не видел вживую большие инсталяции, так что не буду врать, но вроде у ребят очень значительные кластеры ES под аналитику бывают
Alexander 🐕
Скажи мне, пожалуйста, какое отношение HDFS имеет к map-reduce?
Andrew
например
Denis
Скажи мне, пожалуйста, какое отношение HDFS имеет к map-reduce?
а там все операции через него)))
Alexander 🐕
Вообще - зачем вы используете термины real-time и "аналитика" в одном предложении?
Vladimir
Вообще - зачем вы используете термины real-time и "аналитика" в одном предложении?
Наверное потому что цель получить near-realtime отчеты для последующего анализа людями
Vladimir
одна из целей
Alexander 🐕
Наверное потому что цель получить near-realtime отчеты для последующего анализа людями
Уже "near-realtime", окай
Alexander 🐕
И как с этим помогает general purpose storage?
Alexander 🐕
У меня был один кустомер