впихнуть его в продакшн и уже получать данные

и сразу начать переезд на что-то лучшее

группировка и очередь

А протокол он не реализует? Protobuf ?

если у задачи есть лимит времени в виде "вчера"

если всплески активности короткие - очередь (буферизация) может помочь

Очередь?

таким образом, когда тебе нужно будет выгребать отдельно метрики отдельно эвенты у тебя просто появляется новый вид сабскрайбера который просто "фильтрует" события.

А протокол он не реализует? Protobuf ?

Вопрос в том что всем этим базам 1000 инсертов по 1 строке хуже чем 1 инсерт на 1000 строк

эту задачу надо через что-то решать

очередь опять же не даст пролюбиться данным если у тебя вдруг пришла чОрная пятница и твое мобильное приложение стало генерить 10х эвентов, а через час все успокоилось

Вопрос в том что всем этим базам 1000 инсертов по 1 строке хуже чем 1 инсерт на 1000 строк

Понял. В биллингах у нас это называлось агрегатор.

У кафки есть демоны или лиснеры, которые реализуют протокол для приема сообщений? И экспортеры в ES, CH и Prometeus?

Вопрос в том что всем этим базам 1000 инсертов по 1 строке хуже чем 1 инсерт на 1000 строк

мы кстати вот смотрим на отдел датасантистов и на их storm. Он идеологически очень круто подходит. там как бы концепция батчевой обработки, весь код делится на "домены обработки данных" так называемые bolts. которые как раз могут масштабироаться и запускаться на нескольких нодах при необходимости.

только одно ограничение это передача данных между болтами в процессе обогощения их. это может в некоторых случая оказываться очень дорого.

мы кстати вот смотрим на отдел датасантистов и на их storm. Он идеологически очень круто подходит. там как бы концепция батчевой обработки, весь код делится на "домены обработки данных" так называемые bolts. которые как раз могут масштабироаться и запускаться на нескольких нодах при необходимости.

а под какие задачи?

а под какие задачи?

процессинг пользовательских эвентов.

у кликхауса тоже батчи, мержи всякого там разного и т.п.

и он концептуально ровно под это делался

получать эвенты от пользователей, хранить их и делать запросы в реальном времени к этим данным

я имею ввиду как "бэкенд" для обработки данных из разных источников и обогощения их

чтобы не крутит 100500 сервисов маленьких читающих из кафки.

и делающих как бы одно и тоже но чуть по другому.

Владимир, почему ты считаешь Эластик более легким для вхождения чем Кликхаус?

Владимир, почему ты считаешь Эластик более легким для вхождения чем Кликхаус?

К нему написаны клиентские тулзы всевозможные

у кликхауса пока с этим не так гладко

да

Но в случаи таких вещей надо более полное условие - какие прикидки по объемам и росту, сколько времени есть, сколько разработчиков есть

и т.п.

кстати все советы говно

@RShishkin а тебе сервис Амазона какой-нить не проще заюзать?

снимает геморрой на раз-два-три

как по мне, если задача эпизодическая проще сделать на чужой инфраструктуре

@RShishkin а тебе сервис Амазона какой-нить не проще заюзать?

Нет. У меня две цели. Чему то научиться и сделать свое, что можно продавать.

Но я бы не хотел на серверной разработке застрять, лучше запустить что то из готовых компонентов.

ну вот амазон, да

куча народу его юзает для мобильной разработки

перетащить на свою инфру можно всегда.

Так о каком сервисе конкретно речь?

http://docs.aws.amazon.com/redshift/latest/dg/c_best-practices-time-series-tables.html

как вариант

А вот интересно, сообщение time series типа должно содержать таймсамп? Или сам факт посылки и есть время?

Просто в мобильных приложениях слать единичные сообщения совсем некошерно.

ну формально почти любое сообщение - это почти тайм сериес

если там внутри метрики :)

если ивенты, в принципе тоже, но кейс - уже другой

А вот интересно, сообщение time series типа должно содержать таймсамп? Или сам факт посылки и есть время?

А тут смотря что тебе надо - время с клиента или сервера

Не забывай что сообщение будет бродить по сети

Сколько то

Люди прекрасны.

безусловно :)

Каждые 2 минуты прилетает запрос, считывающий 16000 метрик за 24 часа, посекундных. Потом делающий математику над этим. Фишка в том что сырые данные весят 6ГБ, а ответ человеку в json'е, текстом весит 9кб

запрос выполняется всего 44 секунды...

"программисты" :)

серверу там не плохеет?

да чо ему станется, он же железный

(видиом так думает человек делающий этот запрос)

у меня вот, бекенд тянет из базы все данные о пользователе

и только потом применяет лимит

ну там тоже что-то такое

запрос вида foo.bar.*.count.*

на который потом навешивается exclude

и удивляются когда при 20 тысячах пользователей база шлет их нахуй

и данные еще с summarize('5min')

иногда жалко что людей бить нельзя

да

я кстати запорол ваши тесты, как мне кажется

мне кажется что нужно закупить коробку больших чорных резиновых членов и таким людям приходить и бить ими по щам пока не поймут что так делать нельзя

но низя (

ERROR: S client not available

это нужно все купить капы еще

стоматология - жутко дорогая нынче

это нужно все купить капы еще

нет, не нужно. Пусть страдают.

стоматология - жутко дорогая нынче

так можно не сильно

просто чтоб было обидно

да чо ему станется, он же железный

поддерживаю подход Яндекса в данном вопросе. Ставим квоту и пусть че хочет, то и делает. Не влез - страдай.

это графит, у него нет квот :(

а они один на тачке?

не, тачек много

но это не спасает

потому что таких умных людей далеко не 1 штук

тогда коробка нужна, да

@alexanderzobnin небольшой баг в цсс хитмапа, в темной теме текст чорный

@alexanderzobnin небольшой баг в цсс хитмапа, в темной теме текст чорный

Это из grafana/heatmap-panel репозитория?

да

Это не актуально, мы ее в основной репозиторий переносим: https://github.com/grafana/grafana/pull/7934

там уже исправлены эти баги

а спасибо

а поправьте меня пожалуйста у меня есть node_exporter и я хочу снимать пакеты в секунду rate(node_network_transmit_packets[1s]) не отдает дату отдает только в варианте rate(node_network_transmit_packets[30s])

ЧЯДНТ?

а с какой частотой ты опрашиваешь ноду?

разве с 1с?

хм

как ты хочешь что бы оно рейтило?

я хочу pps

что бы мне отдавало)

снимай раз в секунду

раз в секунду, ну ты наркоман

но все равно не отработает

10 секунд снимает O_o

да мне можно и раз в 30 секунд мне главное что бы оно отдавало пакеты в секунду

значение