Просто кто-то на уровне receiver'а это абстраоирует от тебя

ну и написать батчер довольно легко

я вот совершенно не хочу тащить монстра-кафку под такие задачи и налабал свой

аж 120 строк кода вышло :)

Чатик, подскажи куда уехать от кафки с таймсириес данными? Кафка утомила партициями и невозможностью прочитать диапазон временной.

Для чего именно используется Кафка в данном конкретном случае? Какую задачу решает?

Персистентное хранилище, оттуда они уже уезжают на обработку

А оно где хранит? В памяти или на диске тоже? И сколько времени должно хранить.

На диске, вечно

Так может быть в какую то тайм-сериес базу складывать просто?

У них у всех проблемы. Что-то не реплицируется, что-то тормозит

Или все же есть какая-то неплохая?

Собственно в этом и вопрос :)

Какие ты уже смотрел? И главное какие потом методы обработки нужну или уже используются.

Стек у тебя какой?

Это старый вариант этого поганенького гуглошыта

Лучше его в приличном обществе не доставать

Кинь новенький плиз

Кинь новенький плиз

Да сам поищи, шит очень плохой

Я просто хотел список дать с деталями

И новый и старый

Сейчас у меня с самописного коллектора все уходит на сохранение в кафку, оттуда вычитывается и шлется на агрегацию в pipelinedb. Напрягает именно кафка тем, что в нее по сути можно только записать и последовательно прочитать. Причем читать из-за партиций тоже не особо удобно. Скорость офигенная, но нам так быстро не обязательно. Хочется более произвольное чтение по диапазону временному.

Я просто хотел список дать с деталями

Так там детали кроме названия бесполезные

а кто-то этот DalmatinerDB кроме автора шита пробовал?

Сейчас у меня с самописного коллектора все уходит на сохранение в кафку, оттуда вычитывается и шлется на агрегацию в pipelinedb. Напрягает именно кафка тем, что в нее по сути можно только записать и последовательно прочитать. Причем читать из-за партиций тоже не особо удобно. Скорость офигенная, но нам так быстро не обязательно. Хочется более произвольное чтение по диапазону временному.

Как вы представляете структуру данных которая выстраивает данные но дает доступ к произвольно у элементу ? Судя по всему это обычная куча, а если так то вам нужна любая бд, но механизмом 'удаления' вам придется озадачится самому

Не ?

простите, что выстраивает?

нам тс база нужна, вот и все. Спрашиваю какая нынче в тренде.

Вы же говорите у вас данные потом вычитываются несколькими консьюмерами, разными диапазонами, агрегируются и становятся не нужны. Нет ?

а кто-то этот DalmatinerDB кроме автора шита пробовал?

Вроде нет :)

Вы же говорите у вас данные потом вычитываются несколькими консьюмерами, разными диапазонами, агрегируются и становятся не нужны. Нет ?

нет

агрегирующие функции меняются, новые добавляются. Надо историю заново прокатывать.

Насколько плоха затея писать просто в кассандру?

Минусы те же что с кх. Пишешь или батчами или получишь фигню

ясно

У любой базы данных запись батчем намного эффективнее

Просто в более старых базах уже может быть готовой receiver который от тебя это скрывает

да это все решаемо

Про табличку которую Роман спрашивал: https://docs.google.com/spreadsheets/d/1sMQe9oOKhMhIVw9WmuCEWdPtAoccJ4a-IuZv4fXDHxM/edit#gid=0 Но у нее есть особенности, которые надо понимать: 1. Составляла контора которая оказывает платный саппорт далматинеру. 2. Все performance метрики были собраны методом "что авторы заявили в datasheet/whitepaper". То есть никакого "на одном железе", никакого "единая методология тестирования" там нет. 3. Никто не мерял задержку до доступности данных 4. Все метрики про Usability/Functionality без каких либо публично доступных критериев, так просто показалось авторам. 5. Там далеко не все перечислено. Я составлял список просто имя-ссылка и в нем уже сейчас 38 пунктов того что кажется можно воткнуть как Time-Series: https://gist.github.com/Civil/6c43a1476cb44937afd56320578749e9 И совет - ознакомьтесь с постом https://blog.project-fifo.net/the-lies-we-tell/ про примеры проблем бенчмарков time-series баз данных.

Минусы те же что с кх. Пишешь или батчами или получишь фигню

Там же есть сжатие для таймсерий специфичное, оно работает разве тока на батчах ? Я думал там лсм и сст как раз что бы без батчей сжимать

Там же есть сжатие для таймсерий специфичное, оно работает разве тока на батчах ? Я думал там лсм и сст как раз что бы без батчей сжимать

просто базы любят батчи по разным причинам. Не только с точки зрения сжатия, хотя вроде compaction процесс есть у всех сейчас

С Кассандра это не просто процесс, это ритуал за которым следить нужно хорошенько

@ptchol

это да, но суть все равно вроде бы та же - данные пишутся в некоторые файлики, периодически фоновый процесс ходит и мержит близкое, сжимает заново и т.п. Если очень упрощенно. Или я не правильно что-то запомнил?

Там чуть сложнее но вцелом да

Там есть так сказать мажор компакт

я упрощенно, да

И автоматического механизма восстановления реплика фактора нет

Про табличку которую Роман спрашивал: https://docs.google.com/spreadsheets/d/1sMQe9oOKhMhIVw9WmuCEWdPtAoccJ4a-IuZv4fXDHxM/edit#gid=0 Но у нее есть особенности, которые надо понимать: 1. Составляла контора которая оказывает платный саппорт далматинеру. 2. Все performance метрики были собраны методом "что авторы заявили в datasheet/whitepaper". То есть никакого "на одном железе", никакого "единая методология тестирования" там нет. 3. Никто не мерял задержку до доступности данных 4. Все метрики про Usability/Functionality без каких либо публично доступных критериев, так просто показалось авторам. 5. Там далеко не все перечислено. Я составлял список просто имя-ссылка и в нем уже сейчас 38 пунктов того что кажется можно воткнуть как Time-Series: https://gist.github.com/Civil/6c43a1476cb44937afd56320578749e9 И совет - ознакомьтесь с постом https://blog.project-fifo.net/the-lies-we-tell/ про примеры проблем бенчмарков time-series баз данных.

Спасибо за список!

Спасибо за список!

Главное читай комментарий про первую таблицу, это очень прям важно

она вообще очень подозрительно выглядит

но базовые вещи очень адекватны - то есть чуваки реально поискали где находится средний размер точек и п.р

но вот все оценки надо аккуратно смотреть

The SysLog plugin receives log messages from the daemon and dispatches them to syslog(3). At version 5.1 and later, the Syslog plugin can also act as a consumer of Notifications if the NotifyLevel option is provided. Currently, using LogLevel "debug" is only valid if the collectd sources are built with -DCOLLECT_DEBUG at compilation time.

По другому это ни как не обойти?

collectd

Там все(3 плагина) log c припиской, только при компиле из сорцев, доступен debug lvl

Там все(3 плагина) log c припиской, только при компиле из сорцев, доступен debug lvl

А в чем задача?

Да ошибка psql

https://github.com/collectd/collectd/issues/1905

Хотел посмотреть в чём проблема

хэй, гайс.

ERROR: S client not available

Нужно база писать time series данные с датчиков. порядка тысяча записей в секунду (оценка сверху с не плохим запасом). решение нужно простое и кондовое. чтоб не надо было отдельного человека чисто чтоб админил базу и чтоб не проёбывались данные. в идеале конечно было б круто иметь всякие фишки типа подписываний, динамических выборок и всякого прочего, но не критично. простота и кондовость - на первом месте. инфлюкс? графит? или это все глючное поделие с которым убьёшься в администрирование и стоит не ебать мозг и поставить sqlite или постгрес?

clickhouse ?

Нужно база писать time series данные с датчиков. порядка тысяча записей в секунду (оценка сверху с не плохим запасом). решение нужно простое и кондовое. чтоб не надо было отдельного человека чисто чтоб админил базу и чтоб не проёбывались данные. в идеале конечно было б круто иметь всякие фишки типа подписываний, динамических выборок и всякого прочего, но не критично. простота и кондовость - на первом месте. инфлюкс? графит? или это все глючное поделие с которым убьёшься в администрирование и стоит не ебать мозг и поставить sqlite или постгрес?

Clickhouse, btrdb, dalmatiner, eventql

Но на 1 к в секунду сойдет даже sqlite :)

ну sqlite просто не очень удобный. Хотя конечно простой и надёжный.

Но на 1 к в секунду сойдет даже sqlite :)

мне вот интересно, эластик по 80к в сек приходящих данных хранить то сможет?

чтот я этой java хрени слабо доверяю

мне вот интересно, эластик по 80к в сек приходящих данных хранить то сможет?

Смотря какого объема и на каком железе. Мы из графита в наш эластик примерно столько и шлем

Clickhouse, btrdb, dalmatiner, eventql

boltdb ничего. В крайнем случае даже RRD можно

На 1к в секунду пойдет даже запись в тхт файл :)

ты базы данных только производительностью меряешь чтоли?

вопрос то как раз в том в чем писать хорошо и удобно. ну и чтоб удобно было потом выборки генерить.

и чтоб не проёбывались данные, и чтоб не было ебли со спецэффектами конкретной базы для которых нужен специальный человек, который будет их пилить.

и есть такие бд что ли ?

_почему то думаю что сейчас скажут про постгрю_

как что-то плохое! :)

ну постгрес конечно заебок

ну постгрес конечно заебок

Но он не подходит под твое же "конкретной базы для которых нужен специальный человек, который будет их пилить"

почему? на требуемых мне нагрузках и объемах постгрес по сути будет "поставил и забыл" за исключением того что бэкапы из коробки делать не очень удобно.

в прочем не знаю ни одной базы кроме sqlite где бэкапы были бы удобными

почему? на требуемых мне нагрузках и объемах постгрес по сути будет "поставил и забыл" за исключением того что бэкапы из коробки делать не очень удобно.

Ну и того, что просто поставить - там уже нужен челвоек который с ним работал. Просто с 0 любой человек прокланет постгресс

в прочем не знаю ни одной базы кроме sqlite где бэкапы были бы удобными

Ну да, у всех свои. Хотя xtrabackup он вполне решаемый

Ну и того, что просто поставить - там уже нужен челвоек который с ним работал. Просто с 0 любой человек прокланет постгресс

да ну софт конечно сам не поставится. его в любом случае надо ставить. и это точно будет делать не моя мама, а человек, который в принципе имеет айти опыт. так вот мой опыт первого общения с постгресом был после многих лет общения с мускулем и я чуть не кончал первую неделю от постгри.

А меня стошнило

ты базы данных только производительностью меряешь чтоли?

Это далеко не последняя метрика

но не всегда ключевая

в принципе мы статистику в постгрессе хранили и база до 100Г разрасталась, было норм

Нужно база писать time series данные с датчиков. порядка тысяча записей в секунду (оценка сверху с не плохим запасом). решение нужно простое и кондовое. чтоб не надо было отдельного человека чисто чтоб админил базу и чтоб не проёбывались данные. в идеале конечно было б круто иметь всякие фишки типа подписываний, динамических выборок и всякого прочего, но не критично. простота и кондовость - на первом месте. инфлюкс? графит? или это все глючное поделие с которым убьёшься в администрирование и стоит не ебать мозг и поставить sqlite или постгрес?

А сколько там разных датчиков должно быть? Cardinality - более серьезное ограничение, нежели пропускная способность.

Эээээ. Что ты подразумеваешь под cardinality? данные не реляционные

количество временных рядов/метрик