Vladimir
куда добавили time-series сторадж внутрь
Vladimir
а, ну еще там компрессии нет. Для компрессии предлагают взять... ZoL
Dmitry
@caligo8658 Почему КХ не тот юзкейс, кстати? из-за природы bulk-insert?
Vladimir
@caligo8658 Почему КХ не тот юзкейс, кстати? из-за природы bulk-insert?
это как раз не так страшно, если сделать хороший простой протокол то можно быстро написать простую проксю
Vladimir
просто в нем нехватает математики поверх этого дела
Vladimir
нету оконных функций практически
Vladimir
заточен он под запись событий скорее
Vladimir
но впрочем допиливают потихоньку
Vladimir
@kireevco у меня давно есть мысль сделать маленький сторадж на базе КХ с метаданными во внешнем хранилище
Vladimir
то есть типа берешь mysql/postgres/cockroach и кх. В кх тупо UUID-timestamp-value
Vladimir
а маппинг запроса в список uuid во внешней сущности
Vladimir
если повезет в январе запилим-с
Vladimir
там дело еще в том что скорость чтения из КХ ок, но много чтений ему тоже не очень нравятся
Dmitry
Вот юзкейс, у меня, например, сенсор измеряю температуру, влажность и подобные численные параметры. Инфлакс (пока) справляется
Dmitry
Vladimir
Vladimir
http://btrdb.io/
Vladimir
оно вот именно под IoT и все такое пилилось
Vladimir
и автор активно разивает
Vladimir
идеи там правильные
Vladimir
https://www.usenix.org/system/files/conference/fast16/fast16-papers-andersen.pdf вот пейпер по ней
Vladimir
но там есть свои особенности
Aleksey
Dmitry
ниет. не привет. уходи инфлакс. ниет не поворачиваясь уходи.
Да блин, все провожают, это так. Я тоже. Но чтобы что-то рельно работало, мало слышу. (не говорят)
Aleksey
не добавляй второй.
Aleksey
если у тя миллион датчиков и инфлюкс у меня для тебя потрясающе херовые новости.... даже запрос last(value) будет занимать очень много времени
Pavel
Aleksey
даже если выбрать надо только 1-5
Pavel
Pavel
@caligo8658 Почему КХ не тот юзкейс, кстати? из-за природы bulk-insert?
Ну тут вопрос, скорее в том, что тебе надо в итоге получить от бд) миллион датчиков, в разрезе по времени и их показателям и т.п. превратятся в ад
Pavel
если у тя миллион датчиков и инфлюкс у меня для тебя потрясающе херовые новости.... даже запрос last(value) будет занимать очень много времени
Сори, мэн, потер свое сообщение, адресовал его кому надо было. Ты верно всё говоришь
Dmitry
про инфлюкс это известно, там норм инфраструктура для начала. А что дальше ? вот это вопрос)
Pavel
Графит например
Vladimir
Графит например
на графит отвратительно ложатся запросы вида "дай мне максимум по вот этим 50 тысячам метрик"
Vladimir
по крайней мере пока отвратительно
Pavel
Нуууууу, ваши предложения?
Dmitry
вот и я о том.как насчет Кликхауса в качестве бекенда для графита?)
kevit
вы лучше скажите, какого хуя после обновления телеграма он стал овер дохуя есть кпу
Потому что поменяли шифрование
kevit
https://core.telegram.org/api/end-to-end
Pavel
Ну это же про секретные чаты
kevit
Мне отсюда не видно какие в едящем телеграме чаты, так что предположил)
Vladimir
вот и я о том.как насчет Кликхауса в качестве бекенда для графита?)
на запись вполне себе. На чтение - ну хуже виспера, вопрос в том насколько это критично
Dmitry
Я ни разу не юзал графит, фактически это протокол с проксей для стораджа?
Dmitry
судя по https://github.com/lomik/graphite-clickhouse
Dmitry
Я написал в чат метрик, ибо слишком специфично для devops
Pavel
Ну, ежели не вдаватьмя в тонкости, в тему, полагаю. Метрики и девопс неразлучны)
Dmitry
Ладно 😄
Pavel
вы лучше скажите, какого хуя после обновления телеграма он стал овер дохуя есть кпу
Чатеков многа стало?
Sergey
Хз сколько и было
Sergey
Это после обновления телеграмм на макмини
Sergey
На телефоне норм
Pavel
Ааааа, тогда я пасс))
Dmitry
@kireevco у меня давно есть мысль сделать маленький сторадж на базе КХ с метаданными во внешнем хранилище
Как раз такое пилим, теги и имена метрик в постгре/redis, в кх id/timestamp/value.
Vladimir
Как раз такое пилим, теги и имена метрик в постгре/redis, в кх id/timestamp/value.
о, ну интересно на результат будет посмотреть, если оно опенсорс
Dmitry
да, кусок с записью метрик планировали отдать, но пока без конкретных сроков.
Dmitry
yuyu
Ну тут вопрос, скорее в том, что тебе надо в итоге получить от бд) миллион датчиков, в разрезе по времени и их показателям и т.п. превратятся в ад
Ну миллион - это чуток пессимистично. Мне инфлакс козью морду через *опу показал на 20-30 лямах серий.
Но лучше с ним не связываться, это точно, кроме сравнительно мелких задач - там он годен.
Vladimir
Ну миллион - это чуток пессимистично. Мне инфлакс козью морду через *опу показал на 20-30 лямах серий.
Но лучше с ним не связываться, это точно, кроме сравнительно мелких задач - там он годен.
ну я и раньше говорил что под умный дом (один и маленький) он очень даже ок
Vladimir
ну потому что продолбал данные? да и фиг с ним
Vladimir
а так работает на каком-нибудь контроллере, собирает данные с 30 датчиков и будет отлично жить
Vladimir
Можно вообще без мониторинга
так не ради мониторинга а чтоб зайти с планшета в морду и посмотреть сколько энергии твой умный обогреватель тебе сэкономил
Sergey
И посчитать срок окупаемости его исходя из Срока эксплуатации
Vladimir
мб еще задачу прогнозирования туда сложить)
Vladimir
типа покажи сколько ты такими темпами мне за месяц сэкономишь на счетах
Sergey
У меня хер знакомый тепловой насос поставил как они только начали появляться, короче насос уже сдох не окупив себя
yuyu
Как раз такое пилим, теги и имена метрик в постгре/redis, в кх id/timestamp/value.
А на какое число тегов/имен в пострес замахиваетесь? Чем это сильно лучше/быстрее словарей в КХ будет?
Vladimir
А на какое число тегов/имен в пострес замахиваетесь? Чем это сильно лучше/быстрее словарей в КХ будет?
словарь в КХ это и есть возможность сходить во внешнюю базу)
Vladimir
а в самом КХ хранить теги - ну там вопрос в том что делать если у тебя метрика пришла на два хоста одновременно
Vladimir
и в том что делать если у тебя поменялись наборы тегов
Vladimir
или нужно чо-то удалить-обновить
Vladimir
с тегами такое теоретически возможно все же
Vladimir
у КХ индексы перестраивать нельзя на лету, поэтому под теги я не уверен что он будет норм
Vladimir
серии хочется удалять как-то гранулярно
Vladimir
я предполагаю менять индесы для полей тегов