с mixed уже ссд скорее всего нужны

и завтра попробую влить в него тестовый набор для time-series и сравнить с influx'ом

пугает меня influx.

и у них он в продакшене с 2014 года на петабайтных базах

он есть уже

со всем HL/HA

но у него есть несколько критичных проблем

если будет решение, которое будет однозначно лучше, то influx не будет

как подложка для BI инфлюкс далеко не плох

у нас в любом случае - метрики, малая часть системы

хранилище всегда можно заменить малой кровью

но у нас есть и opensource версия

и достаточно мелкие инсталляции

не хочу портить им жизнь

А вы как его выбрали?

кого?

как вы докатились до инфлюкса?

с кем сравнивали

по каким критериям он выиграл?

под какие данные?

почему "докатились"

у нас было несколько реализаций своего хранилища

предпоследняя редакция -- точно так же, с мимикрией под графит

как я уже сказал, интересовали в первую очередь IOPS'ы и компактность храниения

необходимо хранить точное время измерения

RRD не подходят сразу

Ну то есть вам нужна хранилка евентов с мимикрией под графит?

была

из графитовых смотрел еще цианид в свое время

не нужна

в первую очередь эвентов

не event'ов

под event'ы у нас FM есть

это его

для PM графит смотрели больше как технологию

и как протокол

мимикрию под графит сделали ради дружбы с графаной

пока не было своего аналогичного движка для отчетов и визуализации

собираем, в основном, различные метрики с оборудования

самые крупные проекты - сети доступа

хотя на ядре тоже попадается

кампусы там и мобильщики

короче то, что обычно называется FM и PM в терминах телекомунникационной модели

графики использует техподдержка

часто, когда клиент на проводе висит, они должны отрисовываться быстро

я вот что подумал. и что у меня получалось по тестам. я паралельно лил данные в инфлюкс и в прометей. потом делал выборку - покажи последние 7 дней. в целом оба справлилсь с задачкой менее чем за секунду.

но вот если я увеличивал "позавечера" инфлюкс всегда проигрывал прометею.

примерно в 2,5 раза.

@dvolodin какой баланс чтений-записи? сколько вообще записей в секунду вы хотите в сторадж видеть и какого рода запросы на чтение идут? как я понимаю чтения еще и редки?

видимо это вопрос открытия нужнного шарда и чтения большого колва мест из большого файла против поиска файла и чтения из маленького файла.

похоже, да

задним числом он неважно пишет

а может и WAL себя так ведет

нет вала тут уже точно не будет

позавчера лежит в другом и условно закрытом(cold) шарде

но при этом запросы типа покажи мне все данные за позавчера должны быть быстрыми, ибо читать надо рядом.только вот ценность такого рода запросов под вопрсом...

@dvolodin короче из переспективных TS стораджей, есть metrictank (от авторов графаны, см гитхаб), есть btrdb, можно заюзать кликхаус, можно в теории взять тарантул 1.7 и написать плагин для графита

тарантул - обычный KVS

еще есть eventql, тоже интересный, но надо смотреть

почему именно он

а не, скажем, aerospike?

@dvolodin авторы заверяют что они тестировали похожие кейсы у себя и он быстрее аероспайка

у меня на работе список из 18-и перспективных стораджей есть, к слову )

которые надо бы потестить в какой-то момент жизни

или почитать и выкинуть 2/3 списка

список и в моем документе есть

у меня на работе список из 18-и перспективных стораджей есть, к слову )

поделись, мне интересно

напомни в пнд

то что мне там казалось перспективным я выше перечислять начал )

мне кажется было бы прикольным собрать тут ребят кто пишут метричиеские базы

было бы полезно

нужно для начала прикинуть, какие характеристики инетерсны и методику тестирования

eventql, clickhouse, btrdb, может быть тарантул (я правда думал его как in-memory storage взять), druid (но он не совсем про метрики, скорее агрегации)

аероспайк там тоже был

остальное не помню

leveldb/hyperleveldb/rocksdb

но к ним обвязка нужна

leveldb/hyperleveldb/rocksdb

кстати riak ts еще

https://www.evernote.com/l/ADnckwK0Be5E97cZpD2V2BOwQFyJG5sJHjI

у меня там есть список

metriktank

https://dalmatiner.io

@dvolodin у тебя там нет списка

то есть конечно есть, но в нем 4 базы и еще 5 движков

баз и движков много больше

ну так сколько их появилось-то новых

поверх риака есть две time-series обвязки - далматинер и riak ts

при этом коллега пишет for fun обвязку к riak ts для совместимости с графитом

на прием и передачу

https://github.com/dams/graphite-riakts но оно очень сильно не полное пока что

просто for fun

btrdb вообще иной подход

и звучит интересно

https://blog.acolyer.org/2016/05/04/btrdb-optimizing-storage-system-design-for-timeseries-processing/

в основе движка k-ary tree лежит

это ребята, которые wired tiger делали?

это ребята, которые wired tiger делали?

это - это кто?

есть еще CitusDB - плагин к постгресу с time-series движком

правда вроде не очень хороший