но на оч. толстый сервер

У меня было 16М на сервер ?

В секунду?

да

Прикольно

У нас 2.3м было на 4 месяца в тест

Без проблем, кроме места

У меня нет столько денег на AWS инстансы :)

У нас физическое железо

И 2.3м уперлось в гигабит в общем

Но переживало все мержи

Это все от протокола зависит, если протокол похож на то что использует графит, то он оч. раздутый и все быстро упрется в сеть. Я сделал протокол в котором множество точек имеющих одну метку времени и набор тегов, но разные имена метрик, можно впихнуть в один PDU и отправить. До этого все было плохо.

у меня сырой поток 2-3М в сек с 1М+ униками - пока это все живо только благодаря аггрегациям

А что используется в качестве аггрегатора?

А что используется в качестве аггрегатора?

своя внутренняя штуковина которая по ssh все это собирает

в принципе ходят бродят слухи что мы ее опенсорснем... но это не точно :)

ну что где там в фоне аггрегируется это не интересно - у нас все демона сами аггрегируют статитику. в базу timeseries-то сколько влетает?

Это все от протокола зависит, если протокол похож на то что использует графит, то он оч. раздутый и все быстро упрется в сеть. Я сделал протокол в котором множество точек имеющих одну метку времени и набор тегов, но разные имена метрик, можно впихнуть в один PDU и отправить. До этого все было плохо.

Это было чисто графитный протокол :)

Прям сейчас 0 :) систему запускаю, пока не запустил еще есть шанс переиграть и выбрать другой бекенд.

т.к. я вокруг кафки строю - я к формату не сильно привязан (а кафка дает сжатие из коробки и прочие плюшки)

кафка - всё-таки очередь

кафка - кафка.

суровая хранилка - кассандра, и есть штука, котороая называется Cyanite - реализация графита с кассандрой в качестве бэкенда

кафка - кафка.

авторы её домашней страницы не согласны с такой точкой зрения (https://kafka.apache.org/)

на странице нет слова queue

суровая хранилка - кассандра, и есть штука, котороая называется Cyanite - реализация графита с кассандрой в качестве бэкенда

реализаций стораджей на кассандре как грязи

на странице нет слова queue

так-то и про хранилку здесь ничего не говорится (https://kafka.apache.org/intro)

а про кафку есть. то есть кафка - кафка. :)

впрочем, если честно, мне неочевидно зачем коллектору time-series данных нужна кафка.

кафка - сервис потоковой обработки. и слова "producer" и "consumer" всё же намекают на то, что речь об очереди ?

затем что я на ее базе строю распределение по бекендам, она является эдаким WAL во всей этой системе, и к потоку который через нее идет я могу подрубить все что мне захочется в любой момент (и отрубить) есть еще задумки использовать их новый функционал streams, но это пока задумки

т.е. когда система станет стабильной и к ней хотелки перестанут появляться - возможно тогда заменю чем то чуть более простеньким и шустрым (может тот же NUTS дорастет, а может просто уберу из стека)

суровая хранилка - кассандра, и есть штука, котороая называется Cyanite - реализация графита с кассандрой в качестве бэкенда

Цианит очень так себе, уж лучше biggraphite тогда

впрочем, если честно, мне неочевидно зачем коллектору time-series данных нужна кафка.

чтобы не реализовывать очередь самому

ну как - на прошлой работе коллега использовал вот это вот всё, потому что в какой-то момент упёрлись в производительность графита на объёмах порядка 200 тыс метрик в секунду на запись. поехало и зажило.

инфраструктура - частное облако (то бишь не амазон/гугл/эжа)

Кстати далматинердб еще не щупали? а то там прям такие цифры в маркет материалах, и кластерность уже прям (и даже забесплатно). Из нового я могу только сказать что они плагин к графане запилили :)

Кстати далматинердб еще не щупали? а то там прям такие цифры в маркет материалах, и кластерность уже прям (и даже забесплатно). Из нового я могу только сказать что они плагин к графане запилили :)

он без тегов. Теги в постгрес.

кластеризация тегов средствами кластеризации постгреса

они вроде хранилище тегов во что то другое пихнули (или хотели)

ну они хотели )

но пока постгрес

во вторых если ты не подключишь постгрес но добавить метрику с тегами базу расфигачивает

и демон падает

во вторых если ты не подключишь постгрес но добавить метрику с тегами базу расфигачивает

чет-как-то-фу.жпг

чет-как-то-фу.жпг

ну вот да

я прифигел когда это увидел

притом включать теги надо в 3-х или 4-х местах

иначе у тебя куски базы при вставке будут падать

у них завелся любитель постгреса :)

в смысле падает приемник и база вместе с ним )

или только база, а остается живым приемник )

хрусть пичаль

база = хранилка

но ваще надо щупать конечно

но для меня он должен быть сильно крутым чтоб был *YES*

а я тут заметил что у тебя нижним (т.е. первым в приоритете) опен флакон китайский появился, уже щупал или пока еще не?

и да, ты когда спишь? :)

и да, ты когда спишь? :)

ночью )

а я тут заметил что у тебя нижним (т.е. первым в приоритете) опен флакон китайский появился, уже щупал или пока еще не?

я 90% баз там не щупал )

никакого времени на это не хватит

и базы не по приоритету, а по добавлению )

ну фалкон - оно ж типа все в одном

аа

мне сейчас хочется адекватное хранилище с тегами

ERROR: S client not available

которое можно будет интегрировать с нашей остальной системой в том или ином виде

у меня пока только солянки получаются

на самом деле интересно потыкать далматинер, посмотреть можно ли малой кровью сделать что-то подходящее из КХ

и потыкать m3db

и базы не по приоритету, а по добавлению )

а где список есть? я чет пропустил

о, это буквосочитание я не слышал

а где список есть? я чет пропустил

https://goo.gl/BRqzdG

спасибо

о, это буквосочитание я не слышал

база от убера, они решают ту же задачу что и мы но на масштабе 10x нашего

написали БД на Го, выложили ядро, но не обвязку

без документации

поэтому возможно сложно

а, слышал, от тебя же :)

но интересно, потому что по словам очевидцев у них 15-20М уникальных точек

в секунду

с тегами

могу похожее буквосочитание по алертингу дать - кластерному на го :)

поэтому потыкать интересно )

могу похожее буквосочитание по алертингу дать - кластерному на го :)

давай

а не, мониторинг... https://github.com/9corp/9volt

но сразу всплыла ассоциация

Хм, может быть

без документации

Так они у вас там на соседнем этаже ) возьмите коньяк, маффины и в гости к ним :)

Так они у вас там на соседнем этаже ) возьмите коньяк, маффины и в гости к ним :)

разрабы м3дб в NY

Чорт :)

лучше сделать билет хотя бы рублей 500

Барыга!

Привет! Подскажите пожалуйста, куда копать: Получаю по snmp метрики со свитча, загвоздка - инфу о нагрузке получаю в октетах, и они еще и переполняются...что вызывает провалы в минус на графиках графаны. Кто сталкивался и как победили?

Привет! Подскажите пожалуйста, куда копать: Получаю по snmp метрики со свитча, загвоздка - инфу о нагрузке получаю в октетах, и они еще и переполняются...что вызывает провалы в минус на графиках графаны. Кто сталкивался и как победили?

Телепаты в отпуске. Какой датасорс? Если метрика в октетах, как преобразование в скорость происходит?

Инфа летит из таблицы IF-MIB::ifTable. Конкретнее ifInOctets, ifOutOctets по интерфейсам. [пример как вижу в инфлюксе] ifInOctets=324670323i ifOutOctets=227721653i

почему не 64-итные ?