@rlomonosov

ну вот что ты хочешь получить

я пока допиливаю заливку метрик в кафку из нашего суперколлектора

приемник буду в конце этого месяца пилить

ну или ты зарелизишь и не буду :)

ну или ты зарелизишь и не буду :)

у меня он уже работает, но я пока не уверен в его адекватном поведении

течет?

если хочешь могу в свой форк закомитить и дать потестить

течет?

мне кажется если кафка сдохнет он не переподключится

а ты сараму используешь или либрдкафка&

?

сараму

я ее очень хочу шавермой обозвать почему-то

если кафка сдохнет это будет печально :)

может просто голодный? :)

там кстати автопереключалка вроде не в самой сараме а в сарама кластер или как то так обертка называется

я там делаю реконнект, но я пока не дошел до проверки его работоспособности )

мне в шаверме :) не нравится только то что они запаздывают за релизами кафки

у меня еще мой graphite->kafka конвертер периодически уходит в себя

ну и основные разрабы (конфлуенс) на либрд сидят

и мешает тестом )

ну и основные разрабы (конфлуенс) на либрд сидят

cgo не хочется тянуть

С - стабильность :)

очень

Sergey я думаю что librdkafka будет медленее чем сарама

просто за счет того как Го работает с cgo

даже если либа сама шустрая и хорошая оверхед будет слишком большой

поэтому лучше таки сарама )

ну я вот и так и так пробовал - в принципе там и сям синтаксис похожий

либрд быстрее по тестам

но тесты старые

но + 1 либа

Sergey librdkafka может быть быстрее из си или плюсового кгода )

или из тех языков где биндинги к сишному лучше работают )

я на своих тестах разницы не ощутил

но + 1 либа

будет огромный гиморой в сборке go-carbon'а )

вот сейчас прод поток заведу и повторю :)

с этой штукой

вот кстати в объединении функционала карбон сервера в го-карбон есть маленький негатив... хотя на стороне карбон зиппера в принципе он убирается, но это для моего кейса :)

Мне вообще эта затея с самого начала не нравится. Пользователи веб-интерфейса своими запросами могут выжрать все ресурсы и перестанет работать сохранение метрик на диск. Я надеюсь что когда-нить мы разделим go-carbon и carbonserver обратно. Но @Civiloid против пока

короче я лично не буду использовать категорически

это если его пихнуть в код го-карбона

это если его пихнуть в код го-карбона

текущая билд система go-carbon'а не шибко предрасполагает к cgo коду )

я бы вот эту штуку отдельным демоном сделал, но обмен через протобаф

в том числе

я бы вот эту штуку отдельным демоном сделал, но обмен через протобаф

может быть @rlomonosov сделает когда-нибудь систему плагинов на протобафе или gRPC :)

или не только лишь он :)

может быть @rlomonosov сделает когда-нибудь систему плагинов на протобафе или gRPC :)

так уже есть protobuf ресивер. что тебе еще нужно? grpc будет медленнее

так уже есть protobuf ресивер. что тебе еще нужно? grpc будет медленнее

я про общение между плагинами )

ну так и ладушки, кстати да, было же

@rlomonosov типа взять go-carbon распилить на модули, которые связать по protobuf :)

а таймер в карбонсервере кстати был? ограничивающий время выполнения запроса

а таймер в карбонсервере кстати был? ограничивающий время выполнения запроса

неа, нету )

а то нехорошо такую штуку пытаться ограничивать настройкой дашбордов

в принципе надо отменять его если например сервер недождался

@rlomonosov типа взять go-carbon распилить на модули, которые связать по protobuf :)

Мы все еще о кафке? Вроде предлагалось делать это отдельным демоном, а не модулем

Мы все еще о кафке? Вроде предлагалось делать это отдельным демоном, а не модулем

я потерял нить повествования

я бы вот например сделал ограничение в 1 секунду и список запросов которые обходят это ограничение

а все что дропается по таймауту - в лог

чисто по логике сливать писателя и читателя в один демон не самое лучшее решение (но упрощающее)

можно было бы их оставить раздельными но вычитку кеша записи из писателя в читателя сделать через протобуф

а кафку - отдельным демоном и пусть в писателя данные через протобуф пишет - но это уже есть и остался сам демон

типа резюме :)

Товарищи есть тут разводчики кроликов (RabbitMQ)? Кролик начал вести себя неадекватно, есть пара вопросов для разбирающихся в "ценном мехе" )) Ну или ткните в какой канал пойти со своими вопросами

@rlomonosov сейчас читаю про теги в graphite-ch https://github.com/lomik/graphite-clickhouse/wiki/TagsRU - пытаюсь понять зачем мне это ;) можешь рассказать как использовать ? в графане это будет работать или только в graphite-web ?

@rlomonosov сейчас читаю про теги в graphite-ch https://github.com/lomik/graphite-clickhouse/wiki/TagsRU - пытаюсь понять зачем мне это ;) можешь рассказать как использовать ? в графане это будет работать или только в graphite-web ?

Немного скопипастил из другого своего рассказа про теги https://gist.github.com/lomik/08708fa4bf5f526919942337a9cf4622 Работает где угодно - для графита это дерево выглядит как настоящее )

ERROR: S client not available

Немного скопипастил из другого своего рассказа про теги https://gist.github.com/lomik/08708fa4bf5f526919942337a9cf4622 Работает где угодно - для графита это дерево выглядит как настоящее )

Если мы перейдем на кх для значительного куска данных, то я вероятно запилю тебе что то по синтаксису совместимое с carbonsearch еще

Если мы перейдем на кх для значительного куска данных, то я вероятно запилю тебе что то по синтаксису совместимое с carbonsearch еще

т.е. для carbonapi это не будет сейчас работать ?

т.е. для carbonapi это не будет сейчас работать ?

Будет и работает

Мы просто кх как бэкэнд нигде дальше тестов не брали

а ок, спасибо

И есть определенные проблемы в зиппере при работе с кх

С производительностью, потому что запросы в кх надо иначе слать (в случайный хост, а не броадкастом и всегда со звёздочками как они есть)

Но чисто апи работать будет нормально

у меня после carbonapi haproxy стоит который балансит запросы на 2 graphite-ch для чтения с обоих серверов

т.к. схема 1 шард + 2 реплики

Пока да, только так работать будет

Позже я в зиппер внесу соответствующие изменения

Чтоб хапрокси тут не нужен был

Так и не смог завести clickhouse с zetcd вместо zookeeper кластер собирается все вроде работает zktl ls показывает дерево, начинаю лить данные минут 10-20 все ок данные видны на реплике , потом clickhouse падает типа не видит zk и уже не поднимается (пытается видно что подключается к zk но после чтения пары ключей опять теряет связь с zk) хотя снаружи все ок вроде zetcd отдаёт данные. Короче плюнул и поставил openjdk 8 и zookeeper из пакетов ubuntu 16.04 все шуршит пока без нареканий, вставка на сервер с 1ссд где то идёт со скоростью 500К в секунду.

Так и не смог завести clickhouse с zetcd вместо zookeeper кластер собирается все вроде работает zktl ls показывает дерево, начинаю лить данные минут 10-20 все ок данные видны на реплике , потом clickhouse падает типа не видит zk и уже не поднимается (пытается видно что подключается к zk но после чтения пары ключей опять теряет связь с zk) хотя снаружи все ок вроде zetcd отдаёт данные. Короче плюнул и поставил openjdk 8 и zookeeper из пакетов ubuntu 16.04 все шуршит пока без нареканий, вставка на сервер с 1ссд где то идёт со скоростью 500К в секунду.

вставка на сервер с 1ссд где то идёт со скоростью 500К в секунду. в этом месте фанатам заббикс должно стать стыдно :)

вставка на сервер с 1ссд где то идёт со скоростью 500К в секунду. в этом месте фанатам заббикс должно стать стыдно :)

я когда в декабре гонял кликхаус у нас в тесте, на 1 сервер с ссд вставлял графитных метрик более 2-х лямов (на протяжении недели непрерывным потоком)

а вот тут фанатам заббикса должно стать совсем стыдно

там параллельно с этим еще чтение довольно вменяемо работало

то есть можно было селектить данные относительно шустро

но я временно забил на все, так как сторадж пока не горит

вставка на сервер с 1ссд где то идёт со скоростью 500К в секунду. в этом месте фанатам заббикс должно стать стыдно :)

В защиту заббикс если они все же запилят history API (тут https://support.zabbix.com/plugins/servlet/mobile#issue/ZBXNEXT-3877) то стораджем вполне может стать тот же clickhouse

забикс, аэспи 8к...

В защиту заббикс если они все же запилят history API (тут https://support.zabbix.com/plugins/servlet/mobile#issue/ZBXNEXT-3877) то стораджем вполне может стать тот же clickhouse

они хотели же сделать influxdb :)

они хотели же сделать influxdb :)

Уже вроде к es склоняются

как time series, серьезно?

Да для всего ;)

они там устроили конкурс на худшее решение что ли?

и выбирают кто занял первое место?

Ага я попросил ch добавить )

надо им подкинуть идею хранить все в txt файлах

наверняка оно победит