я вроде куда то заливал - сейчас гляну

а примера конфига нет глянуть?

Тоже плюсую, инетерсно посмотреть

https://github.com/korservick/nginx-carbonapi-balance-conf/blob/master/carbonapi.conf тут туповато но работает :)

формально это доп прокси для графаны, алертер всегда итак лезет в карбон т.к. все алерты по коротким данным

а не пробовали такую же балансировку по префиксу делать?

вообще да достаточно простой скрипт

по идее это можно втолкнуть в код карбонапи, и вроде хотели сделать

про префикс чот недогоняю

формально это доп прокси для графаны, алертер всегда итак лезет в карбон т.к. все алерты по коротким данным

ага, спасибо. пойду почитаю что там в haproxy сделали такого что теперь можно повторить это без луа...

ничего :) просто в хапрокси луа вшит, а нджинкс нужно собирать с луа (их финансовые заморочки)

а что не так с луа? если не 100 тыщ миллионов запросов в наносекунду то как бы все норм с луа поверх С

а, я не сообразил, думал магия какая то. ? не, с луа все хорошо.

про префикс чот недогоняю

ходить за разными префиксами в разные carbonapi, я пробовал через zipper это делать, из за специфики его запросов(он бродкастит) CH просто ложиться. В том что в мастере сейчас это реализованно, но пока я чот побаивают в прод тащить, да и не оттестил доконца.

так это другая задача же

я как раз мастер карбонапи буду тестить сейчас.

я решал задачу есть 100+ пользователей и им в 98% случаев нужны графики которые прям сейчас, а в 2% нужны за то что было раньше либо какие то статистические выборки - обманываем графану с помощью вот такого прокси к карбонапи и получаем автопереключалку по 2м бекендам - карбону и КХ префиксы эту задачу не решают

ходить за разными префиксами в разные carbonapi, я пробовал через zipper это делать, из за специфики его запросов(он бродкастит) CH просто ложиться. В том что в мастере сейчас это реализованно, но пока я чот побаивают в прод тащить, да и не оттестил доконца.

master пока не рабочий. Мы его пилим и потегаем, как он в прод полетит у нас

в итоге в 98% случаев отрисовка идет менее 100мс по куче графиков, а если хочется исторических данных то можно и 300-1500 мс потерпеть (а в случае какой то статистики и 5-10 секунд)

это когда запрос улетает в КХ

я как раз мастер карбонапи буду тестить сейчас.

аккуратнее там. Для начала там надо dep c последним коммитом zipper натянуть

в итоге в 98% случаев отрисовка идет менее 100мс по куче графиков, а если хочется исторических данных то можно и 300-1500 мс потерпеть (а в случае какой то статистики и 5-10 секунд)

Очень норм и просто реализуется, спасибо за идею!

master пока не рабочий. Мы его пилим и потегаем, как он в прод полетит у нас

т.е. я правильно понял что при старте carbonapi вычитывает из каждого таргета префиксы и держит схему префисов в памяти? При поступлении запроса он смотрит в эту табличку и редиректит запрос туда где у него зарегестрирован этот префикс?

на сколько я помню это был функционал zipper, но как то так, да. @civiloid может точно сказать

на сколько я помню это был функционал zipper, но как то так, да. @civiloid может точно сказать

Ну апи с зипером интегрирован

т.е. я правильно понял что при старте carbonapi вычитывает из каждого таргета префиксы и держит схему префисов в памяти? При поступлении запроса он смотрит в эту табличку и редиректит запрос туда где у него зарегестрирован этот префикс?

Не при старте, а периодически

Там каждые Толи 5 Толи 10 минут

и он их броадкастит по началу, вероятно имеет смысл ввести понятие прогрева при старте

Да, имеет

и он их броадкастит по началу, вероятно имеет смысл ввести понятие прогрева при старте

А зачем? Если он уже получил список префиксов?

аккуратнее там. Для начала там надо dep c последним коммитом zipper натянуть

https://github.com/go-graphite/carbonapi/pull/329 смерджили же. Или еще что то после?

А зачем? Если он уже получил список префиксов?

ну получение списка префиксов может занимать время

если запрос по префиксам нельзя сматчить к группе серверов или из кэша не следует что отвечают только определенные сервера на него - запрос пойдет ко всем

вот я тоже с этого удивился. Пытаюсь понять что я делаю не так.

Хз. 750К у тебя в минуту или секунду?

Хз. 750К у тебя в минуту или секунду?

Секунду

Я пытаюсь 5 серверов go-carbon вжать в один clickhouse. Пока не получается.

ээээ... я бы наоборот пробовал ?

КХ не быстрее карбона

КХ не быстрее карбона

да раньше выходило что на запись быстрее

его скейлить чуть чуть удобнее, но все равно руками - и компрессия хорошая. А так и запись медленнее ну и чтение тем более

ну тут смотря как мерить , какое железо, как кеши распределяются

но 5х это смело

@deniszh ну я когда последний раз тестировал, где-то полгода назад, выходило что именно на запись все же ch раз в 10 шустрее )

хз. я в вакууме не тестил, а б реале чтение вносит так скажем - свои коррективы ?

его скейлить чуть чуть удобнее, но все равно руками - и компрессия хорошая. А так и запись медленнее ну и чтение тем более

Тесты с одной таблицой были? Просто если распределять ретеншены по празным таблицам получается хороший прирост в скорости

grafana/grafana was tagged: v5.2.1 Link: https://github.com/grafana/grafana/releases/tag/v5.2.1 Release notes: release v5.2.1

да ну нафик, вчера же только обновился :)

да ну нафик, вчера же только обновился :)

Смело, отважно :) Мы только неделю назад на 5.1.3 с 4-й версии перелезли. Я считаю, что можно было еще подождать.

ну на 5-ку то я давно обновился, а вчера как раз что то обновлял и графану заодно, ну у меня там не особо бизнескритикал, так что не страшно

ну и фичи они всё же не дурные с новыми релизами иногда делают, так что не вредно, та же 5ка наконец вроде поборола прыгание графиков, ну и вся вот эта зарождающаяся фигня с правами на графики и прочими плюшками, скорее полезна

grafana/grafana was tagged: v5.2.1 Link: https://github.com/grafana/grafana/releases/tag/v5.2.1 Release notes: [Download Page](https://grafana.com/grafana/download/5.2.1) [Installation Guide](http://docs.grafana.org/installation/) [Release Notes](https://community.grafana.com/t/release-notes-v5-2-x/7894) * **Auth Proxy**: Important security fix for whi... More

Тесты с одной таблицой были? Просто если распределять ретеншены по празным таблицам получается хороший прирост в скорости

на запись то хуже должно быть - запись идет по количеству ретеншанов во втором случае, на чтение да - должно быть шустрее (в большинстве случаев)

Тесты с одной таблицой были? Просто если распределять ретеншены по празным таблицам получается хороший прирост в скорости

А каким образом оно конфигурируется так? Есть примеры?

Чат. А кто-то помнит название тулзы для мониторинга микро берстов?

А каким образом оно конфигурируется так? Есть примеры?

Кинул примеры в личку

на запись то хуже должно быть - запись идет по количеству ретеншанов во втором случае, на чтение да - должно быть шустрее (в большинстве случаев)

ну на запись да, он сразу во все таблицы пишет

Судя по всему, в репозиторий плагинов графаны мерджат только те пулл ревесты, которые обновляют то, что там уже есть. Новые плагины не добавляют уже несколько месяцев. Есть подозрение что скоро они что-нибудь сделают и плагины придется переписывать, иначе зачем так делать ?

Последний datasource плагин был добавлен в марте.

ну я бы предположил худшее, что им немного не до того, типа правки ещё проходят, так как правки, а копатся в хрен знает чём да ну на...

Судя по всему, в репозиторий плагинов графаны мерджат только те пулл ревесты, которые обновляют то, что там уже есть. Новые плагины не добавляют уже несколько месяцев. Есть подозрение что скоро они что-нибудь сделают и плагины придется переписывать, иначе зачем так делать ?

тут кажется был чувак, работающий в графане

@alexanderzobnin <- он

Наверно к релизу готовятся, который опять все сломает )

https://youtu.be/TZdxz8ienrs

вот тут об этом шапочно было

Там было про з))

Кинул примеры в личку

Можно было и на гист какой нить, интересно ж

ERROR: S client not available

Можно было и на гист какой нить, интересно ж

форварднул

Народ, а для чего используется jaeger ? Кто знает?

Тут рисуют диаграму с агентом jaeger который шлет даннык в jaeger collector и дальше в Elastic Search

Трейсы приложений

трейсы кода, стактрейсы, как угодно можно назвать

Понятно

Кстати, а кто умеет кормить данные go-carbonу через kafka? gorelka только? @rlomonosov @Civiloid ?

Кстати, а кто умеет кормить данные go-carbonу через kafka? gorelka только? @rlomonosov @Civiloid ?

там @336055826 и @korservick кажется что-то свое пилили

ну и горелку надо допиливать сильно

Можно было и на гист какой нить, интересно ж

Если внимательно почитать конфиг graphite-clickhouse - там все очевидно

а в carbon-clickhouse просто пишешь во все ретеншен таблицы разом, там есть для этого [datatable]

ну и горелку надо допиливать сильно

Пилишь?

Пилишь?

не, я сейчас отдыхаю от написания кода. Ничего не пилю, ничего не пытаюсь делать. Только PR'ы от @azhiltsov и его команды мержу

Какая грусть ?

возможно есть другая ошибка в логе. эта бесполезна

разнес clickhouse и carbon-clickhouse по разным хостам Оставил только [upload.graphite_reverse] threads = 12 [upload.graphite_tree] threads = 12 отдал ему max-cpu = 24 chunk-interval = "10s" теперь оно кушает около 7 ядер и количество файлов не растет Clickhouse ест около 6 ядер, то есть получается что upload.graphite_series_reverse upload.graphite_tagged создавали мне проблемы с производительностью

А зачем threads 2 раза?

Однако вот такая ошибка появляется на каждый файл https://justpaste.it/78ukd

А зачем threads 2 раза?

копипаста, я так понял что каждая таблица в отдельном наборе тредов. Нет?

Ужс

Ужс

взято отсюда https://github.com/lomik/carbon-clickhouse/blob/master/README.md

Это все lomik ?

Кстати, а кто умеет кормить данные go-carbonу через kafka? gorelka только? @rlomonosov @Civiloid ?

у меня супер ультра простая штука которая заворачивает графит метрики кх обратно в кх с разбивкой в 2 таблицы (метрики и дерево), чтоб он сам про себя метрики в себе хранил :) с благозвучным названием grelka

у меня супер ультра простая штука которая заворачивает графит метрики кх обратно в кх с разбивкой в 2 таблицы (метрики и дерево), чтоб он сам про себя метрики в себе хранил :) с благозвучным названием grelka

Это мне напоминает наш изврат с мониторингом графита графитом же. Не надо так делать.

есть еще штуковина которая кушает формат заббикса и перепаковывает его в графит пихая в кафку, но там оно вплетено в наши другие продукты и в опенсорс смысла выкладывать нет

чуток починил телеграф для нормальной посылки в кафку, к нему могу выложить парсер который превращает это в поток графита в кафке, но опять же там ничего сложного - консьюмер и продюсер

я вот тоже нарывался на то что карбон-кх начинает опережать кх и случается неприятность - в итоге перешел на вычитку самим КХ из кафки и гокарбон тоже нормально из кафки читает (надо бы формат в него дописать - json_each_row)

Это мне напоминает наш изврат с мониторингом графита графитом же. Не надо так делать.

ну учитывая дублирование и то что все через персистентную кафку льется - вполне норм, прям ловить что то страшное лучше более мелкими штуками, а тут скорее статистика льется

Судя по всему, в репозиторий плагинов графаны мерджат только те пулл ревесты, которые обновляют то, что там уже есть. Новые плагины не добавляют уже несколько месяцев. Есть подозрение что скоро они что-нибудь сделают и плагины придется переписывать, иначе зачем так делать ?

Банально нет времени на ревью, я думаю. Никаких грандиозных обновлений пока не предвидится.

Коллеги, всем привет. Поделитесь, кто как/чем собирает логи и метрики c nginx?

Лог в json а дальше логстеш

nginxlog-exporter или mtail