привет, есть кто-то с carbon + graphite + clickhouse? имею примерно 90кк метрик в минуту, хочу поспрашивать про оптимизации clickhouse под E5-2620 v3/256G/raid6 ssd 960G

вопрос то в чём :) ?

вопрос в оптимизации под мое железо, сейчас тормозит :)

вопрос в оптимизации под мое железо, сейчас тормозит :)

На запись или чтение?

на запись врятли

Кликхаус не любит частые мелкие записи на сикока я знаю

на запись врятли

А вдруг?)

Если тормозит на запись, поставьте Тарантул как транзакционный кеш перед КХ и скидывайте в КХ пачками уже.

Если тормозит на запись, поставьте Тарантул как транзакционный кеш перед КХ и скидывайте в КХ пачками уже.

а если на чтение - можно чего нить воткнуть чтобы было прям уххх как быстро ? )

а если на чтение - можно чего нить воткнуть чтобы было прям уххх как быстро ? )

видимо надо воткнуть dba. который перепишет запросы

или если уже есть воткнуть чего нить в дба.

а если на чтение - можно чего нить воткнуть чтобы было прям уххх как быстро ? )

Конечно же поставить Z, как кеш )))

Если тормозит на запись, поставьте Тарантул как транзакционный кеш перед КХ и скидывайте в КХ пачками уже.

а вы случаем не с майлру ?

а вы случаем не с майлру ?

Ага

удивлен просто выбором. обычно такие советуют очереди или редис. и толко мейлрушники советуют тарантул

Был вопрос, я дал ответ. Очереди и редиска хорошо, да не всегда. Если есть возможность сделать все честно, зачем платить дважды :)

да, не я без претензий нормальный ответ чо. просто специфика.

И еще такой вопрос, предполагается что datasource сам "знает" как пересчитать данные на нужный шаг, но это фактически зависит от данных, скажем для одного ряда вполне нормально взять среднее за каждую (допустим) минуту, но для другого (который содержит latency) нужно брать максимальное значение за эту же минуту. Как плагин должен все это разруливать?

Можно выдавать и сырые данные, просто учтите, что много точек будут долго отрисовываться и, скорее всего, картинка будет не очень. Интервалы ресемплинга графана передает для удобства, чтобы вы могли их использовать в запросах, но вы этого делать не обязаны. Хотя, это желательно.

И еще такой вопрос, предполагается что datasource сам "знает" как пересчитать данные на нужный шаг, но это фактически зависит от данных, скажем для одного ряда вполне нормально взять среднее за каждую (допустим) минуту, но для другого (который содержит latency) нужно брать максимальное значение за эту же минуту. Как плагин должен все это разруливать?

Некоторые плагины позволяют пользователю выбрать функцию, некоторые - нет, зависит от апи источника и от желания разработчика. Я за то, чтобы был выбор, хотя бы min/max/avg

У меня есть вопрос по поводу datasource плагинов для графаны. Вот тут - http://docs.grafana.org/plugins/developing/datasources/ есть описание того, что графана передает в плагин в качестве запроса, в частности там есть интервал (1s, 10ms, 20s и тд) и диапазон дат. При этом у источника данных есть какое-то свое нативное разрешение (а может он вообще не регулярный и шаг каждый раз зарный). Значит ли это что я каждый раз должен делать resample на нужный шаг? А что если я хочу чтобы на графике были голые данные без обработки?

В принципе, какие данные возвращать, плагин решает сам, можете делать нефиксированный шаг, графана просто отображает полученный временной ряд без преобразований.

вот кстати пока в море купаться не ушел :) а почему в плагин еластика вшили временной интервал без возможности его отключить?

вот кстати пока в море купаться не ушел :) а почему в плагин еластика вшили временной интервал без возможности его отключить?

Там же можно выбрать интервал. Или я что-то путаю?

я вот ЕС хочу как хранилку метаданных юзать для запросов, а получается что его можно использовать только либо если эти метаданные каждый раз пихать раз в 5 минут чтобы они в выборку попадали, либо ЕС как хранилище метрик использовать ну или пару десятков строчек в плагине датасорса поправить и сделать плагин ЕС с галкой не передавать время выборки

я вот ЕС хочу как хранилку метаданных юзать для запросов, а получается что его можно использовать только либо если эти метаданные каждый раз пихать раз в 5 минут чтобы они в выборку попадали, либо ЕС как хранилище метрик использовать ну или пару десятков строчек в плагине датасорса поправить и сделать плагин ЕС с галкой не передавать время выборки

А какое именно время имеется в виду? Можно скриншот?

время которое выбрано в дашборде, оно всегда добавляется

типа последний час... 15 минут... и т.д.

мне вот фильтрация в темплейтинге нравится которая реализована с ЕС датасорсом, но она заточена на то что все в этом ЕС и лежит (метрики)

время которое выбрано в дашборде, оно всегда добавляется

Ок, это понял. А что за дынные, почему их надо за больший интервал? Переопределить время в панели не помогает?

я про применение в темплейтинге

фильтры

я про применение в темплейтинге

А, понял. Тогда похоже, лучше issue открыть для обсуждения. Думаю, это из соображений производительности, но иногда это мешает.

т.е. курл запросом в еластик я могу получать актуальные данные по загруженной туда структуре хост-сервис (к примеру), а графана всегда в запрос пихает что я как бы хочу это именно из интервала за последние 5 минут (если в даше этот интервал выбран)

Некоторые плагины позволяют пользователю выбрать функцию, некоторые - нет, зависит от апи источника и от желания разработчика. Я за то, чтобы был выбор, хотя бы min/max/avg

Понял, спасибо.

ну и тут либо мне одно и тоже пихать каждые 5 мин... тупизм но будет работать, либо вот сделать чуть чуть другой датасорс чтобы можно было данные не за интервал, а на определенный таймстамп получать

т.е. курл запросом в еластик я могу получать актуальные данные по загруженной туда структуре хост-сервис (к примеру), а графана всегда в запрос пихает что я как бы хочу это именно из интервала за последние 5 минут (если в даше этот интервал выбран)

Да, это нужно доработать.

ну и тут либо мне одно и тоже пихать каждые 5 мин... тупизм но будет работать, либо вот сделать чуть чуть другой датасорс чтобы можно было данные не за интервал, а на определенный таймстамп получать

Откройте issue лучше.

еще была мысль посередине нжинкс поставить и запрос переделывать на лету :)

хорошо, сделаю :)

он годный?

ничё так, по нагрузке пока не скажу, развернул на небольшой линуховой среде. прописал на наблюдаемых серверах в конфиге rsyslog: *.* @@graylog.server.addr:<порт выше 1024>;RSYSLOG_SyslogProtocol23Format в настройках уведомлений на почту есть conditions и notification, кондишнов может быть много, но notification один как я понял (т.е. все уведомления будут генериться по одному шаблону) шаблон на jmte, в нём можно делать if/else и итерировать foreach, т.ч. если постараться можно натыкать так как нужно пока полёт нормальный

кстати чекнул доку GrayLog, он походу уже с 5 эластиком дружит

недавно совсем вышла версия с поддержкой пятого эластика

кроме всего есть (или был) нативный экспортер для прометея

да как раз его и затестил

плашка ''не поддерживаем 5 эластик" в доке сменилась на "не поддерживаем 6''))

=))

Скажите, грейлог - это аналог кибаны к эластику?

Скажите, грейлог - это аналог кибаны к эластику?

там же не только визуализация... :)

+ функционал логстеша?

+ функционал логстеша?

еще сборка, стриминг и куча всего. Готовое специализированное решение. Странно делать такое сравнение. Но можешь туда кибану прикрутить

никто не кидал от алертменеджера алерты через webhook_configs ? У меня странная ерунда, что когда прилетает несколько одинаковых алертов - показывается только первый

группировка?

group_by: ['alertname', 'job']

добавить туда еще target?

нет, наоборот, если будет несколько одинаковых алертов - они сгруппируются в один

ммм

наоборот тогда убрать может?

не очень понимаю зачем мне группировка сейчас

нужно экспериментировать и читать док. я не очень понимаю, как именно эта фича работает

так и я

может быть достаточно просто аннотацию к алерту переписать

никто не кидал от алертменеджера алерты через webhook_configs ? У меня странная ерунда, что когда прилетает несколько одинаковых алертов - показывается только первый

Alertmanager делает дедуп, у него в конфиге есть поопертя repeat_interval

я кажется разобрался в чем проблема

ошибка была на стороне бота тг, в который летели сообщения

интересно, есть хоть один нормальный телеграм-бот?

они у меня все глючат. И все, собаки, по-разному

@not_logan мой )

ERROR: S client not available

он ничего почти не умеет, поэтому не глючит )

но я правда про тот что оповещает о релизах софта )

он ничего почти не умеет, поэтому не глючит )

я имел ввиду бота под прометей :)

я имел ввиду бота под прометей :)

а тут увы )

он ничего почти не умеет, поэтому не глючит )

идеальный механизм - механизм, которого нет :)

в carbon-c-relay разбирался кто-нибудь с внутренней статистикой(метриками) ? с какой то версии появилась метрика carbon.relays.<hostname>.destinations.internal.queued - которая у меня постоянно равна 100, не могу понять проблема это или нет и почему 100? рядом другие destinations.<hostname>.queued - которые вполне осмысленны и показывают очередь метрик в конретный кластер

в carbon-c-relay разбирался кто-нибудь с внутренней статистикой(метриками) ? с какой то версии появилась метрика carbon.relays.<hostname>.destinations.internal.queued - которая у меня постоянно равна 100, не могу понять проблема это или нет и почему 100? рядом другие destinations.<hostname>.queued - которые вполне осмысленны и показывают очередь метрик в конретный кластер

Internal это всякие реврайты и внутренняя статистика

если я правильно помню

Но надо по коду смотреть или Фабиана пинать

вроде как обычный output - но куда он пытается сохранить и почему очередь непонятно..

попробую issue создать

вроде как обычный output - но куда он пытается сохранить и почему очередь непонятно..

Количество его собственной статистики не 100 метрик ли?

Я думаю просто это особенность учёта

ну у меня периодически меняется количество кластеров - а эта очередь не меняется

не похоже

@freeseacher извини за беспокойство, но ты ж используешь алерту? А как ты ее от наружи закрыл? Я чет уже всю голову сломал, понятно что у нее у самой есть авторизация, но там ж любой может зарегаться, а как выключить эту самую регистрацию я не нашел

Количество его собственной статистики не 100 метрик ли?

таки ты был прав ) это некое количество внутренних событий перед отправкой в маршрутизатор, можно исключить её из графика получается

таки ты был прав ) это некое количество внутренних событий перед отправкой в маршрутизатор, можно исключить её из графика получается

Я просто логику Фабиана более менее понимаю по тому что он меряет :(

@freeseacher извини за беспокойство, но ты ж используешь алерту? А как ты ее от наружи закрыл? Я чет уже всю голову сломал, понятно что у нее у самой есть авторизация, но там ж любой может зарегаться, а как выключить эту самую регистрацию я не нашел

Регистрация у алерты отключаемая. У меня отключена, например

Регистрация у алерты отключаемая. У меня отключена, например

А ты не можешь у себя посмотреть как? Я не нашел ничего в доках. Просто нжинксом закрыл

Да, конечно. Часа через два, ок?

Конечно

Конечно

как и обещал, рассказываю. У меня регистрация "сломана" очень просто - у меня есть кастомеры. И при попытке создать пользователя домен в почте регистрируемого пользователя должен совпасть с lookup. Но тут можно угадать. Чтобы гарантировать невозможность регистрации юзера - просто блокируйте /api/auth/signup 403-й ошибкой. В качестве ответа можно отдавать JSON с полями "message" - с любым текстом и "status" == "error". Это, конечно, слегка выход через окно, но работает

в принципе верификация почты + клиенты на собственных доменах = отсутствие проблем

Ну в общем ты ее тоже просто сломал)

Спасибо

ребят, а вот тут можно ставить свои метки? http://prntscr.com/gdlk5m шаблон там или еще как-то?

а при чем тут метка и подпись к оси?

ребят, а вот тут можно ставить свои метки? http://prntscr.com/gdlk5m шаблон там или еще как-то?

Аннотации

если я вопрос правильно понял