Им там без меня комфортнее :)

Ждать @rude_ansible?)

сказали тебе, что ты фу и нехороший и вообще грубиян?

Я сказал, что им со мной некомфортно, а не мне с ними :)))

Я сказал, что им со мной некомфортно, а не мне с ними :)))

ну я же и спросил, в чем некомфортно проявляется)

https://habrahabr.ru/company/avito/blog/343928/

Как же я запутался в этой хуите

Чр за графит, чо за виспер

Графана, прометей

Телеграф

Чр за графит, чо за виспер

https://graphiteapp.org/

виспер - дефолтный формат хранения метрик у него

Марк, ты кроме цефа еще чем-то то займись

?

Марк, ты кроме цефа еще чем-то то займись

Толсто

Я вот в петон пул реквест сделал нащот мультикастов

Толсто

мужик, тут становится вообще вопрос, как ты мониторишь сервисы

Я вот в петон пул реквест сделал нащот мультикастов

умница

Марк, ты кроме цефа еще чем-то то займись

Че за цеф? ? Я слеп на англицизмы

CF? Cloudformation?

оооо

ceph.com

А о ок, да.

Че за цеф? ? Я слеп на англицизмы

Цэпх

Серх

Цепеха

пехапе?

Эр эн эр

Эр эн эр

Это ещё про церес не сказали

Это ещё про церес не сказали

не распарсил

тут один чювак называл "public" как павлик

пашер на power

всем привет а вот у меня возник вопрос вот допустим у меня есть prometheus и есть какое то uwsgi - django приложение из которого пулятся по инстансам метрики типа 90% persentile и request_count можно ли из этих двух метрик вытащить общий 90% персентиль по всей системе а не по отдельным инстансам?

всем привет а вот у меня возник вопрос вот допустим у меня есть prometheus и есть какое то uwsgi - django приложение из которого пулятся по инстансам метрики типа 90% persentile и request_count можно ли из этих двух метрик вытащить общий 90% персентиль по всей системе а не по отдельным инстансам?

Математически - нет

меня даже скорее не сам инструментарий интересует, а именно математически, достаточно ли этих данных? или надо честно аггрегирровать время запроса в по каждому запросу в какой нибудь центральный statsd в котором уже раз в минуту считать персентиль? или алгоритм расчета персентиля есть какой нибудь "вероятностный" который с высокой точностью дает результат но не требует большого кол-ва точек?

меня даже скорее не сам инструментарий интересует, а именно математически, достаточно ли этих данных? или надо честно аггрегирровать время запроса в по каждому запросу в какой нибудь центральный statsd в котором уже раз в минуту считать персентиль? или алгоритм расчета персентиля есть какой нибудь "вероятностный" который с высокой точностью дает результат но не требует большого кол-ва точек?

Это 0.9*Len(array) элемент

а кто как тогда на практике поступает? я понимаю математический смысл слова персентиль но кто как тогда на практике то поступает? когда там 100k rps например?

Пром умеет в мультипроцесорность вроде

Клиент по питон

я в курсе что prometheus клиент умеет делать multprocess метрики, меня волнует, как сделать единую картинку по всему кластеру? ну не выводить же график с сотней time series? по одной на каждый сервер?

А нельзя ли по входным точкам?

Или ещё можно получить количество запросов и посчитать приближенно

а кто как тогда на практике поступает? я понимаю математический смысл слова персентиль но кто как тогда на практике то поступает? когда там 100k rps например?

Есть всякие умные вайтпейперы по streaming quantiles и прочему

Они частично помогут

Но для случая с питоном это все равно внешний демон что будет считать это все

Нельзя ли просто посчитать как-то так: (p_99_1 * request_count_1 + p_99_2 * request_count_2)/(request_count_1 + request_count_2)

Или это будет неправильно?

А все, я опять перепутал ..

Или это будет неправильно?

Будет

Все эти квантили и прочие медианы - не композируются.

А было бы хорошо конечно

Примерно можно определить имея гистограммы всех распределений.

Хм ... разве медианы нельзя собрать взвешенной суммой? То есть оно будет не точно, но вроде не так и плохо. Или я не прав?

нельзя, по-моему

Хм ... разве медианы нельзя собрать взвешенной суммой? То есть оно будет не точно, но вроде не так и плохо. Или я не прав?

Медиана это 50ый перцентиль

Правила те же

Оно в части случаев будет на вид не так плохо, но математически станет мусором

Вот два набора данных: 1,2,9 и 9,9,9. Как медианы суммой посчитать?

Но для случая с питоном это все равно внешний демон что будет считать это все

я не против чтобы был внешний демон, мне очень не хочется чтобы он был ОДИН этот демон... потому что кол-во метрик растет, кол-во точек тоже растет, я конечно понимаю что я не фейсбук, но даже вон github в свое время довольно сильно помучались с brubek и из коробки он до сих пор 4M points per second не рассчитывает...

перцентиль не говорит ничего о распределении, а оно может быть сильно разным для одного и того же значения.

кстати, вот интересный момент! есть же гистограммы в prometheus можно же просто суммировать по классу гистограммы кол-во запросов и все

кстати, вот интересный момент! есть же гистограммы в prometheus можно же просто суммировать по классу гистограммы кол-во запросов и все

Гистограммы вроде агрегируются уже лучше

кстати, вот интересный момент! есть же гистограммы в prometheus можно же просто суммировать по классу гистограммы кол-во запросов и все

А там полное количество или проценты?

А из них потом можно перцентиль получить

т.е. мне не очень важна сама цифра 90% persentile = 0.5234234 меня вполне устроит что 10% скритптов от 0.5 до 1 сек

ERROR: S client not available

А там полное количество или проценты?

Я не помню кстати точно, но вроде полное

тогда должно быть хорошо

Но даже если нет, с ними несколько проще и можно получить что то приближенное с приемлемой точностью

Хм, тогда я снова задам глупый вопрос, если вы не против. Если это веб-приложение, не проще ли тогда мониторить входную точку? Или я что-то не понимаю?

https://github.com/prometheus/client_python#histogram можно самому бакеты задать

Хм, тогда я снова задам глупый вопрос, если вы не против. Если это веб-приложение, не проще ли тогда мониторить входную точку? Или я что-то не понимаю?

ну можно на nginx что-то снимать начать, да но хочется еще и не только по серверам но и по иерархии модуль->контроллер

https://prometheus.io/docs/practices/histograms/

Там таки да, апроксимация перцентилей

Ну просто мне кажется, что расчитывать сводные метрики и делать по ним alert, предположительно, каждый раз будет довольно дорого и не очень рационально. Можно собирать и там, и там и использовать второй кусок информации для более детального определения проблемы.

Хм, тогда я снова задам глупый вопрос, если вы не против. Если это веб-приложение, не проще ли тогда мониторить входную точку? Или я что-то не понимаю?

Входных точек тоже может быть несколько

@SirEdvin например у тебя ecmp поверх 10ка балансеров, которые балансируют на тысячу nginx

И это ещё в эн дц, где эн >1

На гисторгаммах не дорого - считать быстро, а потом их можно просуммировать и получить примерную общую картину.

Входных точек тоже может быть несколько

В моем вопросе было зашито предположение, что в данном случае только одна :( Мне кажется, на больших сложных задачах все равно будет собираться большая команда и пилить какие-то свои кастомые накрутки. Хотя, возможно, я и не прав.

В моем вопросе было зашито предположение, что в данном случае только одна :( Мне кажется, на больших сложных задачах все равно будет собираться большая команда и пилить какие-то свои кастомые накрутки. Хотя, возможно, я и не прав.

Честно считать гистограммы дорого

А получить кучу фронтов вот увы просто

Каждый третий стартап так делает

Нафигачить виртуалок в Авс это ж пара кликов )

Или наплодить докер контейнеров

в общем про Гистограммы я уловил, буду в этом направлении думать

@pro_ansible

Данке шон

Я правильно понимаю что если уже сделал таблицу в clickhouse ее уже реплицируемой не сделаешь?

Я правильно понимаю что если уже сделал таблицу в clickhouse ее уже реплицируемой не сделаешь?

@clickhouse_ru

Там вернее ответят

А еще ответ на этот вопрос разжеван в документации https://clickhouse.yandex/docs/ru/single/#mergetree-replicatedmergetree

Всем привет! Помогите пожалуйста разобраться с прометеем - у меня почему то не работает алертинг в слэк Правила написал, они переходят в состояние актив, а в слэке тишина((

Cмотреть логи алертманагера

там пусто ((

time="2017-12-06T11:31:28Z" level=info msg="maintenance done" component=silences duration=27.902µs source="silence.go:250" time="2017-12-06T11:46:28Z" level=info msg="running maintenance" component=nflog source="nflog.go:288" time="2017-12-06T11:46:28Z" level=info msg="running maintenance" component=silences source="silence.go:233" time="2017-12-06T11:46:28Z" level=info msg="maintenance done" component=nflog duration=155.835µs source="nflog.go:305" time="2017-12-06T11:46:28Z" level=info msg="maintenance done" component=silences duration=50.946µs source="silence.go:250" time="2017-12-06T12:01:28Z" level=info msg="running maintenance" component=silences source="silence.go:233" time="2017-12-06T12:01:28Z" level=info msg="running maintenance" component=nflog source="nflog.go:288" time="2017-12-06T12:01:28Z" level=info msg="maintenance done" component=silences duration=370.919µs source="silence.go:250" time="2017-12-06T12:01:28Z" level=info msg="maintenance done" component=nflog duration=34.112µs source="nflog.go:305"

ну, блин...