елка как раз для этого? по логам график построить?)

Да не события у него, а количество обработанных

ну как бы завершение скрипта по сути событие

Тебе завершение скрипта надо обрабатывать или количество обработанных считать?

елка как раз для этого? по логам график построить?)

Да, в elk можно хранить логи в распарсеном виде и строить по этому храфики через grafana или kibana

елка как раз для этого? по логам график построить?)

В графане есть датасорс эластика из коробки

я видел да

мне надо значить сколько обработалось по завершению скрипта - общее количество, не скорость и т д

В чём проблема считать каунтер?

ну это чисто первое что я пытаюсь сделать, в целом там будет много разных метрик - включая те которые нормально с прометеусом должны работать

проблема в том что я не понимаю как сделать алерт такой как просят, если у меня в time-series бд хранится записи на каждый скрапинг, а не на каждое завершение скрипта

Ничо не понял

ну прометеус скрапит пушгейтвей - в нем лежит каунтер который не обновлялся долго потому что скрипт там допустим 3 часа парсит соотв на каждые 15сек будет запись вида таймстемп - значение

По мере обработки данных внутри твоего скрипта ты же можешь в каком-нибудь мемкеше делать инкремент одного значения например?

И сделать специальный скрипт который в этот мемкеш смотрит и отдаёт прометею это значение

Можно же так сделать?

Без пушгейтвея

да

Ну

А потом в графане например ты же можешь выводить типа metric_name - metric_name offset 1m?

Получишь прирост в минуту

Ну или increase/rate

если сумма распаршеных итемов больше или меньше в два раз чем среднее занчение за последнюю неделю в этот же период времени

такое вот нереально сделать?

надо как то алерт переформулировать и все встанет на свои места наверное)

Если сделаешь как я сказал - легко

ща попробую

Всем привет. Подскажите, что есть из готового софта по forecast alerting для графаны и/или carbon-cllickhouse

Из коробки пока ничего не видел. А вообще ждём решение от Авито для обнаружения аномалий, они обещали выложить, и можно будет пробовать пилить под себя.

Спасибо, за инфу

yandex/ClickHouse was tagged: v1.1.54381-stable Link: https://github.com/yandex/ClickHouse/releases/tag/v1.1.54381-stable Release notes: v1.1.54381-stable

Кто идёт в среду на мониторинг в Авито?

Я уже подготовил плакат "nagios лучше всех"

а как же Za....

Я уже подготовил плакат "nagios лучше всех"

А если побьют?

А если побьют?

Ручка от плаката с гвоздями

Вообще, нагиос и в правду крутой, а у кого правда, тот и сильней

Он простой как топор, а все эти "а как там обеспечивается HA" "а как мониторить плавующие контейнеры" как настроишь так и мониторить

Вот думаю, есть телеметрия, и есть те или иные паттерны. типа резкий пик или резкий спад. Задача - находить паттерны и классифицировать как события. события надо куда-то писать. Есть мысли, но оставлю на попозже, может есть у кого идеи по общей схеме?

influxdata/kapacitor was tagged: v1.5.0-rc4 Link: https://github.com/influxdata/kapacitor/releases/tag/v1.5.0-rc4 Release notes: cut v1.5.0-rc4

Вот думаю, есть телеметрия, и есть те или иные паттерны. типа резкий пик или резкий спад. Задача - находить паттерны и классифицировать как события. события надо куда-то писать. Есть мысли, но оставлю на попозже, может есть у кого идеи по общей схеме?

Motif discovery для поиска паттернов, матчинг их на события реального мира (хз как) и поиск паттернов в новых данных через DTW.

Motif discovery для поиска паттернов, матчинг их на события реального мира (хз как) и поиск паттернов в новых данных через DTW.

мерси, гляну motif, не слышал. но думаю вопрос в этом чате больше о том, куда лучше складывать события и как это вообще будет выглядеть

а вообще изначально просто хотел через scikit-learn запилить

у меня вопрос куда складывать события, опять в Time Series?

или взять более общую базу типа mongo / MySQL

у меня вопрос куда складывать события, опять в Time Series?

Смотря что именно ты хочешь по этим событиям видеть: одно дело просто считать количество приходящих события, пусть их даже миллионы и они все разные, тогда вполне подходит timeSeries; другое дело, если тебе нужно считать как одно событие воздействует на второе, а второе на третие, тогда это уже лучше в вертику.

А почему не тот же кх?

Смотря что именно ты хочешь по этим событиям видеть: одно дело просто считать количество приходящих события, пусть их даже миллионы и они все разные, тогда вполне подходит timeSeries; другое дело, если тебе нужно считать как одно событие воздействует на второе, а второе на третие, тогда это уже лучше в вертику.

после будет еще аггрегация, само собой.

Смотря что именно ты хочешь по этим событиям видеть: одно дело просто считать количество приходящих события, пусть их даже миллионы и они все разные, тогда вполне подходит timeSeries; другое дело, если тебе нужно считать как одно событие воздействует на второе, а второе на третие, тогда это уже лучше в вертику.

вертика? это что

Кликхауз за сотни нефти

после будет еще аггрегация, само собой.

Мы первоначально все события пишем сначала в агрегатор(statsd), а только потом агрегаты уже в timeSeries(graphite)

я думал может еще подумать в сторону стрима из кафки как вариант, но пока сложно предстваить

Бд для аналитики

Кликхауз за сотни нефти

По-моему до терабайта она халявная

кликхаус стоит денег?

кликхаус стоит денег?

Нет

там опечатка была чтоль про метрику?

а, колоночная база вертика

хммм

Вертика умеет много много больше КХ, она умеет сложные джоины, и т.п.

а, не опенсорс ок

ну тогда можно и в динамодб по идее

пока обьемы не большие, сильно усложнять не хочу. просто представить как складывать вещи типа "10:00 произошло событие", 11:00 произошло событие 2

по сути лог

кликхаус по идее норм пойдет для такого как раз... да.

сделать базы по датам и норм будет. как я понимаю

Для этого достаточно графита, без агрегации вообще

у меня influx ща, для простоты работы пока что. думаю просто делать анализ и складывать обратно в базу events. время-тип события (ENUM какой-нить)

ERROR: S client not available

Тебе потом что от этих данных надо? На графики их выводить? Алерты по ним получать?

да + опять же использование в прогнозироании

пока простейшие алгортимы отклонения и прогнозирования

ну аналитика итд тоже.

типа в календарь какой-то вывести

По рваным событиям, которые ещё и редкие - это та ещё задачка

события достаточно регулярные, раз в день 1-2-3 раза

это так, проект выходного дня, если что) (пока)

Для прогнозирования можешь посмотреть вот эту штуку: https://github.com/facebook/prophet

а, слыхал. на R вроед

когда-то на influx days чувак показывал неплохие демки. там конечно дофига математики, но мне для базового применения нормально.

а, слыхал. на R вроед

Да, и на питоне.

аа, а вот это прикльно.

ну в итоге, буду складывать обратно в influx тогда

ну тогда можно и в динамодб по идее

Стоит померять поток данных. Сколько райтеров надо будет. И сколько места это займет через полгода, учитывая что динамо не tsdb и у нее скорее всего все плохо с хранением метрик.

ну в итоге, буду складывать обратно в influx тогда

Ктож тебе запретит то :)

Ктож тебе запретит то :)

жизнь потом. это 100%

?

Стоит померять поток данных. Сколько райтеров надо будет. И сколько места это займет через полгода, учитывая что динамо не tsdb и у нее скорее всего все плохо с хранением метрик.

еще вариант складывать в файлы на холодное хранение, в места типа s3

еще вариант складывать в файлы на холодное хранение, в места типа s3

Уж лучше тогда в КХ

Возможно.

Но я именно с событиями думаю. Их надо быстро вытакюскивть будет

КХ быстро вытаскивает ;)

Да. Хочу провести эксперимент пока. У меня один источник данных так что все будет хорошо ?

Пока будет инфлакс с двумя базами, налажу поток дальше посмотрим

Можно будет оставить инфлакс для текущих данных а остальное будет в кликхаус сливать

Благодарю за мысли, расскажу потом че получилось если кому интересно будет

есть любители извращений?

мне хочется метрики из Storm получать в прометей

Evgeny Lazin а ты в четверг на мониторингом митапе будешь?

Evgeny Lazin а ты в четверг на мониторингом митапе будешь?

Нет. Меня даже в городе не будет, к сожалению.

Добрый день. Может кто подскажет канада по BigData ?