https://github.com/goq/telegram-list#big-data-%D0%9C%D0%B0%D1%88%D0%B8%D0%BD%D0%BD%D0%BE%D0%B5-%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5-deep-learning-%D0%B8-data-science ?

уже нагуглил, спасибо)

Всем привет. Никто не встречался с тем что в эластик серч в индексе kibana-int не все дашборды показывает? Делаю запрос HOST:9200/kibana-int/_search?type=dashboard&pretty=1, а мне не все дашборды возвращает.

думаю лучше в чяте эластика спросить

думаю лучше в чяте эластика спросить

Не подскажете ссылочку?

прости, не подскажу

попробуй поиском или используй ссылку чуть выше в чяте

@elasticsearch_ru

Есть мнение что запускать кафку и кассандру в докере это такое себе развлечение

я конечно слоупок, но кажется конфлюэнт выпустил куб-оператор даже для кафки, так-то.

оператор для кафки точно был

в списке

я тут чуток в прокафке пострадал... и забил

Парни, а как в blackbox можно передать URL layer/asset/web/play/36060?userId=242135&protocol=Zwe&app_name=web ?

а в чём проблема?

в том, что & экспортеру не очень нравится

экранируй

точнее урл-кодируй

module=vooz target="vml.sport.optus.com.au/layer/asset/web/play/36060?userId=242135" level=debug msg="Invalid HTTP response status code

layer%2Fasset%2Fweb%2Fplay%2F36060%3FuserId%3D242135%26protocol%3DZwe%26app_name%3Dweb

layer%2Fasset%2Fweb%2Fplay%2F36060%3FuserId%3D242135%26protocol%3DZwe%26app_name%3Dweb

Спасибо!

https://www.w3schools.com/tags/ref_urlencode.asp

https://www.w3schools.com/tags/ref_urlencode.asp

Да я в теме, не думал, что экпортер понимает. Спасибо!

ну экспортру урл приходит параметром в его урле

ага

level=warn ts=2018-05-15T13:51:53.336798942Z caller=wal.go:234 component=tsdb msg="invalid segment file detected, truncating WAL" err="invalid magic header 0 in \"/prometheus/wal/000331\"" file=/prometheus/wal/000331

Что значит такое сообщение в логе прометеуса? Диск можно заново форматировать или он еще оклемается?

ну так а смарт глянуть и FS на сбои, не судьба?

Подозреваю что с фс все ок, на диске кончилось место и данные немного покарраптились судя по всему

о... так вот с этого надо было начинать, пожалуй :) прометеус пока так и на запробовал, а вот инфлюкс вполне переживает ручное убиение "частей" хранилки, просто теряяданные в удалённой части, тут поди примерно то же, а с учётом что оно вообще долго не хранит, ну через недельку, поди об этих данных никто и не вспомнит

Ожил

Так и вышло

Коллеги, нужен ваш совет. Тыкаюсь в blackbox curl '127.0.0.1:9115/probe?target=https://google.com&module=http_2xx'

probe_success 1

в графане(и в проме соответственно) почему-то при up{instance="https://google.com"} вижу 0

чядн?

Пром не может достучатся до экспортера, как я понимаю

на самом деле, проблема оказалось в конфиге с blackbox

Из коробки пока ничего не видел. А вообще ждём решение от Авито для обнаружения аномалий, они обещали выложить, и можно будет пробовать пилить под себя.

А Skyline?

А Skyline?

Не поддерживается, застрял в реалиях 5 летней давности

Не поддерживается, застрял в реалиях 5 летней давности

а что сейчас актуально, если не секрет?

Думаю про это дело в разрезе сетевого мониторинга(полки, уход трафика, аномальные полки, учёт сезонности)

Думаю про это дело в разрезе сетевого мониторинга(полки, уход трафика, аномальные полки, учёт сезонности)

все буквы вроде знакомые а что за этими буквами стоит не понятно

можете расшифровать юзкейсы описанных выше букв

кроме полок

ну пропадание полное трафика можно детектировать и обычным тресхолдом

А учёт сезонности - это распознование цикличности, что в 4 утра трафик не пропал, а так и должно быть

вспоминается доклад Фабиана с заголовковм Alerting In Prometheus Universe

часть таких хотелок там упоминается

но не автомагически конечно

Vladimir а юзкейсы то какие ?

ну тоесть я хорошо понимаю как это применить в серверном мониторинге (хотя наверное нет) но в сетевом ?? в сетевом мониторинге порты апстримов складываются из портов даунстримов что в конечно счете ведет к портам клиентов. утрировано конечно. как вам поможет сезонность и какой вывод вы сделаете глядя на такие данные ?

ну... выявит аномалию например, друго дело, что с паттерном прометея, когда у тебя данных за две недели, цена такой аналитики около 0

ну для сети мониторинг с глубиной 2 недели вообще ни о чём. считай данных нет поэтому и интересен подход сезонности для сети

Кстати, а долгосрочное чем сейчас модно держать?

Кликхаус.

этож жаба и прочие страсти мордасти вроде как, да и не прозрачно

жаба там только если ты хочешь ha

а про прозрачность кх нипонятно

А учёт сезонности - это распознование цикличности, что в 4 утра трафик не пропал, а так и должно быть

Графит, реализованный на GoLang, и хранилищем в виде Кликхауса вполне подходит для таких целей. Там и бейзлайны (сглаженное, историческое поведение метрики) легко можно построить, и разницу вновь приходящих данных с этим бейзлайном посчитать, и всё это практически реалтайм (10-30сек).

этож жаба и прочие страсти мордасти вроде как, да и не прозрачно

Сам КХ на С++, обзяки для чтения/записи в него метрик реализованы на GoLang(carbon-clickhouse) и на Java(graphouse).

а "сглаженность" там через усреднение?

а "сглаженность" там через усреднение?

Через медиану, берём данные по этой метрике за N предыдущих дней/недель (timeSlice), получаем N метрик, выкидываем 95 персентили (чтобы отсечь пики и падения) и строим медиану по этой группе метрик, получаем бейзлайн.

И это для вообще всех метрик вне зависимости от их характера?

И это для вообще всех метрик вне зависимости от их характера?

Это для метрик с сезонностью

И как их найти?

И как их найти?

Если у метрики значения ночью ниже чем днём, и/или в выходные ниже чем в будни - и это норма - то это они и есть

Я знаю как это глазами определить, не о ручной работе речь

Я знаю как это глазами определить, не о ручной работе речь

Бейзлайны это инструмент выявления отклонений не для всех типов метрик, это так, и принимать решение где его стоит использовать а где нет, тебе придётся самому, в ручную. Если тебе необходимо выявлять отклонения на всех входящих метриках вообще, и желательно без твоего участия, то тебе нужен детектор аномалий, какими-то простыми способами тут не обойтись

Для бизнесовых данных, чаще всего, бейзлайном вполне достаточно.

ну тоесть я хорошо понимаю как это применить в серверном мониторинге (хотя наверное нет) но в сетевом ?? в сетевом мониторинге порты апстримов складываются из портов даунстримов что в конечно счете ведет к портам клиентов. утрировано конечно. как вам поможет сезонность и какой вывод вы сделаете глядя на такие данные ?

Допустим у меня тысячи арендованных каналов, сложная сеть. Мне надо отслеживать возврат трафика в канал, падение канала, причем падение может быть сложное, например оператор частично сломал у себя мультикаст, тогда протоколы работают, не работает только ldp, трафик служебный на порту есть, но его малый процент

При этом утром у меня аналогичная ситуация, трафика в канале нет, есть только маленький процент, но это не авария, это сезонность

Допустим у меня тысячи арендованных каналов, сложная сеть. Мне надо отслеживать возврат трафика в канал, падение канала, причем падение может быть сложное, например оператор частично сломал у себя мультикаст, тогда протоколы работают, не работает только ldp, трафик служебный на порту есть, но его малый процент

Ну кажется тогда имеет смысл смотреть по каждому типу трафика отдельно?

сезонность - скользкая штука

Кликхаус.

Кликхауз длдя складирования редкоиспользуемой информации?

для аномалий трафика часто используют либо анализ Holt-Winters, либо фильтры Калмана

Holt-Winters как раз выделяет долгосрочные сезонные колебания

но это экономический фильтр, не всегда для сети подходит

надо коэффициенты подбирать

да как не подбирай

от природы трафика зависит

у онлайн-проектов и у операторов - совсем различные профили

А подскажите, в алерт менеджере можно как-то реализовать алертинг который учитывает время дня? Т.е ночью паниковать при других значениях

ну смысле холт-винтерс вообще хорошо себя показывает только если коэффициенты подобраны

А подскажите, в алерт менеджере можно как-то реализовать алертинг который учитывает время дня? Т.е ночью паниковать при других значениях

котором из? в нормальном, да

котором из? в нормальном, да

В Прометеусовском. Сейчас у меня это реализовано через сайленс алерта, но я хочу именно другие значения использовать, а не просто мутить его. Но судя по issue на гитхабе, такого нет пока :(

в прометее в запросе можно указать фильтр по времени например

но возможно лучше это настраивать в каком-нибудь pagerduty/opsgenie, там работа с расписанием есть

Напоминаем что уже завтра, 17 мая, c 10:30 до 19:00, состоится второй Big Monitoring Meetup! BIG MONITORING MEETUP #2 — уникальная возможность встретиться с экспертами и профессионалами в области мониторинга. Вас ждут живое общение, обсуждение лучших практик и нетрадиционных подходов, обзор новинок и тенденций в области мониторинга и смежных технологий, выступления специалистов и экскурсия по дата-центру! Основные направления конференции: Мониторинг оборудования и приложений Мониторинг сервисов Новинки производителей Мониторинг для интернета-вещей Мониторинг и ML/AI — новые возможности Визуализация инфраструктуры и бизнес-процессов Информационная безопасность Спикеры мероприятия (докладчики и темы уточняются): Виктор Исаев, команда SAYMON, Мониторинг ЖКХ с помощью SAYMON Александр Зобнин, Grafana (тема уточняется) Григорий Юдин, DCConsult, Применение современных технологий мониторинга ЦОД Павел Козлов, Деловой Партнер, Мессенджеры в системе мониторинга Алексей Широких, NOC Project, Сетевой мониторинг NOC Project Константин Рядов, Openway Service, Isolated Enterprise Operational Monitoring Ольга Филиппова, Тинькофф банк, Мониторинг бизнес-сервисов аналитическими методами Сергей Кунько, Veeam, Veeam One – мониторинг, отчетность и планирование ресурсов Денис Муравьев, GoodWAN, Интернет событий – будущее LPWAN на базе российских технологий Татьяна Свирко, Selectel, Мониторинг инфраструктуры современного дата-центра Для прохода в дата-центр необходим паспорт. Начало регистрации в 10:20. Первый доклад в 11 часов. Регистрация https://eventuer.timepad.ru/event/702213/

Доброе утро подскажите пожалуйста кто как мониторит диски в прометее например как утилизейшн дисков мониторите? что используете кроме стандартного node_exporter со smart скриптом?

а что такое по-твоему "утилизация диска"?

утилизация диска это использования его ресурсов у каждого диска есть своя пропускная способность и в нее можно упереться

я не манагер, мне пожалуйста технические подробности

в каких единицах, например, меряется "пропускная способность"?

использование каких именно ресурсов диска?

% CPU, затраченный на передачу I/O запросов к диску (“пропускная способность” диска);

скорее воот что я имел ввиду под утилизейнш

поправьте меня если я не прав конечно