keras, tensorflow, torch

Они как раз говорили, что это будет интегрировано в их системы и можно будет сразу настраивать мониторинги

Поиск аномалий это сложно, так как аномалии у всех разные, данные тоже. Кому-то 3 сигма норм, кто-то​ хочет dtw, а кто-то нейронную сеть. Поэтому все делают своё.

это такая замечательная область в которой сейчас куча академических исследований, алгоритмов и пр., но каждый реально делает свое

Morgoth для детекта аномалий

Моргота вот назвали уже У нетфликса для поиска аномалий в уже "сложенных" данных во всяких хайвах, есть surus. Есть хреновина под названием banshee от китайцев И есть у твиттера либка на R так и называется AnomalyDetection

но всё оно не очень юзаьельное имхо, проще всего использовать UDF и kapacitor.

потому что так или иначе все равно приходится вникать во все эти базовые методы детекции аномалий, потому что к разного храктера данным, разные функции стоит применять

какие варианты прометей фалойверить?

на уровне стораджа?

мдадм!

в целом ты еще можешь просто два сервака держать

они ж всё равно пулят

да хоть 10

как мне сторадж "отказать"? )

"как обычно"? или есть какие-то средства штатные?

какие варианты прометей фалойверить?

доку смотрели? Там есть описание файловера

доку смотрели? Там есть описание файловера

натыкался там про балансировку только где-то

там есть обновление именно про файловер, недавно выкладывали, поищите

про масштабирование и отказоустойчивость

кто найдет, киньте ссылку

мне лень :D

апр 29 11:06:42 db01 systemd[1]: Starting InfluxDB is an open-source, distributed, time series database... апр 29 16:04:18 db01 influxd[1798]: [I] 2017-04-29T13:04:18Z Listening for signals #influxdb #гавно #говно #аргумент

?

зато туда можно метрики слать хоть задним, хоть передним числом инфлакс тебя примет любым, какой ты вчера, какой ты сегодня, какой ты завтра

слабое утешение факту старта в 5 часов.

ну надо ковыряться чо там случилось

смешнее зачем он так долго стартует. потому как ночью он не смог делать компакт. как итог вместо шарда в 35 гигов получился шард в 495 гигов. и он ничего нехочет с ним делать

так что тут вопрос что важнее неуникальная фича вливки данных в любом времени или операционная стабильность которая не дает тебе 5 часов и писать метрики и читать их.

по опыту со временем он пожмет его. день два, максимум неделя...

>операционная стабильность :'(

так что тут вопрос что важнее неуникальная фича вливки данных в любом времени или операционная стабильность которая не дает тебе 5 часов и писать метрики и читать их.

Имей боевой фаловер, Люк

Народ привет а кто чем контейнер монитрит? Имеется ввиду не

Стандартные мтрики

А скажем редис внутри контейнера и доступен только в оверлецной сетке

Мониторинговые агента внутрь контейнера сунуть? или по одному агенту на хостовую машину контейнер в котором агент который правильно сконфигурен и может через сокет опросить какие контейнеры запущен в хосте и от имени имейджа динамически сконфигурироваться?

Сорри с мобильного опечатки

Вопрос для извращенцев: кто то пробовал встречные трассировки автоматизировать? Я так понял там без запуска с админскими правами никак?

Вопрос для извращенцев: кто то пробовал встречные трассировки автоматизировать? Я так понял там без запуска с админскими правами никак?

автоматизировать что именно? мониторить факт изменения маршрута?

Что то вроде того. Автоматизировать инициацию и запуск скриптов. Как потом это все парсить и хранить можно уже на месте решить. А так было бы интересно узнать с каким минимальным набором прав и п.о на серверах/сетевых железяках это можно реализовать

А скажем редис внутри контейнера и доступен только в оверлецной сетке

аннотации + прометей?

ну или если докер без ничего - сцепленный контейнер

Мониторинговые агента внутрь контейнера сунуть? или по одному агенту на хостовую машину контейнер в котором агент который правильно сконфигурен и может через сокет опросить какие контейнеры запущен в хосте и от имени имейджа динамически сконфигурироваться?

Кури cAdvisor

Кажется так

аннотации + прометей?

А можно ссылки? Просто для прометеус вроде как экспортёры нужны и их я так понимаю надо в контейнер тянуть

И ещё смущает что прометеус небольшой ретеншен

Мне надо раз в минуту и на 90 дней 5000 метрик на сервер примерно серверов щас 40 штук

Мне надо раз в минуту и на 90 дней 5000 метрик на сервер примерно серверов щас 40 штук

раз сколько слать идёт в настройках

И ещё смущает что прометеус небольшой ретеншен

Ретеншен настроить можно

И ещё смущает что прометеус небольшой ретеншен

Какой поставишь такой и будет

Другое дело что потом много ресурсов может занимать отрисовка

Опять же, прометеус умеет не только свои стораджи

была, проверяй логи контроллера. Он там чем-то нехорошим занят. У меня один такой данные запорол

была, проверяй логи контроллера. Он там чем-то нехорошим занят. У меня один такой данные запорол

Угу, посмотрю, спасибо.

У меня такое. Каждый день в одно и тоже время. Надо тоже глянуть контроллер

ERROR: S client not available

ни разу не спрашивали кстати

Атлас заопенсорсили. https://github.com/Netflix/atlas/wiki/Overview

И еще одна любопытная TSDB - http://siridb.net/

scala? ууууу

у кого скала?

И еще одна любопытная TSDB - http://siridb.net/

Вот по документации выглядит интересно, да.

Атлас на Скале, вестимо

Документация у сиридб выглядит многообещающе

графики у атласа прям пахнут ррдтулом и заббиксом

Но как то фантастически слишком

Но как то фантастически слишком

я не нашел цифр ) надо щупать

Я про историю создания и возможности

ну не очень фантастически кажется

или я пропустил какой-то кусок доков

Инфлакс пилят уже не первый год

Инфлакс пилят уже не первый год

инфлакс очень странно пилят я бы сказал

@deniszh ты удивишься узнав сколько в carbonzipper стеке человекочасов работы

ТаймскейлДБ тоже такие "ну у нас получилось хранить временные ряды в постгресе, вроде получается ок, но пока на одном сервере, мож когда получится в кластере"

Чего ж удивлюсь

Как раз нет

Базы это сложно

Таймсериес сложно

Кластеры сложно

Распределеные системы очень сложно

Чего ж удивлюсь

ну там больше всего времени вбухано в carbon-c-relay, куда фабиан ввалил наверное человекогод работы

в остальные куски стека вбухано ну от силы полгода в каждый

и то вероятно меньше

это понятно что сложно, но простые системы сделать просто и легко