редкие события = обрывы связи?

Тупо рисовать график длины завершенной сессии не кажется мне правильным

Ага

почему-то в голову диаграмма ганта пришла )))

не знаю почему

Может это все и не на график надо вовсе

А в таблицу и руками процессить потом

надо подумать, график только одно из представлений

Ну - по сырым данным я могу персентили и сам посчитать, но ручной работы хотелось бы избегать

Пусть вон прометей считает

кстати, схожая задача по подсчёту обрывов связи удалённых обеъктов на федеральной радиостанции по регионам.... там тоже редкие события, но там нужно было оперативно переводить статус в аларм, создавать тикет и решать сложившуюся проблему

А в чем проблема ? Представлением не может быть пойнт, со значением длины сессии ? А дальше облако точек просто рисуешь на графике а не линию и все. не ?

Ну примерно так, а дальше я еще хочу персентили - а за какой интервал?

Так-то оно мне их за 10 секунд же считало

Хотя Надо код пойти поглядеть

Там вроде скользящий набор фиксированной длины

Возможно

перцентиль полюбому рисуется по скользящему окну

А, точно, я тупое У меня же pull, а не push

Это ж не StatsD

Надо в коде посмотреть размер окна и политику удаления из бакета

смотрите. наблюдаю в конфиге такую тему ntp::servers: ...     - 127.127.1.0 ntp::restrict: ...     - 127.127.1.0 ntp::fudge: ...     - 127.127.1.0 stratum 10 что автор имел ввиду ? 0_о

/

/stat@comstatbot

comstatbot.xyz/chat/-1001030317489

Проголосуйте? 1. ELK (Elasticsearch + Logstash + Kibana) 2. EHK (Elasticsearch + Heka + Kibana) 3. Graylog 4. Sentry

2

1

1

:(

12, логстеш 2.3 норм пашет

Все варианты какие-то стремные, против всех

Алекс, "возражая - предлагай". Нет, правда :)

Кто-нибудь пробовал Heka?

В слак чатике человек есть который пробовал

Что говорил?)

и который даже декодеры для нее писал вроде как

Алекс, "возражая - предлагай". Нет, правда :)

Я предлагаю всем собраться и сделать красиво

Говорил что вполне ок, но мало декодеров \ филььтров и т д, но легко дописываются.

Других предложений у меня нет, все зрелые проекты так, похоже, и делают

а по произвдительности \ потребелению все отлично 

Я предлагаю всем собраться и сделать красиво

а можно простыми словами, для медленных? Предлагаешь написать свою систему логирования?

а можно простыми словами, для медленных? Предлагаешь написать свою систему логирования?

Систему хранения

И API к ней

Потому что Elasticsearch мне не нра

У меня в проекте уже есть HDFS и уже отдельно есть кластер Solr

о, это серьезно. Системы хранения я люблю. Я как-то даже эллиптикс тыкал

Делать еще кластер ES - ну, он был, он есть (почти есть, его сейчас делают)

Но он же не нужен объективно

Куда еще один кластер-то?

мне кажется, что писать собственную систему хранения с целью сэкономить 3 машины для кластера эластиков - это довольно странная экономия.

А чего ее писать HDFS есть HBase есть Индексатор тоже вон есть

Людей, которые при помощи flume вваливают логи прямо в файлы на HDFS, достаточно

Но они обычно не раскрывают детали представления собранной информации пользователю

Часто потому, что эти логи они собирают как сырец для анализа

А не как средство оперативного мониторинга

идей разных много. На HPC, помнится, был человек, который информацию со статистикой билетов хранил вообще в файловой системе. Вот только фирму не помню

HDFS как distributed fs гавно полное, и по факту ей не является.

Проголосуйте? 1. ELK (Elasticsearch + Logstash + Kibana) 2. EHK (Elasticsearch + Heka + Kibana) 3. Graylog 4. Sentry

5. RIAK + Logstash + Banana 6. Solr + Logstash + Kibana

HDFS как distributed fs гавно полное, и по факту ей не является.

А?

Я бы сказал так - POSIX-compatible distributed FS невозможна, и HDFS ей даже не пытается являться

HDFS - append-only

И это прекрасно

как можно использовать HDFS как POSIX-FS?

она, вроде, для другого

POSIX у нас - ceph, если не изменяет склероз

но ceph такой, своеобразный

@demeliorator Вобще Антон в слаке писал "`на самом деле все недостатки HDFS вылезают из дизайна ее, это НЕ файловая система, а абстракция для распределения файлов на блоки под mapreduce (и его генерализации)`" и я наверно согласен с ним

Надо как-то определить, что мы понимаем под файловой системой

С учетом того, что через FUSE мы гитовый репозиторий можем видеть как FS

Безусловно, HDFS это файловая система

Но - append-only

И это прекрасно, ибо не нужен DLM

Любые изменения автоматически атомарны

Это великое благо

Ну к распредленной фс требования и опредления другие чем к локальной фс

и все вот эти прикол с автоматической ребалансировкой в случае потери нод

привет всем. подскажите туториал по докеру совсем для нубов :( а то в гуглах всяких столько инфы, что сложно соориентироваться

пробовали офсайт?

https://docs.docker.com/engine/userguide/eng-image/dockerfile_best-practices/