Может это все и не на график надо вовсе

А в таблицу и руками процессить потом

надо подумать, график только одно из представлений

Ну - по сырым данным я могу персентили и сам посчитать, но ручной работы хотелось бы избегать

Пусть вон прометей считает

кстати, схожая задача по подсчёту обрывов связи удалённых обеъктов на федеральной радиостанции по регионам.... там тоже редкие события, но там нужно было оперативно переводить статус в аларм, создавать тикет и решать сложившуюся проблему

А в чем проблема ? Представлением не может быть пойнт, со значением длины сессии ? А дальше облако точек просто рисуешь на графике а не линию и все. не ?

Ну примерно так, а дальше я еще хочу персентили - а за какой интервал?

Так-то оно мне их за 10 секунд же считало

Хотя Надо код пойти поглядеть

Там вроде скользящий набор фиксированной длины

Возможно

перцентиль полюбому рисуется по скользящему окну

А, точно, я тупое У меня же pull, а не push

Это ж не StatsD

Надо в коде посмотреть размер окна и политику удаления из бакета

смотрите. наблюдаю в конфиге такую тему ntp::servers: ...     - 127.127.1.0 ntp::restrict: ...     - 127.127.1.0 ntp::fudge: ...     - 127.127.1.0 stratum 10 что автор имел ввиду ? 0_о

/

/stat@comstatbot

comstatbot.xyz/chat/-1001030317489

Проголосуйте? 1. ELK (Elasticsearch + Logstash + Kibana) 2. EHK (Elasticsearch + Heka + Kibana) 3. Graylog 4. Sentry

2

1

1

:(

12, логстеш 2.3 норм пашет

Все варианты какие-то стремные, против всех

Алекс, "возражая - предлагай". Нет, правда :)

Кто-нибудь пробовал Heka?

В слак чатике человек есть который пробовал

Что говорил?)

и который даже декодеры для нее писал вроде как

Алекс, "возражая - предлагай". Нет, правда :)

Я предлагаю всем собраться и сделать красиво

Говорил что вполне ок, но мало декодеров \ филььтров и т д, но легко дописываются.

Других предложений у меня нет, все зрелые проекты так, похоже, и делают

а по произвдительности \ потребелению все отлично 

Я предлагаю всем собраться и сделать красиво

а можно простыми словами, для медленных? Предлагаешь написать свою систему логирования?

а можно простыми словами, для медленных? Предлагаешь написать свою систему логирования?

Систему хранения

И API к ней

Потому что Elasticsearch мне не нра

У меня в проекте уже есть HDFS и уже отдельно есть кластер Solr

о, это серьезно. Системы хранения я люблю. Я как-то даже эллиптикс тыкал

Делать еще кластер ES - ну, он был, он есть (почти есть, его сейчас делают)

Но он же не нужен объективно

Куда еще один кластер-то?

мне кажется, что писать собственную систему хранения с целью сэкономить 3 машины для кластера эластиков - это довольно странная экономия.

А чего ее писать HDFS есть HBase есть Индексатор тоже вон есть

Людей, которые при помощи flume вваливают логи прямо в файлы на HDFS, достаточно

Но они обычно не раскрывают детали представления собранной информации пользователю

Часто потому, что эти логи они собирают как сырец для анализа

А не как средство оперативного мониторинга

идей разных много. На HPC, помнится, был человек, который информацию со статистикой билетов хранил вообще в файловой системе. Вот только фирму не помню

HDFS как distributed fs гавно полное, и по факту ей не является.

Проголосуйте? 1. ELK (Elasticsearch + Logstash + Kibana) 2. EHK (Elasticsearch + Heka + Kibana) 3. Graylog 4. Sentry

5. RIAK + Logstash + Banana 6. Solr + Logstash + Kibana

HDFS как distributed fs гавно полное, и по факту ей не является.

А?

Я бы сказал так - POSIX-compatible distributed FS невозможна, и HDFS ей даже не пытается являться

HDFS - append-only

И это прекрасно

как можно использовать HDFS как POSIX-FS?

она, вроде, для другого

POSIX у нас - ceph, если не изменяет склероз

но ceph такой, своеобразный

@demeliorator Вобще Антон в слаке писал "`на самом деле все недостатки HDFS вылезают из дизайна ее, это НЕ файловая система, а абстракция для распределения файлов на блоки под mapreduce (и его генерализации)`" и я наверно согласен с ним

Надо как-то определить, что мы понимаем под файловой системой

С учетом того, что через FUSE мы гитовый репозиторий можем видеть как FS

Безусловно, HDFS это файловая система

Но - append-only

И это прекрасно, ибо не нужен DLM

Любые изменения автоматически атомарны

Это великое благо

Ну к распредленной фс требования и опредления другие чем к локальной фс

и все вот эти прикол с автоматической ребалансировкой в случае потери нод

привет всем. подскажите туториал по докеру совсем для нубов :( а то в гуглах всяких столько инфы, что сложно соориентироваться

пробовали офсайт?

https://docs.docker.com/engine/userguide/eng-image/dockerfile_best-practices/

Мануал официальный супер

книжка есть хорошая

вот эта

кто-нибудь уже пробовал нативный докер который в бета?

"нативный докер" бывает другой?

https://blog.docker.com/2016/03/docker-for-mac-windows-beta/

на win и mac без virtualbox

это видел, но никогда не приходила идея запускать его там где не нужно

всмысле где не нужно?

ну а зачем его запускать на винде или на маке? поиграться?

нет) его можно использовать как средство разработки например

ну или поиграться с чем-нибудь)

если мне нужен rabbitmq попробовать зачем я буду ставить эрланг и прочую хрень

просто беру докер контейнер и все

или установить все для хаскеля) да все что угодно

можно запаковать webpack в контейнер и использовать его для сборки и dev сервера

в любом случае выглядит слишком футуристично и явно не для ближайшего будущего, а ловить грабли не вижу мысла при разработке если можно запускать это все в окружении близком к продакшону

ну пока запускать котейнеры таким образом на винде точно не очень удобно

но на самом деле это полезная схема, когда изолируешь все вависимости конкретной задачи (например компиляции и сборки) в контейнере, можно это настроить все, особенно когда будет удобное нативное мапирование томов

ну а просто всякие сервисы, чтобы не устанавливать на машину, это и сейчас удобно)

типа БД и прочее