можно схлопотать недельный бан

так что зовите сюда :)

тем более тематично

А как приглашать в группу?

https://telegram.me/metrics_ru

скинуть ссылку

Ok.

Пригласил, чтобы ты сказал, что твоя альтернатива Logstash не отстой.

а альтернатива специфична ?

и видимо пока не очень в опенсорсе

Пригласил, чтобы ты сказал, что твоя альтернатива Logstash не отстой.

Я через час отвечу

Про LogStash я могу сказать по состоянию где-то полтора года назад. Возможно с тех пор стало лучше

На тот момент были такие проблемы 1. Нестабильный. Одна нераспаршенная строчка лога, logstash падает. Приходиться останавливать всю систему и вручную дебажить на проде. 2. Очень сложный формат конфигов. По сути свой маленький отдельный язык. Кроме того из-за особенности обработки конфигов (просто склеивает все в один), одна маленькая ошибка может поломать весь парсинг. 3. Медленный 4. Не поддерживает парсинг логов в gz. 5. Отсутствие архитектурной поддержки батчей. Из-за чего при перезапуске может терять записию. (Строчка считается обработанной после того, как она передана Output плагину. Но плагин что бы собрать батч должен сначала накопить эти строчки у себя)

По всем пунктам могу рассказать подробнее

Из отрктых аналогов знаю https://www.graylog.org/ http://www.fluentd.org/

Мы написали свой компонент, под название Logshatter, очень вкратце рассказывал про него тут https://events.yandex.ru/lib/talks/3715/

file beats? Heka?

Не могу ничего про них сейчас сказать

mtail?

Logshatter - умеет собирать данные из разных источников, парсить их (парсеры можно писать на java или простые на json) и складывать в Кликхаус (другие хранилища не поддерживаються и не планируются). Он распределенный, откаузоустойчивый, производительный, бла, бла, бла...

Мы написали свой компонент, под название Logshatter, очень вкратце рассказывал про него тут https://events.yandex.ru/lib/talks/3715/

ДенисА Хуртин ?

Поправил ссылку, там последний доклад https://events.yandex.ru/lib/talks/3715/

Ага

Парсеры на java писать обязательно?

Точнее не так. на сколько не гибко сделан json?

Про то, что бы выложить Logshatter в OpenSource мы думаем, но есть нюанс, что он умеет читать из 4х источников из них 3 внутренних. И только чтение из файлов будет интересно сейчас

Точнее не так. на сколько не гибко сделан json?

В Json можно описать парсер для tsv, tskv и на регулярках

Развлечения над логами делать можно? Типа гистограммы

Мы умеет строить почти любые метрики по запросам в КХ и отправлять в графит

Понятно

Гистограмы кстати может строить даже сам КХ https://clickhouse.yandex/reference_ru.html#bar

Ну тоесть основная идея - собрать и распарсить чтобы уложить в кх

и потом по данным в КХ подсчитать любые метрики, ага

Убей их всех пусть бог рассортирует

:-)

:))

Как раз фишка КХ - что ты можешь хранить там огромные объемы неагрегированных данных

да я понимаю логику кх

А значит если тебе понадобиться какая-то метрика в будущем ты сможешь её подсчитать

И в отличии от Элестикак - Кх не пухнет и нормально масштабируется

смотрю, kx, kx, потом наконец понял что вы не про kdb а про clickhouse :)

Для нас эо уже привычное сокращение, ага :))

А насколько opensource версия КХ отличается от той, которя юзается для Y.metrica?

Она ничем не отличается. Собранный и доступный наружу пакет - это ровно то, что используется внутри. Разработка ведётся сразу снаружи. Разве что у нас немного другой конфиг.

mtail?

решил я потестить mtail.. он с простым конфигом на 7 метрик из 3х логов завис через ~неделю аптайма. натравлен был на statsd. вебморду свою норм показывал, но каунтеры встали и метрики не слал. в ss пару часов наблюдал строчку про его established udp-соединение

из того что я встречао в fluentd он может сразу парсить логи и слать куда надо, а для beats надо втыкать логстеш который уже будет резать

а что ты имеешь в виду по "куда надо"

кстати, а грейлог кто-то на практике пробовал? я давно их видел, но чет не от кого пок не слышал, чтоб его проверили боем

@AndreevDm Слушай, а ваш logshatter с точки зрения модульности как? ну т.е. ты говоришь, что сейчас 4 источника и 3 бесполезных миру. насколько больно туда впилить еще какой-нибудь вариант?

Если вещи которые можно сделать лучше, но в целом не сложно

Т.е. если что зарефакторить, что бы было ещё проще, но и сейчас нормально

ну тогда, я не думаю что в этом плане будет большая проблема. мне кажется, что основной набор напишется заинтересованными достаточно быстро. просто у вас судя по описанию есть некоторые прикольные стороны, могло бы пойти в массы

Всё так. Но там есть некий ненулевой работы по отделению всего нашего, в том числе выпиливанию внутренних билиотек

Но он второй кандидат

На первом месте графаус - модуль для интеграции графита и КХ

пиши, если вытащите в паблик. как минимум пощупать интересно)

Мы очень хотим, но пока опять же - без каких-либо обещаний

На первом месте графаус - модуль для интеграции графита и КХ

Чуваки, мы такими темпами свое сделаем

ERROR: S client not available

А знаете как сильно не хочется? :)

Котаны, скажите пожалуйста, на свете нет пуллилки графита? Чтобы она пуллила один графит и пушила спулленое в другой графит?

подобное писали но там не графит был

Ну вот я решил посмотреть, есть ли готовое

оно пишется-то просто

оно пишется-то просто

а чо просто relay не взять ?

там именно пуллить надо, коннект к одному из графитов по vpn

и в одну сторону

Упс, не тот Линк

https://github.com/lomik/go-carbon/commit/5e712be261c5ecc5ac4d672107d8c4143d248bc4

А кто чем мониторит вмварь и esx?

https://github.com/prometheus/prometheus/releases/tag/v1.3.0

слушайте, расскажите у кого есть опыт. надо мониторить рельсовое приложение (puma) заббиксом.при этом я не подразумеваю анализ логов. что, помимо state_path пумы можете посоветовать?

на этом канале, как и на многих других — скорее всего тебе предложат не мониторить что либо заббиксом.

отчего же. и что предложат

а вон в топике написано же

а. ну это понятно, но не оправданно в моем случае и под мою задачу. я ж не против их

ну как бы ок

что бы посмоветовали для этой же задачи собирать и как в инфлюкс

https://github.com/lomik/go-carbon/commit/5e712be261c5ecc5ac4d672107d8c4143d248bc4

Огонь!

Огонь!

оно точно с багами тока

вопрос в том с какими

Все равно в правильном направлении мне кажется проект движется

что бы посмоветовали для этой же задачи собирать и как в инфлюкс

инфлюкс брать не надо

инфлюкс брать не надо

+1

я всегда почему-то советую брать риман + сторедж

раньше инфлюкс советовал

но он говном оказался