nginx.1 | hellogay.net 42.156.139.70 - - [24/Sep/2016:19:10:56 +0000] "GET /gallery/aaron-james-gets-fucked/index.html?4x7x36360;http://xhamster.com/movies/4406926/aaron_james_gets_fucked.html;http://hellogay.net/pussy/thumbs/36/360_gets_james.jpg HTTP/1.1" 503 213 "-" "YisouSpider"

nginx.1 | hellogay.net 42.156.139.70 - - [24/Sep/2016:19:10:56 +0000] "GET /gallery/aaron-james-gets-fucked/index.html?4x7x36360;http://xhamster.com/movies/4406926/aaron_james_gets_fucked.html;http://hellogay.net/pussy/thumbs/36/360_gets_james.jpg HTTP/1.1" 503 213 "-" "YisouSpider"

Это из образа с докерхаба??

Это из образа с докерхаба??

это просто боты на сервак стучат

просто докер с кроном

нет, это докер с кроном и nginx :)

нет, это докер с кроном и nginx :)

откуда там nginx?

откуда там nginx?

А, всё. Восстановил кто кому отвечал

посоны а какой мне индекс прописывать в kibana под fluentd?

fluentd_1 | <source> fluentd_1 | @type forward fluentd_1 | </source> fluentd_1 | <match docker.**> fluentd_1 | @type stdout fluentd_1 | <store> fluentd_1 | @type elasticsearch fluentd_1 | host elasticsearch fluentd_1 | include_tag_key true fluentd_1 | tag_key @log_name fluentd_1 | logstash_format true fluentd_1 | flush_interval 10s fluentd_1 | </store> fluentd_1 | </match> fluentd_1 | </ROOT> fluentd_1 | 2016-09-24 21:50:28 +0000 [warn]: parameter '@type' in <store>

[logstash-]YYYY.MM.DD не устраивает?

у меня с конфигом что-то может

почему он мне варнинги пишет?

эта параша оказывается без elasticsearch плагина

работает о ху и те ль но

в смысле без плагина?

в смысле без плагина?

FROM fluent/fluentd:latest RUN fluent-gem install fluent-plugin-elasticsearch

и чо работает без плагина?

и чо работает без плагина?

с плагином же

а

но без ебли

одна строчка

да у меня настроен уже

да у меня настроен уже

в докере?

эластик с кибаной в докере

Господа, наброшу. Зачем использовать fluentd, если есть православный rsyslog, работающий в разы быстрее, не потребляющий такую туеву хучу ресурсов и присутствующий везде?

Господа, наброшу. Зачем использовать fluentd, если есть православный rsyslog, работающий в разы быстрее, не потребляющий такую туеву хучу ресурсов и присутствующий везде?

С правоверным json?:)

в транспорте (если речь об этом) там могут быть разные вещи и распарсивать сообщение целиком не обязательно. в fluentd - msgpack only, емнип.

плюс в rsyslog реализована liblognorm, которая парсит сообщения на порядок быстрее PCRE

гарантированная доставка есть буферизованная доставка есть парсинг есть отправка в elasticsearch есть отправка в kafka есть зачем вообще нужен fluentd? :)

Мужики, вы реально или это такой толлинг? Логи собирать каким-то говором написанным на руби

Он же сдохнет от маломальски серьезной нагрузки

Мы пришли к том, что разрабы научат слать свои приложения логи напрямую в эластик, самый простой и надежный вариант

Сейчас логи собираются через сислог драйвер докера и шлется на сислог сервер

Пару гигабит держит логов, дойдём до уровня десятки будет видно

ты сейчас про логстеш чтоль?

Про сислог-но

Логштешь дохнет

прям таки дохнет?

у всех не дохнет, а у вас дохнет?)

Какие объём логов?

без понятия, но там хайлоад)

У нас сугубо на сислог сервер в не час пик прет порядка 2 гигабит трафика

знакомый в одном известном проекте для изучения англ работает, они юзают логстеш и все отлично )

Сева?

хз

не суть )

есть фидбек от чуваков, кто на джаве пишет коммерческие проекты и они тоже логстеш юзают

Ну блин значит я не умею готовить

а что именно там падает? память заканчивается?

Ну вот наши ребята думают запилить драйвер которы вообще сам будет в эластик складывать

я сам руби не люблю из-за этого) хотя 80% времени пишу на пхп и такая же боль

Теряли логи

а балансировкой на эластик серверы кто будет заниматься?

Балансировщик

через haproxy?

Не

Фу его

:D

а он то чем не угодил?

Есть gobeetwen он тупо бы трек хапрокси

Хотя хапрокси до сих пор живет

Ну просто фу его

Это личное

Кстати, а чем плохо логи в файлики писать?

Так мы и пишем ща

Кстати, а чем плохо логи в файлики писать?

ротейт главное делать ))

Просто файлики складываются на отдельном сервере

ERROR: S client not available

Так сислог и делает сам

а, через него. ну да

Вообще моешь все в одну дурку, а дальше по тегам раскидываешь по файлам и

А потом этот уже файлик можно залить куда угодно для анализа

Просто такое впечатление, что прямо все такие аналитики и реально что-то потом в этом всём смотрят

?

Не я админ

стопудов!

Я тупо Тейл и понеслась

греп забыл )

А вот прогеры хотят аналитики

Грех сильно медленный

так ты тейл + греп )

А уже быстрее Грепа

Ага

я так срез логов смотрю за последние несколько часов

если требуется

Не ну аналитика нужна

гобитвин умеет хейлс чек?

как хапрокси

потом попробую на него посмотреть еще

интересно стало

Они сами не таящий тыщу и одну проверку тупо нате вам ручку и пилите свою проверку

А вот прогеры хотят аналитики

Да ладно. Там аналитика нужна раз в год на трёх логах. А ресурсов вы на это тратите. Что надо в аналитику - то и загоняйте хоть в постгрес

смотря какая аналитика )

У них есть Симпл проверки и то что ты напишешь а гобитвин дергнет Ее

если прям взрослая, то постгрес не пойдет

У них есть Симпл проверки и то что ты напишешь а гобитвин дергнет Ее

у меня сейчас пхп роуты с дерганием как раз таки) работает гуд, если БД, редис или что-то еще падает. то переключалка срабатывает

Когда контора выходит на айпио и появляются сразу куча требований

а что за контора, если не секрет?

Мы?

ага