Всем привет, может кто подскажет, пытаюсь настроить отправку логов докер контейнеров в graylog через filebeat, не особо могу понять как заставить пересылать мета данные в graylog, чтобы получать в fields имена контейнеров, в чатсности так и не разобрался как настраиваются fields

Daniel будет жить. Поприветствуем!

Всем привет, может кто подскажет, пытаюсь настроить отправку логов докер контейнеров в graylog через filebeat, не особо могу понять как заставить пересылать мета данные в graylog, чтобы получать в fields имена контейнеров, в чатсности так и не разобрался как настраиваются fields

А точно нужен файлбит? Может гелф?

Даже стдаут контейнера будет проще отдавать через него

если у тебя грейлог отвалится, то гелф так то залипнет

если ты напрямую из докера шлешь

думаю в кейсе выше проблема не в файлбите

Привет всем, может кто сталкивался, есть кластер еластика, который резолвится на внутриние айпишники машин внутри кластера когда идет дискавери. Есть Кординатор онли нода которая находится за пределами кластера в другой сети, при обращении на внешний ипишник кластера на 9300, получает ответ от кластера ити к такомуто мастеру с внутреним ипи такимто, но так как он в другой сети получает таймаут и на этом все. Может у когото был опыт как правильно это решить? Заранее благодарен

ну там же наверно что то вроде advertised address должно быть? network.publish_host вот это наверно отдавайте внешний адрес который вам нужен)

но я не уверен

Благодарю, попробую 3 версию, либо поставлю кибану

А какой то воркараунд придумали?

если у тебя грейлог отвалится, то гелф так то залипнет

не залипнет, если по udp отправлять

ух, жесть)

решается сменой драйвера лога в docker-compose.

logstash как логи docker events всасывает ?

я проще поступил. лог докера закинул через gelf в logstash-gelf-input, потом на питоне написал клиента для docker events в 30 строк и отправил логи docker events через тот же gelf в logstash.

в итоге в эластике два индекса. docker events и docker logs. всё что надо там есть.

осталось алертинг прикрутить

в input-gelf-plugin есть баг. имейте ввиду https://discuss.elastic.co/t/input-gelf-plugin-wrong-source-host-field/157344

json-file печаль. у меня на проде логов было гектар в минуту.

Вроде собираются добавлять или уже добавили, что докер может одновременно и локально писать и отправлять кудато

в энтерпрайзе ток? оке, мне казалось я видел в логе для коммьюнити эдишион

да, мультилайн боль. Ну тут только structured logging

в смысле пропадает ? а по фильтрам и @timestamp?

откидывайте микросервисные логи в кролика со идентификатором процесса(сессии) потом собирайте.

s/кролика/кафку/

кафка выглядит как более подходящий вариант и где-то это применяется

но жаба, память все дела.

кафка хорошая штука

ты же эластик используешь для логов

ужыс ;)

я жеж написал :) import logging import json import time import pprint from pygelf import GelfTcpHandler, GelfHttpHandler class ContextFilter(logging.Filter): def filter(self, record): record.event = record.args return True client = docker.from_env(version='auto') logger = logging.getLogger(name) logging.basicConfig(level=logging.INFO) logger.addFilter(ContextFilter()) logger.addHandler( GelfTcpHandler(host='logstash-gelf', port=12201, compress=False, include_extra_fields=True, debug=False)) sincetime = int(time.time()) - 300 part = '' try: count = 0 for event in client.events(since=sincetime, decode=True): # pprint.pprint(event) try: ret = logger.info(u'dockerevent', event) except Exception as ex: print "Logger Exception occured [%s]" % ex except KeyboardInterrupt: print "Keyboard CTRL+C pressed" except Exception as ex: print "Exception occured [%s]" % ex # pass

и никакой магии. запихиваешь это в python:alpine контейнер с мапом сокета докера или просто поднимаешь на хосте.

Новый день, голосовалка - старая: https://usher2.club/premiaruneta2018/

Привет! Есть кто hekad использует для записи в ES?

дЕбил не может влить старый лог через heka-inject в уже существующий индекс. Может он чего-то не так делает?

Может кто-нибудь подсказать по drone.io, я сделал yaml файл, drone собирает контейнер, в зависимости от события в git. Не совсем понятно как этот готовый image перекинуть к себе на сервак и запустить на основе него новый контейнер

можно пушнуть в какой нибудь репозиторий образ

а потом забрать себе

или скачать артифакт, экспортировав образ при сборке 🙂

но тогда у вас drone взлетит

можно пушнуть в какой нибудь репозиторий образ

понял, значит самый простой способ это через registry, спасибо!

@s5g_a3r будет жить. Поприветствуем!

Ребят слушайте ктото пользуется Bamboo для сборки контейнеров ? Там есть какойто адекватный способ тегировать контейнеры несколькоими тегами ну и latest таг хотелось бы добавлять

нужен совет от ELK админов - есть плейнтекст логи, содержащие русскоязычные поля и местами китайский традиционный, что почитать в документации, чтобы сделать их читабельными в elastic

собираю filebeat, передаю в logstash

@Holoview https://www.elastic.co/guide/en/logstash/current/plugins-codecs-plain.html

Ребят слушайте ктото пользуется Bamboo для сборки контейнеров ? Там есть какойто адекватный способ тегировать контейнеры несколькоими тегами ну и latest таг хотелось бы добавлять

а это относится к bamboo? 🙂@mysabien

а это относится к bamboo? 🙂@mysabien

а чего нет, конечно там есть модуль сборки и push докеров. и какой-то он ограниченный что-ли

bamboo/drone - видимо никто сильно не отличается гибкостью, все дубовые 😄

bamboo/drone - видимо никто сильно не отличается гибкостью, все дубовые 😄

ну как сказать, сделать то можно но выглядит это как-то избыточно. нужно создать отдельную таску на просто команду docker tag, и docker push столько раз сколькл у тебя tags. а ты что используешь

нужен совет от ELK админов - есть плейнтекст логи, содержащие русскоязычные поля и местами китайский традиционный, что почитать в документации, чтобы сделать их читабельными в elastic

Я б автора полей на русском и китайском нашел и посмотрел бы очень проникновенно ему(им) в глаза и спросил нафига

Я б автора полей на русском и китайском нашел и посмотрел бы очень проникновенно ему(им) в глаза и спросил нафига

файл-клоуд, названия папок, всех комерсов не осилить =)

файл-клоуд, названия папок, всех комерсов не осилить =)

Ну ок) а то я себе представил уже приложение которое периодически в логи ругается на русском и китайском)

Продукция xiaomi? Правда, это консумерское

вот приложение и ругается в логи папками и файлами на русском и китайском, хоть плачь, хоть матом... курю доки по grok, если с ним не получится, то хоть свой плагин не говнокодь

нужен совет от ELK админов - есть плейнтекст логи, содержащие русскоязычные поля и местами китайский традиционный, что почитать в документации, чтобы сделать их читабельными в elastic

решено: filebeat.inputs: - type: log paths: - /mnt/data/files/auth.log encoding: "utf-8" добавил encoding

Хм ... а кто-то в treafik использовал multiple frontends для consul catalog? У вас есть рабочий пример?)

Влад будет жить. Поприветствуем!

Den будет жить. Поприветствуем!

Доброе утро. Ребят кто как нагоняет трафа чтобы проверить эластик под нагрузкой? интересует тула которая может организовать хотя бы 50-60mb/s, смотрел Rally но он гуманно трудится только на локально рядом с эластиком

Доброе утро. Ребят кто как нагоняет трафа чтобы проверить эластик под нагрузкой? интересует тула которая может организовать хотя бы 50-60mb/s, смотрел Rally но он гуманно трудится только на локально рядом с эластиком

Postman?

Python скрипт, который генерит запросы в много потоков?

Смотря, что ты хочешь тестить, опять же, заполнение или поиск. И мерить, по мне стоит не в объеме, а в количестве вставок, запросов в секунду, и время их обработки

Слушаю лекцию по nginx. Доставила фраза Сысоева: - Никогда не используйте IF. Потому что как работает эта конструкция, знает может человек десять на планете и вы вряд ли входите в их число

даже статья есть на эту тему https://www.nginx.com/resources/wiki/start/topics/depth/ifisevil/

Слушаю лекцию по nginx. Доставила фраза Сысоева: - Никогда не используйте IF. Потому что как работает эта конструкция, знает может человек десять на планете и вы вряд ли входите в их число

а что взамен использовать, map?

а есть минимальные ответы почему? например про regular expression, И glob в server_name к этому относится?

Слушаю лекцию по nginx. Доставила фраза Сысоева: - Никогда не используйте IF. Потому что как работает эта конструкция, знает может человек десять на планете и вы вряд ли входите в их число

Меня дико это бесит

Почему не сделать уже иф нормальным там? Или убрать тогда нахер

Вот вам удобный инструмент но пользоваться им нельзя

вот вам удобный инструмент, пользоваться им можно if вы знаете как он работает :)

Вот вам удобный инструмент но пользоваться им нельзя

Еще реврайтами пользоваться нельзя) - Если вы не можете жить без реврайтов, пилите их на бэке с помощью любимого ЯП)

Еще реврайтами пользоваться нельзя) - Если вы не можете жить без реврайтов, пилите их на бэке с помощью любимого ЯП)

Дада

Что в целом довольно логично, но ладно)

Вопрос из зала: - Игорь, вот раньше, в апачах, был htaccess, отдавали его прогерам - и жизнь была малиной. А теперь либо они лезут своими гадкими рученками в конфиги, либо админа дрочить по каждому чиху. КАК ЖЫТЬ??! - Ну, пока так. Видите ли, nginx разрабатывался под серьезные нагрузки, уровня Рамблера, что подразумевало наличие соответствующих людей... А потом его(nginx) начали использовать вообще к месту и не к месту. Так что..

Почему тогда fb и прочие используют/разработали haproxy?)

L4 балансить научился nginx? Steaky sessions/GSLB без nginx plus?