пффф

а зачем тебе файлбит на каждой ноде)

Да и с помощью filebeat можно выгружать логи периодически

смысл в этом какой?)

смысл в этом какой?)

Меньший оверхед?

O_o

на что?

вообще задачи нужно решать по мере появления проблем

возьми для начала gelf через udp

Щас бы логи по tcp пушить, да

И метрики заодно

Щас бы логи по tcp пушить, да

не поверишь, но таких вот умников много)

на что?

Собрать все логи, а потом разом запушить?

не поверишь, но таких вот умников много)

Я не собираюсь реализовывать первую попавшуюся идею Я обдумываю все варианты и выслушиваю все мнения, прежде чем начать что-то делать И я вижу, что, возможно, за вашими утверждениями в пользу udp и меньших запарок, должен стоять довод Но пока что я не вижу, в чем преимущество слать напрямую логи по udp перед их предварительным сбором и отправкой раз в период

Возможно, второй вариант и не поддерживается нигде, я раньше не работал с подобными вопросами Но тем не менее.

Только только настроил на тестовом стенде отправку логов через гелф в елк-стек (через логстеш естественно)

Старался по минимуму всё трогать К логстешу прикрутил плагин на гелф-инпут через новый имадж В докерфайле FROM docker.elastic.co/logstash/logstash:5.5.2 RUN logstash-plugin install logstash-input-gelf и всё

конфиг логстеша кидал чутка выше input { tcp { port => 5000 } gelf { port => 12201 } } output { stdout {} elasticsearch { hosts => "elasticsearch:9200" } } причём он сейчас избыточен (stdout на выходе для теста, можно вырубать; tcp на входе тоже не нужен)

ну и туче микросервисов в сворме добавил в описание logging: driver: gelf options: gelf-address: udp://192.168.8.104:12201

всё

ну ессно не забыть порт прокинуть

Из плюсов - почти всё коробочное, включая тот де лог-драйвер, гелф-инпут-плагин Бежать по 40 контейнерам и каждому лог настраивать - ИМХО такое себе

Собрать все логи, а потом разом запушить?

Удачи тебе в этом году

А тебе в прошлом

Не ругайтеся Скоро tcp добавят в gelf драйвер судя по всему

Не ругайтеся Скоро tcp добавят в gelf драйвер судя по всему

Да кто ж ругается) Меня просто удивляет, что кто-то не думает, что есть задача стопроцентно доставить логи

А ты не думал что у тебя задача не провально поставлена?

Кстати гелф вообще аки не поддерживает. Гарантии на уровне тисипи тебе по факту мало чего дадут

Можешь в кафку логи пулять

в можнодб

Кстати гелф вообще аки не поддерживает. Гарантии на уровне тисипи тебе по факту мало чего дадут

Что в задаче неправильно поставлено? Что такое аки? Ты меня конечно извини, но если ты в чем-то разбираешься- объясни досконально. Я надеюсь, что не похож на конченого дебила. Ну а если ты не разбираешься или считаешь, что я похож- зачем тратишь свое время?

флаг ACK (Acknowledgement) подтверждение

флаг ACK (Acknowledgement) подтверждение

Спасибо

Кто-то использовал zfs или btrfs как storage driver? Как оно там?

Завтра буду тестить на рабочем месте, но мб кто из местных шаманов уже работал с тем же docker swarm и может подсказать что конкретнее

Как аналог fluentd драйвер может писать сразу в эластик с тем же успехом

Как аналог fluentd драйвер может писать сразу в эластик с тем же успехом

Спасибо, буду чекать)

Но ему тоже вместо логстеша нужен контейнер fluentd, но со сворма у меня норм там все собиралось

Будет стак efk

я бы всё-равно рекомендовал elk

Так fluent производительные раза в полтора судя по тестам

И жрет меньше ресурсов

ты флюента в каждый контейнер подсовывал?

Вопрос- если я выдаю json строку, распарсят ли ее драйвера логирования?

ты флюента в каждый контейнер подсовывал?

Докер лог драйвер fluentd, и сам докер демон все в fluentd шлет

Вопрос- если я выдаю json строку, распарсят ли ее драйвера логирования?

В fluentd можно не только распарить, но и подредактировать

На данный момент я хочу обойтись без logstash/fluentd и натравить драйвер напрямую на es

Даже если и можно так, то сам еластик не будет следить за консистентностью и очередностью запросов

Драйвера тоже за этим не следят?

Драйвера только формат в основном меняют

А в случае дефолта, то там системд следит

Вот теперь я понял, почему лучше использовать полноценный elk/efk stack) Thanks!

Или efk)

Блин, опередил

а ещё оказ-ца можно в логстеш плагин флюента поставить)

Ребята

Кто-то использовал node js i kubernates ?

Использует)

А что там не так?

Два вопроса по стеку 1 - в логстеш можно докинуть плагинов на gelf и fluentd. Где-то можно посмотреть, что чем лучше/хуже? (для себя я пока увидел одно преимущество, что fluentd умеет в tcp)

Производительность?

2 - в логстеш с тучи сервисов будут прилетать логи, будут лететь в едином формате (везде один и тот же драйвер будет) среди логов будет и nginx, и java, и mongo и sql и php и ещё возможно много чего. Каким образом это лучше всего фильтровать?

У флюента парсер по мне более гибче можно настроить

Производительность?

Да хоть производительность, хоть общее сравнение

Я сейчас говорю про тот же логстеш, только либо с input-plugin-gelf либо с input-plugin-fluent

Так инпутами и разделять

на разные порты кидать?

Ну да

можно же по полю имени контейнера, к примеру или ещё как

То что gelf одно, то что fluent другое, с http, третий

Ну ты же хочешь разные драйвера в один логстеша писать

И вот по разным инпутами разные парсинги можно сделать

Чтоб в итоге все писал в один elastic в json формате

не не я хочу выбрать либо флюент либо гелф

Т.к. например логи nginx будут отличаться от логов nodejs

Ну можно и с одним драйвером разные инпутами делать вроде как

По портам разделяя

все сервисы в докерах всем будет одинаковая настройка, либо лог-драйвер гелф либо флюент по факту полетит всё в один и тот же логстеш с соответствующим плагином

порты не вижу смысла разные прокидывать, если можно всем кидать в один и тот же далее фильтровать по container_name:tk-dev_nginx к примеру в секции фильтров

я новичок полный в elk, если что-то не правильно думаю - поправьте плз

По ходу всё правильно думаю