Ну пишет приложение лог. В файл. Rsyslog его тейлит. В чем проблема здесь? :) файл здесь или сокет, или syslog-поток не принципиально как бы.

покажите как вы пересылаете файл

Тезис слышу, аргументов кроме "сложно сконфигурить штучный кейс" не слышу.

причем сетите programm_name

погодите

давайте даже без программ нейм)

у fluentd внутрях критичные к скорости кишки на сях

Рсислог из за своей "последовательной" обработки он приводит к проблемо конфигурированя

*проблемам

>у fluentd внутрях критичные к скорости кишки на сях внезапно, попробуйте записать гзипом файл. Там сингл-тред гзип на все потоки, которые он пишет.

на сях у него msgpack фактически только.

погодьте, в 2016 году у нас только сислог, рсислог и странные штуки типа флюент? ээээ... никто на го не написал? казалосьбы

вроде логстеш форвадер есть на го

погодьте, в 2016 году у нас только сислог, рсислог и странные штуки типа флюент? ээээ... никто на го не написал? казалосьбы

Heka?

Heka?

ее задеприкейтили

вроде логстеш форвадер есть на го

А без логстеша?

пиши сразу в эластик самим приложением

как вариант

Зачем в эластик? Не, я не против. Я к тому, что в принципе диспетчера логов нет получается +- нормального. Хотя бы в файлы. Ну и с возможностью драйверов

Честно говоря, у меня нет пока ни одной задачи, для которых мне надо было бы писать логи не в файлы. Ну разве что панели управления. Но там на годы обычного SQL хватит. Держать пару мощных серверов на явовскую поделку - такого пока нет и не предвидится

И я уверяю - у большинства из вас нет такой задачи. Это просто модно

тут я полностью согласен

у нас тоже в файлы складывает syslog-ng а дальше уже делай с ними что зочешь

хоть в hdfs и запускай мапредьюс задачц

хоть в elk

А, ещё же сислог нг есть. А чем он хуже/лучше рсислога?

10 тб почтовых логов в файлах. Ад, но сунуть эту кучу в эластик в голову пока не приходило. Зря, наверное?

жокеровского сислог драйвера за глаза, контейнеры апаются с тегом, на который потом натравливается сислог и раскладывает по файлам

а вот хз чего syslog-ng, у нас гента везде и типа в свое время syslog-ng сами разрабы рекомендовали

я не знать, так сложилось исторически

10 тб почтовых логов в файлах. Ад, но сунуть эту кучу в эластик в голову пока не приходило. Зря, наверное?

тут есть два вопроса: 1. Сколько здесь в чатике гугля, мейла или яндекса? Откуда у людей большие почтовые логи? 2. В принципе, выжимку из них можно и сунуть куда-то. На таких объёмах судя по всему это gmail и там есть чего поанализировать

ну мы далеко не гугл, но вот всякие рассылки на лям подписчиков за пару лет дадут немало логов

у гугла там давно ужэ пэтабайты)

ну вот 10 тер можно в hdfs запихать и уже анализируй)

а зачем почтовые логи хранить?

в любой момент юристы могу затребовать

10тер в сжатом виде?

Вопрос с намёком, если что.

ну вот 10 тер можно в hdfs запихать и уже анализируй)

зачем так анализировать логи рассылки? не легче просто что-то писать специально для анализа?

в любой момент юристы могу затребовать

а им-то они зачем?

да вариантов тыща

для разберательст в судах

ну ок, хранит-то не большая проблема

да сложите в hdfs если не знаете какие задачи могут в будущем возникнуть и все.

в штатах с судами - это просто норм явление

все судятся

А этот самый, как его, journald?

я вам отвечру песней

https://www.youtube.com/watch?v=iLWzc81F9Zkhttps://www.youtube.com/watch?v=iLWzc81F9Zk

А по делу?

так я по делу

бля какой охуенный nginx-proxy

вот наконец-то можно хуяк хуяк и в продакшен

а что Вам раньше мешало?

а что Вам раньше мешало?

chef, настройка конфигов разных

так хуячить на чем угодно омжно

щас я тупо контейнеры запускаю и они автоматом проксируются

а вы в этом плане

ну мы gobeetwen юзаем

у него из коробки докер дискавери

консул дискавери

главное апнуть контейнер с нужным тегом

ну я ж для себя

и у меня не 50 серверов

это сложно короче

ничего сложного)

ничего сложного)

у меня есть несколько контейнеров с пессенджером, который сервит nodejs/ruby приложения

ERROR: S client not available

10тер в сжатом виде?

В сжатом, да. За много лет. От разных почтовых систем, в разных форматах :-)

как мне сделать так, чтобы они автоматом проксировались nginx, настраивались certs и всякие htpasswd?

(заранее скажу, что через nginx-proxy это решается одной командой)

В сжатом, да. За много лет. От разных почтовых систем, в разных форматах :-)

Купите ленту, и скидывайте туда.

тут есть два вопроса: 1. Сколько здесь в чатике гугля, мейла или яндекса? Откуда у людей большие почтовые логи? 2. В принципе, выжимку из них можно и сунуть куда-то. На таких объёмах судя по всему это gmail и там есть чего поанализировать

У нас рассылки по 500к. Бывает налогивается норм

Разраб тут давеча поставил логи дуплицироваться в бд

Разорвал базу

Сломал реплики

Не надо просто всё туда лить

Ну у нас аналитику хотят всю по рассылкам

Как можно подробнее

И правильно хотят

Более того, то что есть щас - это просто крохи по сравнению с тем какие инструменты понадобятся лет через 5. Когда будет внедряться интернет вещей, и нужно будет анализировать на порядки большие массивы данных от всяких сенсоров.

два чаю этому адеквату

меня пугает не столько сам анализ всего и вся, а те объемы

Так наоборот, весело

ага совсем

хранить сырые данные, которые будут анализировать

хранить результаты анализа

если нужна потоковый анализ - то какие вычислительные мощности нужны

скоро инфраструктура для анализа и хранения результатов анализа, будут в раза 3 больше непосредственно прод окружения)

Ну так разработка и внедрение вот этого всего и интересна

Оттуда и веселье

ага, превые эмоции проходят после того, как ты кончил

а потмо и баба страшная

и жить с этим как-то надо дальше

а потом вообще протрезвел

?

ага, превые эмоции проходят после того, как ты кончил

Да в этой области еще работать и работать над этим :)

и жить с этим как-то надо дальше

Все просто, бросил, пошел к следующей

а потом кому-то с этим жить

потом все мужики козлы, а бабы суки)