Sergei
При диплом приложения X прилетает конфиг, написанный один раз для приложения X, после этого нет нужды постоянно переписывать конфиг.
Sergei
Он не для этого, внезапно. Он для работы с потоками сообщений, а не с файлами :)
Denis
а ну да )
Denis
ну тоесть такой мир в котором приложения сами пишут логи у них не существует )
Denis
наверно в общем случае, таких приложений много.
Sergei
Дисклеймер, откуда наброс. Я в свое время выпилил флюент и логстеш, заменив это на кафку и rsyslog. Поимел небольшой геморрой в том, чтобы понять, как работает rsyslog и как устроен его конфиг. После этого благополучно забыл о тормозах логстеша и флюента и диком количестве ресурсов на логшиппинг.
Denis
поэтому мой тезис про то что rsyslog как general решение для доставки логов не очень
Sergei
Ну пишет приложение лог. В файл. Rsyslog его тейлит. В чем проблема здесь? :) файл здесь или сокет, или syslog-поток не принципиально как бы.
Denis
покажите как вы пересылаете файл
Sergei
Тезис слышу, аргументов кроме "сложно сконфигурить штучный кейс" не слышу.
Denis
причем сетите programm_name
Denis
погодите
Denis
давайте даже без программ нейм)
Magistr
у fluentd внутрях критичные к скорости кишки на сях
Denis
Рсислог из за своей "последовательной" обработки он приводит к проблемо конфигурированя
Denis
*проблемам
Sergei
>у fluentd внутрях критичные к скорости кишки на сях
внезапно, попробуйте записать гзипом файл. Там сингл-тред гзип на все потоки, которые он пишет.
Sergei
на сях у него msgpack фактически только.
🏳️ Phil
погодьте, в 2016 году у нас только сислог, рсислог и странные штуки типа флюент? ээээ... никто на го не написал? казалосьбы
Sergey
вроде логстеш форвадер есть на го
Zon
Sergey
пиши сразу в эластик самим приложением
Sergey
как вариант
🏳️ Phil
Зачем в эластик? Не, я не против. Я к тому, что в принципе диспетчера логов нет получается +- нормального. Хотя бы в файлы. Ну и с возможностью драйверов
🏳️ Phil
Честно говоря, у меня нет пока ни одной задачи, для которых мне надо было бы писать логи не в файлы. Ну разве что панели управления. Но там на годы обычного SQL хватит. Держать пару мощных серверов на явовскую поделку - такого пока нет и не предвидится
🏳️ Phil
И я уверяю - у большинства из вас нет такой задачи. Это просто модно
Sergey
тут я полностью согласен
Sergey
у нас тоже в файлы складывает syslog-ng а дальше уже делай с ними что зочешь
Sergey
хоть в hdfs и запускай мапредьюс задачц
Sergey
хоть в elk
🏳️ Phil
А, ещё же сислог нг есть. А чем он хуже/лучше рсислога?
Tiarv
10 тб почтовых логов в файлах. Ад, но сунуть эту кучу в эластик в голову пока не приходило. Зря, наверное?
Sergey
жокеровского сислог драйвера за глаза, контейнеры апаются с тегом, на который потом натравливается сислог и раскладывает по файлам
Sergey
а вот хз чего syslog-ng, у нас гента везде и типа в свое время syslog-ng сами разрабы рекомендовали
Sergey
я не знать, так сложилось исторически
🏳️ Phil
10 тб почтовых логов в файлах. Ад, но сунуть эту кучу в эластик в голову пока не приходило. Зря, наверное?
тут есть два вопроса:
1. Сколько здесь в чатике гугля, мейла или яндекса? Откуда у людей большие почтовые логи?
2. В принципе, выжимку из них можно и сунуть куда-то. На таких объёмах судя по всему это gmail и там есть чего поанализировать
Sergey
ну мы далеко не гугл, но вот всякие рассылки на лям подписчиков за пару лет дадут немало логов
Sergey
у гугла там давно ужэ пэтабайты)
Sergey
ну вот 10 тер можно в hdfs запихать и уже анализируй)
Lupsik Pupsik
а зачем почтовые логи хранить?
Sergey
в любой момент юристы могу затребовать
Aleksey
10тер в сжатом виде?
Aleksey
Вопрос с намёком, если что.
🏳️ Phil
ну вот 10 тер можно в hdfs запихать и уже анализируй)
зачем так анализировать логи рассылки? не легче просто что-то писать специально для анализа?
Sergey
да вариантов тыща
Sergey
для разберательст в судах
🏳️ Phil
ну ок, хранит-то не большая проблема
Denis
да сложите в hdfs если не знаете какие задачи могут в будущем возникнуть и все.
Sergey
в штатах с судами - это просто норм явление
Sergey
все судятся
🏳️ Phil
А этот самый, как его, journald?
Sergey
я вам отвечру песней
Sergey
https://www.youtube.com/watch?v=iLWzc81F9Zkhttps://www.youtube.com/watch?v=iLWzc81F9Zk
🏳️ Phil
А по делу?
Sergey
так я по делу
Lupsik Pupsik
бля какой охуенный nginx-proxy
Lupsik Pupsik
вот наконец-то можно хуяк хуяк и в продакшен
Sergey
а что Вам раньше мешало?
Sergey
так хуячить на чем угодно омжно
Lupsik Pupsik
щас я тупо контейнеры запускаю и они автоматом проксируются
Sergey
а вы в этом плане
Sergey
ну мы gobeetwen юзаем
Sergey
у него из коробки докер дискавери
Sergey
консул дискавери
Sergey
главное апнуть контейнер с нужным тегом
Lupsik Pupsik
ну я ж для себя
Lupsik Pupsik
и у меня не 50 серверов
Lupsik Pupsik
это сложно короче
Sergey
ничего сложного)
Lupsik Pupsik
ничего сложного)
у меня есть несколько контейнеров с пессенджером, который сервит nodejs/ruby приложения
Tiarv
10тер в сжатом виде?
В сжатом, да. За много лет. От разных почтовых систем, в разных форматах :-)
Lupsik Pupsik
как мне сделать так, чтобы они автоматом проксировались nginx, настраивались certs и всякие htpasswd?
Lupsik Pupsik
(заранее скажу, что через nginx-proxy это решается одной командой)
Aleksey
В сжатом, да. За много лет. От разных почтовых систем, в разных форматах :-)
Купите ленту, и скидывайте туда.
Anonymous
Anonymous
Разраб тут давеча поставил логи дуплицироваться в бд