мне не сложно сделать структурированные логи, например )

а ты не пробовал каждую точку писать в лог? :)

чтобы приложение свои метрики экспортировало в удобоном для скармливания в прометей (например) виде

чтобы оно их в конце концов сразу писало в указанный коллектор

мне не сложно сделать структурированные логи, например )

так это понятно, но зачем писать на сях сложные метрики вместо того, чтобы просто стримить данные в анализатор? если поток их не такой большой

Хорошо было в IRC, там приватные чаты есть, если хочется пооффтопить. А в Телеграме их еще не изобрели :(

так это понятно, но зачем писать на сях сложные метрики вместо того, чтобы просто стримить данные в анализатор? если поток их не такой большой

потому что сложность стриминга точек и стриминга логов одинаковая

поэтому если мне нужны точки - почему бы сразу не производить точки?

даже больше - потому что логи в json'е это удобно даже для человека

потому что избавит условного админа от написания grep | awk | awk | awk | grep

даже больше - потому что логи в json'е это удобно даже для человека

пиши в ямле, чо ты

даже больше - потому что логи в json'е это удобно даже для человека

нет, на самом деле, нет.

я слышал очень удобный для парсинга формат

заодно и человеку понятно

нет, на самом деле, нет.

на самом деле да, потому что структурированный формат проще анализировать

и проще делать в него запросы на нужную информацию

потому что сложность стриминга точек и стриминга логов одинаковая

не понимаю, смотри, у тебя есть поток событий от вебсервера - запросы на урлы. Тебе надо по ним считать, скажем, среднее количество запросов за последнюю неделю, сгруппированное по GeoIP. Траффик - 50-100 посетителей в секунду, средненький. Ты же не будешь писать плагин для сервера на сях, чтобы это считать, ведь правда?

даже больше - потому что логи в json'е это удобно даже для человека

когда пять полей и они именованные - удобно. когда строчка - 5 кб - нет

программисты на go заразили devops'ов бггг

и вообще потому что по хорошему все логи должны в итоге быть доступны в твоей централизованной системе

нет, на самом деле, нет.

+

которой, сюрприз, json тоже удобнее

не понимаю, смотри, у тебя есть поток событий от вебсервера - запросы на урлы. Тебе надо по ним считать, скажем, среднее количество запросов за последнюю неделю, сгруппированное по GeoIP. Траффик - 50-100 посетителей в секунду, средненький. Ты же не будешь писать плагин для сервера на сях, чтобы это считать, ведь правда?

это вообще не твоя задача и не задача приложения

сиди пиши, считай скидки по товару

не понимаю, смотри, у тебя есть поток событий от вебсервера - запросы на урлы. Тебе надо по ним считать, скажем, среднее количество запросов за последнюю неделю, сгруппированное по GeoIP. Траффик - 50-100 посетителей в секунду, средненький. Ты же не будешь писать плагин для сервера на сях, чтобы это считать, ведь правда?

для таких вещей я даже возьму просто готовый плагин )

не поверишь )

для таких вещей я даже возьму просто готовый плагин )

я простой пример привел, но есть и более сложные, для которых нет готового плагина

и есть кастомная бизнес-логика расчета статистики

когда пять полей и они именованные - удобно. когда строчка - 5 кб - нет

тебе не нужно читать все 5кб строчки

тебе нужны для каждой задачи строго определенные наборы полей и аналитика по ним

тебе не нужно читать все 5кб строчки

если логи схематизированные - то jq намного удобнее, чем awk | sed | huemoe

если логи схематизированные - то jq намного удобнее, чем awk | sed | huemoe

я про то же

да, на сях оно будет быстрее, но в абсолютном большинстве проектов со средней нагрузкой эта вся скорость не нужна

но тогда это уже не человекочитаемый лог

не надо преждевременной оптимизацией заниматься

потому что можно с тем же успехом писать бинарный лог и использовать спецтулзу

which huemoe

но тогда это уже не человекочитаемый лог

для любителей почитать логи глазами можно оставить человекочитаемый лог

which huemoe

bash: huemoe: command not found

на диске или там в stdout

для любителей почитать логи глазами можно оставить человекочитаемый лог

или графану-кибану с графиками сразу, чо уж там

еще раз, анализ логов и приложение - это две разные задачи

которые уже решены

или графану-кибану с графиками сразу, чо уж там

о чем и речь, а ей лучше скармливать также структурированные логи

несколько раз в несколько поколений

еще раз, анализ логов и приложение - это две разные задачи

кэп?

о чем и речь, а ей лучше скармливать также структурированные логи

согласен, я с этим не спорю

Николай опять выходишь на связь, libpcap в go?

bash: huemoe: command not found

Придется ждять теперь, пока кто-нибудь на Gо правильное huemoe напишет... Печалька

забаньте уже этого наркомана

согласен, я с этим не спорю

а кажется споришь, по крайней мере ты десяток сообщений назад предлагал взять логстэш и им парсить логи

хотя их можно было бы изначально сделать нужными

или даже посчитать нужную точку внутри приложения

а кажется споришь, по крайней мере ты десяток сообщений назад предлагал взять логстэш и им парсить логи

если нагрузка позволяет и у меня нет сишника в команде - разумеется

Владимир не усердствуйте, Николай вас забанит

если нагрузка позволяет и у меня нет сишника в команде - разумеется

уже очень много готовых модулей под тот же nginx :)

какой сишник нужен чтобы vts-module вкомилить?

уже очень много готовых модулей под тот же nginx :)

и они покрывают 100% бизнес-кейсов? серьезно?

и они покрывают 100% бизнес-кейсов? серьезно?

описанный тобой - покрывают

коллеги, завязывайте, а?

какой сишник нужен чтобы vts-module вкомилить?

Один сишник, там жи си, обязательно нужен сишник

нет же у этой беседы ни смысла, ни цели

описанный тобой - покрывают

ну, я могу еще придумать те, которые не покрывает

цель есть, заработать на Николае 4$

и в любом бизнесе они будут, я почти уверен

своя статистика так или иначе понадобится

и что тогда, нанимать сишника на полную ставку на поддержку плагина к вебсерверу в стартап-магазин по продаже мармеладок?

своя статистика так или иначе понадобится

давай если продолжать обсуждение, то сведем его к решению реальных задач

а не "а я тут придумаю какую-то хреноту"

а кажется споришь, по крайней мере ты десяток сообщений назад предлагал взять логстэш и им парсить логи

да, часто забывают что логстеш это скорее костыль для логов которые ты не можешь сам менять как нужно

да, часто забывают что логстеш это скорее костыль для логов которые ты не можешь сам менять как нужно

Л Е Г А С И Е Г А С И

и что тогда, нанимать сишника на полную ставку на поддержку плагина к вебсерверу в стартап-магазин по продаже мармеладок?

или взять своих же пхп программистов и заставить их писать нормальные метрики )

на уровне бэкэнда

или взять своих же пхп программистов и заставить их писать нормальные метрики )

вооот

Л Е Г А С И Е Г А С И

nginx не легаси и там нет произвольного формата логов увы

nginx не легаси и там нет произвольного формата логов увы

придумать другое легаси?

я к этому и веду

nginx не легаси и там нет произвольного формата логов увы

как нет

да, часто забывают что логстеш это скорее костыль для логов которые ты не можешь сам менять как нужно

и используют его в том числе в моменты когда на формат повлиять можно, например в nginx можно писать логи в json :)

но почему-то все берут logstash

но почему-то все берут logstash

потому что его взять проще, чем раскуривать nginx :)

ну так, чисто например

и для MVP этого вполне достаточно

потому что его взять проще, чем раскуривать nginx :)

хм.

Нужно пользоваться менеджером пакетов, пусть даже и убогим. Не повторяйте моих ошибок

Николай, вы щас серьезно или уже чисто из спортивного интереса позицию отстаиваете?

вместо того чтобы понять как нджинксом написать нормальный лог вы возьмете логстеш?

потому что его взять проще, чем раскуривать nginx :)

чем зайти по первой ссылке "nginx access log json" и скопирвать логформат?

и используют его в том числе в моменты когда на формат повлиять можно, например в nginx можно писать логи в json :)

из коробки?

ты это правда серьезно сейчас написал?

Николай, вы щас серьезно или уже чисто из спортивного интереса позицию отстаиваете?

серьезно. Я продолжаю утверждать, что в большинстве средних онлайн-бизнесов, где нет высокой нагрузки, никто и в помине не будет писать на сях плагины к вебсерверу

из коробки?

логформат можно переопределить, в том числе в json

из коробки?

да

из коробки?

в последних версиях там даже есть специальные костылики чтобы он кавычки эскейпил для json'а сам

раньше не было

да

хм, ок, я заблуждался. раньше с этим было сложно

чем зайти по первой ссылке "nginx access log json" и скопирвать логформат?

а сразу в прометей можно? чтобы два раза не вставать

а сразу в прометей можно? чтобы два раза не вставать

я уверен что под nginx давно есть модули экспортирующие нужную статистику

А Go-то тут при чем??? В привате что ли нельзя поговорить?

Все привет А кто-нибудь пользуется easyjson? Можете подсказать: https://github.com/mailru/easyjson/issues/141