у вас эта информация на блюдечке внутри приложения, но нет, бл*, мы будем отправлять пакеты в ядро, потом вытаскивать их из ядра, переводя девайс в промиск, потом читать, потом считать

ты там укурился штоле?

а как вы догадались? производили впечатлени довольно недалеко человека

да у вас тут рассадник!

у нас, кллега. у нас тут рассадник.

у вас эта информация на блюдечке внутри приложения, но нет, бл*, мы будем отправлять пакеты в ядро, потом вытаскивать их из ядра, переводя девайс в промиск, потом читать, потом считать

так сначала было непонятно, вообще весь трафик хочет мониторить или только свой

гланды через жопу можно конечно удалять. и это не смертельно.

если весь - тогда libpcap

и для этого, повторюсь, promisc не нужен, wireshark не в promisc моде работает

переобувочка detected

а если свой - тогда просто в приложении плюсовать и все, да

оно не смертельно, оно идиотично.

почему? если есть задача обрабатывать весь трафик программно? для этого есть ядерный механизм netfilter-queue (NFQUEUE) он дает оверхед порядка 10-30% процентов, это штатный механизм для ситуации когда нужно обработать пакет в user-space

переобувочка detected

скорей, неадекватность bebebe detected

А еще есть куча приложений по анализу траффика. Нафига все в одном месте-то собирать?

А еще есть куча приложений по анализу траффика. Нафига все в одном месте-то собирать?

тут простой кейс довольно все-таки, как оказалось

а если свой - тогда просто в приложении плюсовать и все, да

так задача же была http-трафик хоста считать?

так задача же была http-трафик хоста считать?

так вот я тоже так сначала подумал

а оказалось - только свой

приложения конкретного

Наверняка, мониторинг траффика - это не осноновная задача приложения Сергея. Проще и правильней будет использовать то, что для таких задач и предназначено.

почему? если есть задача обрабатывать весь трафик программно? для этого есть ядерный механизм netfilter-queue (NFQUEUE) он дает оверхед порядка 10-30% процентов, это штатный механизм для ситуации когда нужно обработать пакет в user-space

NFQUEUE как минимум _копирует_ данные из кернелспейс в юзерспейс. это не бесплатно.

бггггг Николай наконец то начинает одуплять реальность происходящего

бггггг Николай наконец то начинает одуплять реальность происходящего

извини, но ты местный дурачок, да? прошу прощения, сразу не признал

тогда не буду всерьез воспринимать, спасибо

но, вообще-то, парвильно делать так: http.Serve принимает первым параметром net.Listener net.Listener - это интерфейс, с методом Accept Accept возвращает net.Conn, который тоже интерфейс, с методами Read и Write соответственно, можете нат tcp.Listener сделать свою обертку, которая по Accept будет возвращать еще одну обертку, которая будет считать байты

А еще есть куча приложений по анализу траффика. Нафига все в одном месте-то собирать?

"давайте перемешаем все наши структурированные данные из приложения, а потом героически распарсим".

гланды через жопу можно конечно удалять. и это не смертельно.

ну программный DPI как работать будет? как можно сделать TPROXY-endpoint? куча вариантов когда нужно брать пакет в user-space

бггггг Николай наконец то начинает одуплять реальность происходящего

Когда ж тебя, наконец, кто-нибудь забанит?

но, вообще-то, парвильно делать так: http.Serve принимает первым параметром net.Listener net.Listener - это интерфейс, с методом Accept Accept возвращает net.Conn, который тоже интерфейс, с методами Read и Write соответственно, можете нат tcp.Listener сделать свою обертку, которая по Accept будет возвращать еще одну обертку, которая будет считать байты

Наконец-то развернутый ответ, спасибо

но, вообще-то, парвильно делать так: http.Serve принимает первым параметром net.Listener net.Listener - это интерфейс, с методом Accept Accept возвращает net.Conn, который тоже интерфейс, с методами Read и Write соответственно, можете нат tcp.Listener сделать свою обертку, которая по Accept будет возвращать еще одну обертку, которая будет считать байты

++

ну программный DPI как работать будет? как можно сделать TPROXY-endpoint? куча вариантов когда нужно брать пакет в user-space

есть задачи когда нужно - и программный DPI как раз такая задача. есть задачи когда не нужно - и подсчет "сколько байт мое приложение отдало в мир" - такая задача.

по ссылке выше была простая мидлваря, которая считает байты, в твоем случае можно что-то похожее сделать

NFQUEUE как минимум _копирует_ данные из кернелспейс в юзерспейс. это не бесплатно.

так кто утверждает обратное? там фиксированная плата за удобство. чтобы не писать модуль ядра а писать приложения, в том числе на го или любом другом языке

есть задачи когда нужно - и программный DPI как раз такая задача. есть задачи когда не нужно - и подсчет "сколько байт мое приложение отдало в мир" - такая задача.

мое да, но вроде как рубилово началось из-за подсчета всего трафика хоста, и на Колюню прыгнули за libpcap, для такой задачи решение избыточное если не нужен сам пакет, а если нужен то нормальное вполне

В общем, начали с подсчета траффика на порту 80, и дошли до чего-то хорошего, но другого. Топикстартер феерически вопрос спросил изначально :)

мое да, но вроде как рубилово началось из-за подсчета всего трафика хоста, и на Колюню прыгнули за libpcap, для такой задачи решение избыточное если не нужен сам пакет, а если нужен то нормальное вполне

ну это как парсить логи на лету и суммировать значение поля отдельным приложением вместо патча к вебсерверу

можно. и будет работать. но криво.

ну это как парсить логи на лету и суммировать значение поля отдельным приложением вместо патча к вебсерверу

эээ?

то, что ты написал - это то, как НАДО делать

ну это как парсить логи на лету и суммировать значение поля отдельным приложением вместо патча к вебсерверу

конкрентно в данной задаче после упрощающих уточнений автора это не нужно да, но говнили это решение в целом

то, что ты написал - это то, как НАДО делать

лол.

лол.

что лол? мониторинг логов не имеет отношения к вебсерверу

не надо смешивать логику

что лол? мониторинг логов не имеет отношения к вебсерверу

а при чем тут мониторинг логов?

"давайте перемешаем все наши структурированные данные из приложения, а потом героически распарсим".

Так так и принято делать

а при чем тут мониторинг логов?

ты выше предложил патчем к вебсерверу считать что-то по его логам

сорри, но это наркомания

ты выше предложил патчем к вебсерверу считать что-то по его логам

просто для вас вебсервер это что-то "внешнее и незыблемое", а для других людей - такое же приложение как и все остальное.

меж тем http.ListenAndServe() это вебсервер.

просто для вас вебсервер это что-то "внешнее и незыблемое", а для других людей - такое же приложение как и все остальное.

нет, для меня вебсервер - это приложение, которое сервит веб. Для анализа логов я возьму анализатор логов

а задача не анализировать лог.

считать сумму колонки в логе - это такой же анализ, как любой другой

и он не имеет отношения к функционалу вебсервера

задача не анализировать лог.

задача - показывать чиселку и складывать ее в прометеус.

эта чиселка занимает в памяти приложения один мьютекс и int64

задача - показывать чиселку и складывать ее в прометеус.

ну вы о разном спорите, причем противоречия в ваших утверждениях нет)

ну и вот, работает у нас nginx. Мы берем его лог, суммируем и пишем в прометей, все верно. Сам nginx мы при этом никак не трогаем.

ну и вот, работает у нас nginx. Мы берем его лог, суммируем и пишем в прометей, все верно. Сам nginx мы при этом никак не трогаем.

вы - да.

вы - да.

рынок - да

рынок - да

боюсь, у нас с вами различные представления о рынке.

или ты будешь патч в nginx пилить для этого?

сорри, но это треш

"код нджинкса вечен и стабилен"

"патчат ядро только мудаки"

ну и вот, работает у нас nginx. Мы берем его лог, суммируем и пишем в прометей, все верно. Сам nginx мы при этом никак не трогаем.

потому что вы не умеете писать к нему расширения, считали бы на лету было бы на порядки быстрее

потому что вы не умеете писать к нему расширения, считали бы на лету было бы на порядки быстрее

++

или ты будешь патч в nginx пилить для этого?

расширение, у nginx половина функционала на них

потому что вы не умеете писать к нему расширения, считали бы на лету было бы на порядки быстрее

умеем, но расширение, скажем, на Lua, не станет компонентом кода вебсервера

это просто сторонний код, который решает какую-то задачу

он не имеет никакого отношения к логике вебсервера в принципе

умеем, но расширение, скажем, на Lua, не станет компонентом кода вебсервера

на сях, модуль для nginx на сях, у него куча этих модулей, делайте свой просто

хм, все кроме парсинга HTTP в нджинксе не имеет отношения к вебсерверу

:)

по такой логике

на сях, модуль для nginx на сях, у него куча этих модулей, делайте свой просто

но так же ни один наркоман делать не будет, чтобы циферки суммировать

он не имеет никакого отношения к логике вебсервера в принципе

https://www.nginx.com/resources/wiki/modules/

берем ELK - и вся статистика у нас на ладони

или берем прометей и пишем в него сабмиттер - то же самое

ох епт, розовые пони

причем тут вебсервер вообще?

но так же ни один наркоман делать не будет, чтобы циферки суммировать

будет, так и делают, вся реклама и счетчики крутится на подобном, слишком дорого считать в фоне

будет, так и делают, вся реклама и счетчики крутится на подобном, слишком дорого считать в фоне

да неправда, в рекламе статистика вообще отдельно считается

Подскажите как можно собирать кол-во входящего и исходящего http траффика в go?

А заголовки TCP/IP пакетов в HTTP траффик входят? А если потом надо будет HTTPS, со всей его бухгалтеририей? Или у нас разные представления о том, что такое траффик?

да неправда, в рекламе статистика вообще отдельно считается

расскажите нам

да неправда, в рекламе статистика вообще отдельно считается

вся горячая считается на лету, что-то нереалтаймовое обиливается потом

вся горячая считается на лету, что-то нереалтаймовое обиливается потом

+

расскажите нам

зависит от стека, который используется. В некоторых местах тупо собираются логи и обрабатываются отдельно спарком, например. В других используется ELK, в котором кибана раз в секунду обновляет агрегированную статистику.

вот оно что

ребят, подскажите почему в OSX команда go в консоле ни на что ни как не реагирует? ни ошибок ни компилирования в случае go build my.go

то есть для проекта уровня яндекс-метрики/директа мы считаем статистику в эластике

ок

в третьих вообще Kafka и на выходе у нее агрегатор, который пишет в прометей

я пожалуй сольюсь нахуй

потому что это фарс

то есть для проекта уровня яндекс-метрики/директа мы считаем статистику в эластике

какое отношение имеет проект уровня яндекс-метрики к среднерыночному проекту?

какое отношение имеет проект уровня яндекс-метрики к среднерыночному проекту?

>боюсь, у нас с вами различные представления о рынке.

А заголовки TCP/IP пакетов в HTTP траффик входят? А если потом надо будет HTTPS, со всей его бухгалтеририей? Или у нас разные представления о том, что такое траффик?

тогда бы логично спросить с какого уровня сети надо считать трафик, по-хорошему надо бы с L1-фреймов начать

>боюсь, у нас с вами различные представления о рынке.

ну да, я боюсь, если ты розовые очки снимешь - вообще еще как удивишься

тогда бы логично спросить с какого уровня сети надо считать трафик, по-хорошему надо бы с L1-фреймов начать

L1?