это потери пакетов

самого трафика?

нетфлоу же не зеркалирует трафик?

нетфлоу это протокол

или это потеря пакетов с нетфлоу?

он априори не умеет зафиксировать

зеркалировать*

т9

дословно там написано full speed w/no packet loss

or very moderate

что означает фулл спид без потери пакетов

ну а вообще - сколько проца и сети это съест?

можно положить на вдс, или нужно выделить сервер? Гигабита хватит, чтобы собрать данные за 40 гигабит или надо 10г ставить?

смотря что вы собрались собирать и откуда и как часто и чем анализировать

могу поделиться статистикой следующей

скажем в сутки с одного маршрутизатора снимаю флоу 9й в ELK - это примерно 8 Гб места на сторэдже в сутки по трафику там вообще ерунда, я бы на самом деле задумался о хранилище

ок, проще: надо собирать сколько байтиков пришло на каждый внутренний ип и ушло с каждого внутреннего ип за минуту. И вот это охапкой отправлять в нашу базу, остальное там уже сделано.

маршрутизатор один из стека обслуживающих облако, объемы трафика ну по разному днём в пике бывает Гигабит

понял, значит и гигабитного порта хватит и в начале можно засунуть в вдс

за глаза, я просто не представляю схему вашей инфры поэтому сложно чтот предложить)

бордер -> толстый роутер в ДЦ под проект -> свитч в стойке масштабы маленького регионального дц

тут снова вопросы

вот я как облачный провайдер скажем, мне плевать что там творится внутри клиентских гостевых ос я просто хочу знать кто у меня и сколько гоняет трафика, в данном случае оптимальным вариантом будет снять трафик с пограничного маршрутизатора, наверняка это будет netflow 5 или 9

а дальше смотрите, если вы говорите есть уже что-то готовое

оно может распарсить флоу?

нет

вот в этом и вопрос - чем выдавать мне табличку раз в минуту вида ip,in,out

соответственно вам нужно его переварить в удобочитаемый вид для того что уже есть

знать бы что уже есть и что оно поддерживает

вариантов сейчас куча

какой-то из роутеров на границе с проектом или бордер умеют отдать нетфлоу 5 и возможно 9.

и уже после - у нас есть готовая обработка минутной статы вида ip,in,out

ну я например принимаю elk стэком для одних нужд, с них же опять же nfdump для других целей и с них же в influx для третьих

тут я думаю напрягать нужно тех кто занимается "готовой обработкой" т.к. я не понимаю что это, что то самописное так?

да. но ему на вход нужна табличка ip, in, out. И вот стату с нетфлоу конвертировать в эту табличку я таки все еще не понял - чем?

ну таблички с флоу врятли кто то из коробки вам такие нарисует

конкретный формат не важен, конечно

и текстом можно и json и csv и т.д.

вот про nprobe написано - To analyze multi-Gbit networks at full speed with no (or very moderate) packet loss пакетлосс - это статы или самих пакетов? и - вот если сервер гигабит, а сеть в ДЦ на вход 4 по 10 - переварится?

это загон про быстрый сетевой стек pfring

потери зависят от сэмплирования, если netflow с роутеров\свитчей льете, а не генерите на основе анализа трафика

netflow это потеря времени. приблизительность очень высокая

как праивло современное железо делает семплинг

а как правильно?

1:10 это хороший рейт

праивльные вартанты надо изобретать в зависимости от того какое железо есть в наличии

может быть mac accounting если джуник есть

может еще какие то варианты

есть топовый микротик например

высок шанс получить бан за это слово при его повторении в приличном обществе.

ну зря их где-то не любят, вполне хорошие железки

это сетевые вопросы. лучш езадовать их в соответствующих местах.

по крайней мере модели последнего поколения

схожее решение задачи https://github.com/sohonetlabs/cise-elk + http://www.sflow.net/ на худой конец snmpnetstat

Чатик, есть вопрос. Каким агентом измеряют offset lag у Apache Kafka в реальных проектах?

Мы руками снимаем

то есть что-то самописное?

У кафки там в поставке кучка джарничков хелперов

При помощи них можно посмотреть оффсеты по группам

есть такое. а ещё эти джарнички ругаются на то что они почти устарели.

У меня не ругаются )

Ну в конце концов через jmx я думаю тож вытаскивается

эт второй вопрос. в общем, вариант с джарниками "искаропки". понял, спасибо.

Jmx может быть более general вариантом

в теории - да, но вообще сильно зависит от версии кафки.

ERROR: S client not available

к сожалению, в той баянистой, с которой приходистя работать, в JMX нет ничего ценного - только в ZK.

Баянистой всмысле старой ?

да, что-то в районе pre-0.9

Ну это норм, чего ты уж

Пара лет всего

Не больше

это я потому, что вкуснятина начинается в 0.9.4

Эт да. А у тебя Кафка ванильная или через дистриб какой ?

ванильная

Ну тогда все дороги перед тобой открыты

да уж. я, конечно, написал агента на питоне, который умеет всё читать из ZK. просто на минутку подумал - а не велик ли это.....

шалом метриканы

вопрос такой, кто-нибудь собирал метрики с билдагентов тимсити?

именно самих билдагентов

а в prometheus.yml если ты node_exporter на разных машинах установил для сбора метрик, нужно отдельный job_name создавать или достаточно в общий job_name прописать хосты в target? job_name: 'node' static_configs: - targets: ....

Как я поняла, можно в targets, если все метрики находятся по одинаковому пути если одинаковый metrics_path у всех.

static_configs: - targets: ['localhost:9090', 'localhost:2020'] metrics_path: /metrics вот так работает

Коллеги, добрейшего утра! Кто-то пробовал logstash'Ом собирать флоу?

metrics_path по дефолту такой я его не указываю

да, такой можно не указывать

просто у меня метрики по разным path находятся, и я не нашла как можно в таком случае их все в один job запихать

в доках вот # The targets specified by the static config. targets: [ - '<host>' ]

просто у меня метрики по разным path находятся, и я не нашла как можно в таком случае их все в один job запихать

понятно

такой еще момент для node_exporter лучше открывать порт 9100 или использовать обратный прокси типа nginx? C https там какая то проблема с валидацией сертификатов, думаю просто порт открыть 9100 в firewalld.

вопрос такой, кто-нибудь собирал метрики с билдагентов тимсити?

а зачем?

само тимсити умеет собирать базовые метрики

всмысле агенты

ну надо

тогда в чём вопрос?

чем сбор метрик с билдагентов отличается от сбора метрик с других железок?

или виртуалок? или контейнеров? что у вас там

я же напсал, что с самого агента