Мне кажется если ивенты слать по удп, скажем, а там статсд или что, то все равно пулл будет нужен

Но так лучше тем что не надо отвественность за ненужное туда засовывать

Вдруг ты по новому захочешь считать какую стату

То что же? Перезапускать его

Мне кажется, это вопрос более стратегического характера

Он не технический, а социальный

Как со своей головой договоришься - так и будет, а результат-то один

В результате, мне кажется, если человек хочет получать advanced метрики с nginx, у него рано или поздно будет своя собственная сборка

Угу, и выкинуть nginx

отлично у тебя люди подписаны =)))

отлично у тебя люди подписаны =)))

чо

я об этом

Так это разве Паша не сам себя подписал?

Я столько букв замахался бы набирать

ой. дейсвительно так

а у меня почему-то он как Pablo Tru подписан

но это не я писал

Кэш

Да, так вот, возвращаясь к разговору про nginx

Чем мне нравится идея репортить прямо из него (без разницы, pull или push) - тем, что у нас будут персентили нормально посчитаны

Но это ведь кто-то уже реализовал, по крайней мере, для StatsD?

писать самому видимо такой модуль)

Мои глаза! (Ещё раз) Упоротые тут все? :) Цать лет существует модуль для statsd, который по udp и шлёт

с другой стороны я гдето видел мгновенный мониторинг в браузере

netdata то была

писать самому видимо такой модуль)

https://github.com/mailru/graphite-nginx-module/

ребят у кого нить получалось заюзать эту штуковину: https://github.com/markuslindenberg/nginx_request_exporter он у меня не получает статистику, вообще ничего не получает: выдает: nginx_request_exporter_syslog_messages 0 nginx_request_exporter_syslog_parse_failure 0 хотя в файловый лог nginx пишет запросы: server { listen 0.0.0.0:8000; access_log /var/log/nginx/nginx-access-prometheus.log; error_log /var/log/nginx/nginx-error-prometheus.log; access_log syslog:server=192.168.0.31:4501 prometheus; #access_log syslog:server=unix:/var/log/nginx8000.sock prometheus; location / { proxy_pass http://127.0.0.1:80/; proxy_set_header Host $host; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_set_header X-Real-IP $remote_addr; } } и сам экспортер: ./nginx_request_exporter -web.listen-address 0.0.0.0:9101 -nginx.syslog-address 0.0.0.0:4501 & я уже явно задаю и там и там прослушиваемые порты и ничего (

а ещё подскажите как настроить прометея что бы он не сохранял ненужную статистику, такую как go_gc_duration_seconds{quantile="0"} go_memstats_alloc_bytes http_response_size_bytes_sum{handler="prometheus"} и т.д.

global: scrape_interval: 5s scrape_configs: - job_name: "myservice" target_groups: - targets: - "localhost:9999" metric_relabel_configs: - source_labels: [__name__] regex: go_(.*) action: drop - source_labels: [__name__] regex: go_(.*) action: drop

not recommended такие штуки для go_ делать, особенно для go_memstats_alloc_bytes, потому что однажды у может потечь какой-нибудь телеграф и это будет невозможно заметить.

Э

Так это баг

global: scrape_interval: 5s scrape_configs: - job_name: "myservice" target_groups: - targets: - "localhost:9999" metric_relabel_configs: - source_labels: [__name__] regex: go_(.*) action: drop - source_labels: [__name__] regex: go_(.*) action: drop

спасибо, это то что надо

Так это баг

угу, был в telegraf 1.2.0, fixed 1.2.1 (latest).

Мои глаза! (Ещё раз) Упоротые тут все? :) Цать лет существует модуль для statsd, который по udp и шлёт

Я видел пяток модулей, у них у всех были ограничения, что они могли слать. Да и статистику по урлам через статсд сложно собрать вообще-то

я встречал заявления "мы гарантируем что парсинг логов nginx круто работает" только в даташите elk. а отзывов о том что это круто работает где-либо - пока не слышал вообще. оч. интересно )

я встречал заявления "мы гарантируем что парсинг логов nginx круто работает" только в даташите elk. а отзывов о том что это круто работает где-либо - пока не слышал вообще. оч. интересно )

в sawmill парсинг логов nginx (в том числе) круто работает, но он не из этой оперы :)

https://www.sawmill.net/formats/nginx_log_format.html - это актуальная инфа?

Что-то ничего не понятно)

https://www.sawmill.net/formats/nginx_log_format.html - это актуальная инфа?

ну да, а что в ней может быть устаревшего? :)

ну да, а что в ней может быть устаревшего? :)

на всякий случай спросил. бесплатной версии там не найдено, чтобы опробовать (trial не считаю за опробовать) ?

А что нужно то?

Мы умеем парсит логи Nginx

=)

на всякий случай спросил. бесплатной версии там не найдено, чтобы опробовать (trial не считаю за опробовать) ?

это как бы оффлайн парсер :) генератор отчетов по логам. если надо попробовать, бывают сами знаете что

А что нужно то?

abstract: 1) open-source 2) 5-10k http запросов в чнн 3) до 30 таких вот узлов 4) хранить заданное время + чистить + строить из этого метрики кроме elk пока идей нет, так что на досуге изучаю всё что попадётся под руку :)

это как бы оффлайн парсер :) генератор отчетов по логам. если надо попробовать, бывают сами знаете что

да! жду community edition!

Что такое чнн

Час чтоли?

часы наибольшей нагрузки

5к rps?

5-10k +/- avg, peak = 25k

ERROR: S client not available

Строить метрики - что-то большее чем перцентили, гистограммы, ошибки по урлам?

да - по url'ам, по src/dst адресам, итд. да - конечно же ошибки, да - конечно же гистограммы. время ответа с обеих сторон, и геораспределение.

Спланк!))

Спланк не open source

И он про логи, а не про метрики

Да ладно, это требование опенсорсности это или от нищебродства или блаж.

Могу конечно ошибаться

Да, с метриками там тяжелее, он под них не заточен.

Я не сразу слово "блажь" узнал...

Сорри)

Так вот - спланк реально дорогой

Я пишу сейчас плагин для Спланк под графану, и скорость работы с метриками там не самая впечатляющая.

thanks, посмотрел. так что пока кроме elk с вытаскиванием datasource в графану или написания какого-то своего, маленького, но очень хитрого парсера - решений не попадается ?

Что происходит?

Пост на хабре видать

Адептов привалило

Пост на хабре видать

Именно)

Видимо оттуда же валят :)

Теперь у нас есть материал для кровавых человеческих жертвоприношений

Теперь у нас есть материал для кровавых человеческих жертвоприношений

да он во все каналы наплыл

Не во всех каналах чат называется ЦЕРКОВЬ метрик

Теперь у нас есть материал для кровавых человеческих жертвоприношений

спасибо хабру за свежее мясо

Не во всех каналах чат называется ЦЕРКОВЬ метрик

Хорошо что не секта

Точнее с учетом наплыва - жаль что не секта