посмотрим через месяцок чо там с утечками

не у всех кстатит течет но у большинства видимо все таки

1) подумай что именно в бизнес-процессах тебя интересует 2) подумай ещё раз 3) подумай как собирать метрики по бизнес-процессам 4) сделай

Спасибо, подумаю над этим

Telegraf 1.4.3/1.6.1, CentOS 6/7, Ubuntu 16.04, Win 7-2018, системные метрики/Docker/IIS/MSSQL/JBOSS/Oracle - всего 300+ хостов, не течет, есть пара мелких косяков, можно использовать спокойно.

текло текло

настолько, при пришлось от него отказаться

особенно текло при мсскуле

особенно текло при мсскуле

До версии 1.6 плагин mssql - кошмарный ад, который я бы не рекомендовал использовать вообще. С 1.6 - более менее, пока стабилен.

До версии 1.6 плагин mssql - кошмарный ад, который я бы не рекомендовал использовать вообще. С 1.6 - более менее, пока стабилен.

спасибо!

До версии 1.6 плагин mssql - кошмарный ад, который я бы не рекомендовал использовать вообще. С 1.6 - более менее, пока стабилен.

У них с 1.6 вторая версия плагина используется.

Telegraf в docker всю неделю занимает 11Мб, в WinServer занимает 20Мб. Возможно от наличия плагинов и зависит.

http://docs.grafana.org/installation/docker/#migration-from-a-previous-version-of-the-docker-container-to-5-1-or-later

Добрый день. У меня есть кластер k8s, и отдельно стоящий prometheus/graphana, мне нужно из prometheus скрапить метрики приложения запущенного внутри k8s. Я вроде бы настроил kubernetes_sd_config, но приложение - воркеры использует внутренние адреса 10.x.x.x и prometheus не может законектится тк он стоит отдельно. Как вообще это обычно решается ?

прометеус внутри кластера + федерация

обычно это костылится)

? спасибо, сейчас буду пихать prometheus в k8s

Нубовский вопрос: у прометея дефолтный порт 9000 можно только через флаг при запуске назначать или как то ещё? В конфиге его можно задать? Что-то не могу в доках найти про это.

да только с консоли

да только с консоли

Печально и странно. Казалось бы: по любому конфиг читать надо - вот туда бы запрятать...

слкадывается впечателение что логика такая. не может сделать reload параметра на лету значит в ключи запуска

Она закидывает скрин панели в webDav , получает ссылку, и скидывает эту ссылку в слак. WebDav должен быть расшаренный для слака.

В 5й графане можно добавить токен на бота с правами на аплоад файла - он будет загружать картинку в слак

? спасибо, сейчас буду пихать prometheus в k8s

helm install stable/prometheus Рекоммендую. Сильно упрощает жизнь. Только надо ему аккуратно helm values набрать.

prometheus-operator

helm install stable/prometheus Рекоммендую. Сильно упрощает жизнь. Только надо ему аккуратно helm values набрать.

Спасибо

https://github.com/coreos/prometheus-operator

Andor а что, в продакшене пробовал? Я только на миникубе его ставил. Операторы крутая тема, но лично мне как-то спокойнее, когда мониторинг мной лично настроен. @vvatlin зацени тоже ^ может быть тебе понравится.

ну никто не мешает тебе лично использовать его же для твоих нужд

Мне показалось, что не очень круто будет, когда у тебя ворох ServiceMonitor нужно еще описать.

чуть запоздало подключусь про агенты, а кто то pcp мучал?

чуть запоздало подключусь про агенты, а кто то pcp мучал?

@iavael?

Господа а посоветуйте инструменты для сбора perf counters с windows машин. Сейчас пользуемся Zabbix, но это не очень удобно , приходится руками настраивать каждую метрику отдельно , а потом еще счетчик для нее в заббиксе . Может есть готовые инструменты чтобы экспортировать имеющиеся на системах windows data collections set например в Grafana ?

node_exporter для prometeus вам не подойдет?

я не ставил его на винду, но вроде бы там он работает

Подскажите где мапинг значений задается в таблице http://docs.grafana.org/v5.1/features/panels/table_panel/#string

Нашел, надо выбирать тип String

node_exporter для prometeus вам не подойдет?

Спасибо , посмотрю подробней. Беглый взгляд подсказывает что оно умеет только те счетчики которые в него зашиты, мне же надо разные , ту же группу sql сервер.

sql-server - самостоятельная система, в идеологии prometeheus ее должен измерять отдельный сервис

чуть запоздало подключусь про агенты, а кто то pcp мучал?

Мучал немного.

sql-server - самостоятельная система, в идеологии prometeheus ее должен измерять отдельный сервис

То есть если у меня на хосте sql, mongo и slurm мне дополнительно 3 бинаря запускать к ним? (пардон за нубский вопрос)

да, именно так. Потому как сервисы независимые и каждый мониторится независимо

да, именно так. Потому как сервисы независимые и каждый мониторится независимо

а для короткоживущих вещей? типа джобов (ну или докеров)

пусть сами отправляют

пусть сами отправляют

Хорошо бы, но не прокатит. Это будут пользовательские джобы в slurm. Пользователям до фени этот мониторинг. Это может древнее говно писаное на фортране.

а тебе тогда почему не пофиг?

а тебе тогда почему не пофиг?

Совестливый очень. На самом деле нет. Но хочется некоторую пользу нанести и причинить радость.

ну ты от задачи/проблемы начинай какую задачу/пробелему ты хочешь решить?

Просто потом эти пользователи приходят и жалуются что у них все считается медленно. Ну вот и тут им бы и показать графики - типа смотрите, у вас все на одном ядре на первой ноде крутится. Даром что вы аллоцировали 100 нод по 48 ядер в каждом

ты сказал, что пользователям пофиг на твой мониторинг

Сейчас мониторинг - это хелсчекинг, типа рейд развалился. PSU отвалился, вентилятор помер. Хочется что-то поинтереснее. Дело в том что мы продаем HPC кластеры по нескольку штук в месяц, Поэтому построить что-то полезное которое поможет продать больше очень хочется. И как бы даже есть место где можно применить, но вот как это сделать пока не очень понятно.

Сейчас мониторинг - это хелсчекинг, типа рейд развалился. PSU отвалился, вентилятор помер. Хочется что-то поинтереснее. Дело в том что мы продаем HPC кластеры по нескольку штук в месяц, Поэтому построить что-то полезное которое поможет продать больше очень хочется. И как бы даже есть место где можно применить, но вот как это сделать пока не очень понятно.

По моему скромному мнению, мониторить кучу кластеров принадлежащих сторонним организациям можно двумя способами: 1. Набирайте отдел мониторинга, с разрабами, админами и тех поддержкой, и развивайте свои компетенции 2. Для каждого вашего клиента покупайте уже готовые решения мониторинга систем у компании которые этим профессионально занимаются, к примеру у okMeter.io

sql-server - самостоятельная система, в идеологии prometeheus ее должен измерять отдельный сервис

Ок, но в список не попало большая часть счетчиков самой windows, а в то де время есть отдельная независимая система Ad ds.

Мучал немного.

как очучения? collectd new age? течет не течет и все такое

Спасибо , посмотрю подробней. Беглый взгляд подсказывает что оно умеет только те счетчики которые в него зашиты, мне же надо разные , ту же группу sql сервер.

Для винды вроде wmi_exporter

Господа а посоветуйте инструменты для сбора perf counters с windows машин. Сейчас пользуемся Zabbix, но это не очень удобно , приходится руками настраивать каждую метрику отдельно , а потом еще счетчик для нее в заббиксе . Может есть готовые инструменты чтобы экспортировать имеющиеся на системах windows data collections set например в Grafana ?

Телеграф + графана?

Для винды вроде wmi_exporter

Да, спасибо , я его и смотрел.

Телеграф + графана?

Думал над таким вариантом, но насколько я понимаю , для того чтобы telegraf смог читать perf_counter ему в конфигурации нужно их все прописать , т.е. примерно тоже самое что в Zabbix получается.

графана показывает то что ей отдают другие системы

телеграф собирает данные и отправляет в разные системы

В фразе Телеграф + графана что-то потерялось определенно

Буква "о". "Во фразе".

Она и потерялась. ;)

influxdb , но это вроде понятно из конетксат

Моя боль в общем чтобы не писать https://github.com/influxdata/telegraf/tree/master/plugins/inputs/win_perf_counters вот такие конфигурации для telegraf \zabbix а как то генерировать их на базе уже существующих в система data collection set

ERROR: S client not available

телеграф умеет и в пром например

флюентд умеет и в пром метрики, и логи в эластик отправлять

телеграф умеет и в пром например

И кликхаус-плагин есть

флюентд умеет и в пром метрики, и логи в эластик отправлять

только вот нельзя сделать чтоб каунтер не инкрементировался если определённого ключа нет

И кликхаус-плагин есть

Для телеграфа? Это где такой?

https://github.com/r3nic1e/telegraf-clickhouse-plugin

Моя боль в общем чтобы не писать https://github.com/influxdata/telegraf/tree/master/plugins/inputs/win_perf_counters вот такие конфигурации для telegraf \zabbix а как то генерировать их на базе уже существующих в система data collection set

Тут я даже соглашусь, что в системе на Z это достаточно удобно реализовано, хочешь добавить счётчиков - вешаешь шаблон через web интерфейс и метрики пошли собираться. В системе с prom, telegraf- зайди на хост и поправь конфиг - это не очень конечно.

Тут я даже соглашусь, что в системе на Z это достаточно удобно реализовано, хочешь добавить счётчиков - вешаешь шаблон через web интерфейс и метрики пошли собираться. В системе с prom, telegraf- зайди на хост и поправь конфиг - это не очень конечно.

Ansible Puppet Chef что там ещё? Зачем руками то?

Наши деды еще руками все делали))

Ansible Puppet Chef что там ещё? Зачем руками то?

Да конечно это все можно, я не буду спорить. Но если можно этого не делать, я бы предпочёл этого не делать.

Добрый день друзья подскажите пожалуйста как можно в influxdb получить примерно такой результат %MEASUREMENT% и все теги и поля которые есть в этом MEASUREMENT

Тут я даже соглашусь, что в системе на Z это достаточно удобно реализовано, хочешь добавить счётчиков - вешаешь шаблон через web интерфейс и метрики пошли собираться. В системе с prom, telegraf- зайди на хост и поправь конфиг - это не очень конечно.

Конкретно с perf_counter все не совсем так т.к. они чуть отличаются для каждой версии операционной системы + даже для локализованных ОС . Т.е. шаблоны ограниченно применимы. Короче тоже не все хорошо, никакого автоматического оперделения каунтеров в заббиксе тоже нет . Приходится городить на стороне агента все также как в telegraf

Конкретно с perf_counter все не совсем так т.к. они чуть отличаются для каждой версии операционной системы + даже для локализованных ОС . Т.е. шаблоны ограниченно применимы. Короче тоже не все хорошо, никакого автоматического оперделения каунтеров в заббиксе тоже нет . Приходится городить на стороне агента все также как в telegraf

Не совсем, можно же использовать цифровые

Не совсем, можно же использовать цифровые

Навреное да, вот только будут ли они перенсоимы между системами такие шаблоны ? И как в этом случае с экземплярами ? Например дисков или процессов которые мы мониторим ?

Т.е. шаблон полноценный не сделаешь думаю. Видел пару обсуждений в терекере забикса по LLD для perf_conter но насколько понимаю воз и ныне там. Либо ненужно никому либо

Навреное да, вот только будут ли они перенсоимы между системами такие шаблоны ? И как в этом случае с экземплярами ? Например дисков или процессов которые мы мониторим ?

Вполне себе переносимы, discovery никто не отменял

Вполне себе переносимы, discovery никто не отменял

Можно пример такого шаблона ? Именно чтобы учитывались экземпляры ?

как очучения? collectd new age? течет не течет и все такое

Утечек не заметил. Функционально он богаче, чем collectd в плане распределенного сбора метрик, визуализации и реакции на изменения, но если нужен только сбор на отдельной машине,, а все остальное планируется закрывать другими инструментами, то я принципиальной разницы не заметил.

Утечек не заметил. Функционально он богаче, чем collectd в плане распределенного сбора метрик, визуализации и реакции на изменения, но если нужен только сбор на отдельной машине,, а все остальное планируется закрывать другими инструментами, то я принципиальной разницы не заметил.

а чего за зверь такой?

Ну я уже придумал идею прокси между графаной и карбонапи - чтобы можно было онлайн метрики смотреть не те которые зашиты в конфиге посылки а прям любые (эдакий vector но с центральным входом в виде графаны и графит функций). До этого глядел в сторону snapteld но он по ощущениям менее production ready, хотя и чуть более свежие технологии использует.

http://pcp.io/

ее краснашапка сейчас взяла в оборот и начала толкать

к нему вот такой лайт фронт есть http://getvector.io/ и вот такая штуковина (только в RH перепаковке) http://cockpit-project.org/ использует в качестве поставщика метрик

кто-то blackbox мониторит DNS ?

Не могу разобраться как несколько хостов пробить?

с разными модулями таки это возможно

поругайте статью, если не лень - http://akumuli.org/akumuli/2018/04/28/scaleable-downsampling/

Как и обещал - анонс митапа про мониторинг от DevOps Moscow. Мониторинг(prom) облака(k8s) от Авито, автодискавери метрик от Окметра, Инцидент-менеджмент от Badoo https://devops-moscow.timepad.ru/event/712678/

спасиб