Да, все так

А Консул нужен для того, чтобы ты мог зарегистировать нужный тебе экспортер, а прометей просто спросил у консула местонахождение сервиса и его порт и забрал оттуда метрики

Это и есть service discovery

уже примерно так и сообразил (пока мне не сказали, что можно избавиться от cadvisor ).. но вдогонку - "Консул нужен для того, чтобы ты мог зарегистировать нужный тебе экспортер" вот тут непонятно про експортер. это что за новый зверь который будет работать с сервисами?

node_exporter, cadvisor, blackbox_exporter - это все экспортеры

это понятно. но они не про сервисы, которые внутри контейнера

так я потыкался в докер и его експортер.

прошу прощения. был не прав. он не отдает docker stats

А если тебе нужно брать метрики у приложения, то нужно сделать отдачу метрик

так я потыкался в докер и его експортер.

спасибо! сэкономил мне время.

А если тебе нужно брать метрики у приложения, то нужно сделать отдачу метрик

мне нужно просто tcp конектом проверять живой ли порт у приложения

и потом в дашборде отображать этот статус

и при этом возникается проблемка - надо понимать на какой ноде какой сервис

Так в настройках прометея для blackbox ты в качестве targets укажешь consul_sd и сервисы которые тебе нужно проверять

Предварительно зарегистировав в консуле разумеется

дашборд у меня отображает все, что относится к ноде - за счет настройки в templates - в дропдауне выбираешь имя сервера и картинка меняется. вот тут же хочу и статусы соответствующих APP отображать

https://github.com/moby/moby/issues/27307

нда

Так в настройках прометея для blackbox ты в качестве targets укажешь consul_sd и сервисы которые тебе нужно проверять

похоже на то, что мне надо...

Только нужно будет правильно сделать relabel и все будет так, как ты хочешь

итак. cadvisor оставляю и курю как ставить Consul и настраивать его. по идее мне надо будет его поставить только на те сервера, на которых работают реплики моих сервисов - это три сервера. далее в конфе прома надо будет добавить job для него и в проме появится новый таргет, который я смогу указать при настройке blackbox

https://github.com/graphite-project/carbon/releases/1.1.0-pre1 was tagged

https://github.com/graphite-project/graphite-web/releases/1.1.0-pre1 was tagged

xexe

частично касается алерт в графане. https://github.com/grafana/grafana/issues/9764 вот, например, поломалась почта. не приходят уведомления, нельзя пользователям восстановить пароль. 4.6.2 commit=8db5f08 у меня.

Ребят, кто go-graphite использует, подскажите можно ли без потери данных сменить разрешение датасорса у виспера (ну и у кликхауса в реализации от lomik)?

Церес с некоторой еб* это умеет

Ребят, кто go-graphite использует, подскажите можно ли без потери данных сменить разрешение датасорса у виспера (ну и у кликхауса в реализации от lomik)?

В кх разрешение это конфиг

Меняешь конфиг - получаешь другое разрешение

В виспера с go-carbon - оно преаллоцировано, а теории можно

На практике надо самому писать, если это сложнее чем расширение архивов текущих

Спасибо за ответ!

всем привет есть необходимость проверять качество канала до S3 AWS пытаюсь сделать как то вот так mtr -r -n -c 3 --tcp --port 443 s3.eu-west-1.amazonaws.comпоказывает 100% packet loss, WTF??? telnet s3.eu-west-1.amazonaws.com 443 работает нормально... почему?

Они там TTL может смотрят

А есть уверенность, что телнетом именно на амазон попадаешь? Часть ресурсов на амазоне РКН блокируются.

А есть уверенность, что телнетом именно на амазон попадаешь? Часть ресурсов на амазоне РКН блокируются.

ну я это из ДЦ делаю.... который в амстердаме

там роутинг какой-то адовый. Гоняют по своим площадкам, и вполне вероятно прячут свои узлы для таких запросов

Они там TTL может смотрят

ну я тоже так думаю, что наверное делают что-то непотребное

А как тогда вообще делать tcpprobe и замерять нормально?

В общем, от меня минимум 28 должен быть TTL, чтобы оно ответило (я в РФ)

mtr при этом показывает 12 хопов

hping3 же есть. Там всё что угодно можно.

tcptraceroute запусти

mtr при этом показывает 12 хопов

Может туннели у них и с mtu химичат?

Там syn-ы же, если уж они не пролезут, что пролезет-то

Кстати, зачем там именно TCP измерять, отчего HTTP запрос не подходит?

короче хочется с нескольких хостов в разных ДЦ централизовано мониторить доступность S3 под доступностью подразумевается длительность установки именно tcp соединения или просто невозможность его установить, и ловить момент пропадания или проседания именно TCP связности потому что в приложении есть обычные uwsgi django python скрипты которые делают https запросы к aws ... переписать это все на асинхронщину возможности нет, чтобы переписали мне надо доказать что проблема именно в исходящих коннектах на AWS сами aws запросы наверное тоже можно по http делать но не хочется в мониторинговой обвязке держать AWS Credentials никакие

инструментирование кода и tracing а-ля zipkin тоже никто не хочет внедрять мне вообще приходится целесообраность всего этого доказывать и пока никак не могу продать "так делают все нормальные чуваки", такое не проканало

Маленький паблик бакет, и не надо ключи раскладывать

Или там же права есть, можно на элемент повесить, что он паблик

https://github.com/moira-alert/moira-alert/releases/v2.0-beta3 was tagged

https://github.com/moira-alert/moira-alert/releases/v2.0-beta3 was tagged

ищу внятный док по установке Consul на centos, мож есть у кого на примете рабочий мануал

нет такого. ставь бинарём

Там не нужны доки

https://github.com/brianshumate/ansible-consul

вот роль для ансибла если тебе надо

Берешь бинарник с сайта, копируешь куда нравится и запускаешь)

Да, и через ansible можно удобно сервисы регистрировать

хорошая роль. я юзаю

а конфиг

мне уж под утро прям снилось как я бодаюсь с этим консулом..

https://github.com/moira-alert/moira-alert/releases/v2.0-beta3 was tagged

Чёт никак не пойму: куда (в какие папки) графане надо подсовывать свои .json и scripted дашборды и по каким URL к ним потом обращаться. Класть в системную папку /usr/share/grafana/public/dashboards сильно не хочется, а в /var/lib/grafana/dashboards она не видит. Что я делаю не так? Доки на сайте по этой части близкие к никаким.

ERROR: S client not available

Всем день добрый. Кто имел опыт работы с okmeter.io ?

Всем день добрый. Кто имел опыт работы с okmeter.io ?

@tru_pavel вроде сотрудник окметра

=)

Чёт никак не пойму: куда (в какие папки) графане надо подсовывать свои .json и scripted дашборды и по каким URL к ним потом обращаться. Класть в системную папку /usr/share/grafana/public/dashboards сильно не хочется, а в /var/lib/grafana/dashboards она не видит. Что я делаю не так? Доки на сайте по этой части близкие к никаким.

все скоро завезут [1], и доку обновят, пока через api или другими костыликами [2][3] 1. https://github.com/grafana/grafana/issues/9957 2. https://github.com/jakubplichta/grafana-dashboard-builder 3. https://github.com/percona/grafana-dashboards/blob/master/misc/import-dash.py

Ну это (1) светлое будущее, наверное, не раньше следующего года завезут ? (2,3) - немного не о том. Меня не генерирование/импорт/экспорт интересовал, а то куда свои .json и .js дашборды складывать в текущей версии. Сейчас графана даже в ручками созданной папке test в /usr/share/grafana/public/dashboards/ уже не хочет скрипт находить ? Получается: всё в кучу или никак.

свои разрабатывать, затем экспортировать, хранить как код, и импортировать

парни а какая метрика в проме за текущий кардиналити отвечает ?

@pipopolam ?

видимо count({__name__=~".+"}) но чот это не очень

Авторы прометея предлагали api спрашивать

Когда я их спросил "что в 2.х вместо storagetool"

всем привет, а кто-нибудь может помочь с мониторингом домена weblogic? через jmx

всем привет, а кто-нибудь может помочь с мониторингом домена weblogic? через jmx

Если метрики экспортируются через JMX, то их можно смело дёрнуть чеерз JPyPe.

Если метрики экспортируются через JMX, то их можно смело дёрнуть чеерз JPyPe.

вот проблема в том, чтобы заставить их экспортироваться и подружить с zabbix gateway. на той стороне, надо сервер с какими-то параметрами запустить, а на этой правильный урл подобрать

словом на З здесь ругаться не надо ? а включить JMX - https://stackoverflow.com/questions/856881/how-to-activate-jmx-on-my-jvm-for-access-with-jconsole, я за тебя погуглил

словом на З здесь ругаться не надо ? а включить JMX - https://stackoverflow.com/questions/856881/how-to-activate-jmx-on-my-jvm-for-access-with-jconsole, я за тебя погуглил

ты молодец конечно, что за меня погуглил, но я уже полторы недели гуглю и это в конфигу вставлял. java.io.IOException: Failed to retrieve RMIServer stub: javax.naming.NoInitialContextException: Need to specify class name in environment or system property, or as an applet parameter, or in an application resource file: java.naming.factory.initial

ты молодец конечно, что за меня погуглил, но я уже полторы недели гуглю и это в конфигу вставлял. java.io.IOException: Failed to retrieve RMIServer stub: javax.naming.NoInitialContextException: Need to specify class name in environment or system property, or as an applet parameter, or in an application resource file: java.naming.factory.initial

Во-первых, если ты хочешь, чтобы тебе помогли, то высыпай всю информацию сразу. А во-вторых - опять же гугл в помощь: https://www.javaworld.com/article/2072276/remote-jmx-exceptions.html.

Есть смельчаки ставившие clickhouse на centos?

* вопрос снят как глупый, в доке все есть

https://github.com/prometheus/blackbox_exporter/releases/v0.11.0 was tagged

Во-первых, если ты хочешь, чтобы тебе помогли, то высыпай всю информацию сразу. А во-вторых - опять же гугл в помощь: https://www.javaworld.com/article/2072276/remote-jmx-exceptions.html.

спасибо, зажужжало, вставил полный путь service:jmx:rmi://{HOST.CONN}/jndi/rmi://{HOST.CONN}:{HOST.PORT}/jmxrmi

спасибо, зажужжало, вставил полный путь service:jmx:rmi://{HOST.CONN}/jndi/rmi://{HOST.CONN}:{HOST.PORT}/jmxrmi

Всегда пожалуйста.

вопрос, как себя поведет карбонзиппер если получит с двух разных серверов

метрики по одному префиксу с разными ретеншенами

метрики по одному префиксу с разными ретеншенами

Первый кто выдаст тот и будет взять за истину

Остальные ответы он выбросит

В лог ругнется что что то тут не то

хорошо а допустим такой вопрос

у нас есть два сервера

на одном интервал AB на втором AC

первым ответил AB