и ваще что у тебя за статус

но если у вас есть возможность не связываться с именно ntpd — воспользуйтесь ею. 2017 год предлагает нам более одной реализации ntp сервера

а что там кто то в тихаря отлил серебряную пулю? уже?

ну скажем так - если именно есть локальный нтп сервер на каждом сервере - его можно спросить "а сколько у тебя задержки до братьев?"

именно локальный именно на железном сервере. но тогда chrony или другие. но не ntpd

именно локальный именно на железном сервере. но тогда chrony или другие. но не ntpd

но суть не меняется - в нтп сервер можно потыкать палочкой и спросить как у него с отставанием от upstream'а

и на это сделать мониторинг

ага да

Вечер добрый. Поделитесь опытом, а вы как-нибудь собираете метрики или обрабатываете ситуации когда сервис теряет коннект с другим хостом или базой? Держать на каждом хосте blackbox_exporter и с него собирать инфу о доступности?

Прям как мы любим :) Yes, that is a lot of graphs and data. https://blog.ntpsec.org/2016/12/19/ntpviz-intro.html

если сервис теряет что-то, то он пишет логи, и это уже собирается

Вечер добрый. Поделитесь опытом, а вы как-нибудь собираете метрики или обрабатываете ситуации когда сервис теряет коннект с другим хостом или базой? Держать на каждом хосте blackbox_exporter и с него собирать инфу о доступности?

Я бы научил приложение, что бы оно само слало метрики, в частности бля я проебало дб

Тоже думаю про это, мне вроде нравится вариант

С логами есть проблема, что хотелось бы все получать через один источник

А не отдельные алерты от прометея, сентри и вероятно кибаны

Ну на прошлом месте работы мы в один момент пришли к тому, что метрики нужные мы сами шлем куда надо

у нас есть приложения, которые пишут state-файлы, но чаще и проще всего парсить логи

у нас есть приложения, которые пишут state-файлы, но чаще и проще всего парсить логи

Парсить логи для получения таймсириес метрик не лишние ли затраты?

лишние, конечно, но это иногда проще чем заставить погромистов написать аудит нормальный как вы вапще посмели усомниться в качестве моего кода засранцы

проще гнать поганой метлой программеров, которые не хотят, чтобы работу их говнокода мониторили

https://github.com/smpio/kubernator

интересно, но всё больше вспоминается анекдот про "14 несовместимых протоколов" ...

лишние, конечно, но это иногда проще чем заставить погромистов написать аудит нормальный как вы вапще посмели усомниться в качестве моего кода засранцы

У нас ребята сами захотели отслеживать что с их кодом происходит

интересно, но всё больше вспоминается анекдот про "14 несовместимых протоколов" ...

Рассказывайте

Мне кажется пора уже написать инструментарий для основных языков, чтоб декораторами все вызвалось.

И потом в statsd

Для начала простейшее - эксепшен на функции. Типа @monitorIt

Спасибо

Дмитрий - либы же есть, для основных языков ))

капитаню )

Дмитрий - либы же есть, для основных языков ))

Они есть, но все равно сложно для народа добавлять, приходится wrapperы делать итд. Для. Scala - kamon, например. он хорошо работает, но народ не хочет юзать инструментарий потому что оно как "тесты" - долго писать и особо не нужно

например ntpq -np localhost и смотреть delay'и между теми ntp куда твой локальный будет ходить

Спасибо за идею!

Есть инфлукс, где хранятся counter-метрики, есть графана, куда вывожу их в singlestat с помощью non_negative_difference. Можно ли как-нибудь полученное суммировать за час/минуту?

но если у вас есть возможность не связываться с именно ntpd — воспользуйтесь ею. 2017 год предлагает нам более одной реализации ntp сервера

аха. Мы chronyd использовали он на порядок легче по памяти

Есть инфлукс, где хранятся counter-метрики, есть графана, куда вывожу их в singlestat с помощью non_negative_difference. Можно ли как-нибудь полученное суммировать за час/минуту?

Можно в панели выбрать SUM и Override relative time поставить нужное

Но лучше запрос правильный написать, если это возможно.

С удовольствием напишу, но пока не придумал как)

вопрос про графану опять)) и видимо про cadvisor тоже. надо получить список имен контейнеров на ноде. и потом обратиться к каждому имени на определенный порт с помощью blackbox exporter для проверки доступности этого порта. ну типа как telnet-ом это можно сделать - telnet host:port если порт живой - OK если не отзывается - алерт. с чего начать? например список контейнеров пока могу увидеть в графане в Table по подобному реквесту: container_memory_usage_bytes{name=~".+",instance=~"$server:.*"} если на табе Time range указать в Override relative time == 10s то в таблице в графане отобразится точное кол-во сервисов с их полными именами. например: service1.awhwccj51cg691ouio6ghlxoy.s7nt0txv3ojcvupk9spmovcgu этот хостнейм я могу изнутри сварм сетки пинговать и телнетиться на него на нужный порт. вот как можно доставать такие хостнеймы и делать проверки на них?

Дошли наконец руки на потетсить go-stack graphite, ребят, подскажите, в каком порядке и какие сервисы инсталлить?

go-carbon+carbonapi+grafana это минималка

всем привет. Умеет ли прометей повторно опрашивать экспортер в случае, если с экспортером не удалось соединиться? или откладывает до следующего цикла опроса?

например три попытки

перед признанием экспортера дохлым

Ребят, видимо я уже торможу, но ... ни у кого не было проблем с отображением трафика на интерфейсах в графане, собираемую prometheus'ом с node_exporter раз в 10 секунд? Судя по показаниям, скорость занижена в 10 раз

ну так вы в чём меряете и в чём отображаете :)

ну так вы в чём меряете и в чём отображаете :)

м?

ну вот так прямо, чего ж тут не понятного

ну вот так прямо, чего ж тут не понятного

Вот так прямо - ничего) Соображалка уже на выходных, видимо

Точно не биты вместо байтов?

irate(node_network_transmit_bytes{instance=~"$node"}[5m])

я ж говорю, стандартный набор: prom, node_exporter, grafana, dashboard: node exporter full

это в осях

вкладка axes, посмотри в чем измеряется ось Y

bytes in/out

Посмотрел в другом готовом дашборде, irate(node_network_receive_bytes{instance=~'$node'}[5m])*8, сволочи) Всем спасибо

И вот кто виноват? Это ж судя по всему глобальная проблема...

это не проблема, это вы видимо не совсем понимаете что творится ;)

подумайте, с чего волшебная цифирь 8 ВНЕЗАПНЕ берётся

это не проблема, это вы видимо не совсем понимаете что творится ;)

Ваш высокомерный тон здесь абсолютно не уместен. Я прекрасно знаю различие между битами и байтам, только, _внезапно_, стандартный node_exporter отдает именно bytes, а не bits в prometheus

просто нужно смотреть, что у вас отображается, когда используете чужие дашборды

просто нужно смотреть, что у вас отображается, когда используете чужие дашборды

Посмотрите, пожалуйста, внимательнее на название метрики, дашборд здесь вообще не при делах. А *8 - это просто костыль

Посмотрите, пожалуйста, внимательнее на название метрики, дашборд здесь вообще не при делах. А *8 - это просто костыль

Так там и Unit стоит bits

где?

на вкладке Axes

на вкладке Axes

Я уже отвечал, там bytes: https://yadi.sk/i/fzy3Znph3Q23Ni

ERROR: S client not available

А node_exporter что отдает?

А node_exporter что отдает?

node_network_transmit_bytes

не, значение какое?

там gauge же

А значения занижены по сравнению с чем?

А значения занижены по сравнению с чем?

Вот тут Ваша правда, тот же nload в мбит/с выдает. Нельзя работать в пятницу вечером)

Спасибо

Ok, с этими единицами измерения постоянно путаница.

эх вот бы мне про мой вопрос так ответили, как выше)

вопрос про графану опять)) и видимо про cadvisor тоже. надо получить список имен контейнеров на ноде. и потом обратиться к каждому имени на определенный порт с помощью blackbox exporter для проверки доступности этого порта. ну типа как telnet-ом это можно сделать - telnet host:port если порт живой - OK если не отзывается - алерт. с чего начать? например список контейнеров пока могу увидеть в графане в Table по подобному реквесту: container_memory_usage_bytes{name=~".+",instance=~"$server:.*"} если на табе Time range указать в Override relative time == 10s то в таблице в графане отобразится точное кол-во сервисов с их полными именами. например: service1.awhwccj51cg691ouio6ghlxoy.s7nt0txv3ojcvupk9spmovcgu этот хостнейм я могу изнутри сварм сетки пинговать и телнетиться на него на нужный порт. вот как можно доставать такие хостнеймы и делать проверки на них?

вопрос про графану опять)) и видимо про cadvisor тоже. надо получить список имен контейнеров на ноде. и потом обратиться к каждому имени на определенный порт с помощью blackbox exporter для проверки доступности этого порта. ну типа как telnet-ом это можно сделать - telnet host:port если порт живой - OK если не отзывается - алерт. с чего начать? например список контейнеров пока могу увидеть в графане в Table по подобному реквесту: container_memory_usage_bytes{name=~".+",instance=~"$server:.*"} если на табе Time range указать в Override relative time == 10s то в таблице в графане отобразится точное кол-во сервисов с их полными именами. например: service1.awhwccj51cg691ouio6ghlxoy.s7nt0txv3ojcvupk9spmovcgu этот хостнейм я могу изнутри сварм сетки пинговать и телнетиться на него на нужный порт. вот как можно доставать такие хостнеймы и делать проверки на них?

Тут графана вряд ли поможет - метрики она не собирает.

1) Не обязательно пользоваться telnet есть tcp проверки 2) Есть какой-нибудь sd? DNS, Consul 3) Откуда такие хостнэймы монструозные? 4) И да, графана тут вообще ни при чем.

В том же Consul есть проверка живучести через docker engine, как вижу этот вариант хорошо подойдет.

3) - так именуется контейнер после старта в докер стеке. каждая реплика имеет после имени, такой вот цифробуквенный ID

dns есть только бортовой от докера. его и не поконфигурить то толком..

Хотя нет, хэсчеки от консула тут не очень помогут, состояние сервиса не передается в метриках, что печально

1) я про телнет в качестве примера - тако то да - в blackbox есть tcp проверка, но мне надо проверять именно те контейнеры, которые на выбранном хосте, ибо если проверять просто по хостнейму service1 - то сработает Round Robin и реквест уйдет на рандомный контейнер-реплику сервиса

а мне хочется понимать статус реплик контейнеров на каждой ноде - то есть надо обращаться именно к конкретной реплике - а это надо добавлять к хостнейму этот ID и ID я пока смог "снимать". только в графане, из метрик cadvisor похоже

технически надо както сразу в конфиг blackbox exporter передавать эти уникальные хостнеймы реплик и уже их и опрашивать. но надо учесть, что после рестарта контейнера - ID ведь меняется

А вот такой способ не работает discovery? https://github.com/prometheus/prometheus/issues/1766#issuecomment-245423308

3) - так именуется контейнер после старта в докер стеке. каждая реплика имеет после имени, такой вот цифробуквенный ID

https://github.com/moby/moby/pull/34686

А вот такой способ не работает discovery? https://github.com/prometheus/prometheus/issues/1766#issuecomment-245423308

дада tasks работает. и показывает все IP этого сервиса и он при этом же этой джобой все реплики и опросит, но как мне понять - на какой ноде какая реплика? сейчас в графане в дашборде я в дропбоксе выбираю ноду и смотрю на все метрики с нее. вот там же и хочу видеть статусы контейнеров. то есть используя чтото вроде - ,instance=~"$server:.*"}

ну всмысле - это мне дашборд покажет что какаято реплика DOWN - как мне понять на какой ноде ее искать.. вот

https://github.com/moby/moby/pull/34686

чет не понял, что это. реквест на добавление того, что мне поможет? я так понял это еще не реализовано?

А в instance будет только ip?

чет не понял, что это. реквест на добавление того, что мне поможет? я так понял это еще не реализовано?

ну похоже что вас спасёт, более менее предсказуемые хостнеймы, есть в тестинге 17.10

А почему не сделать relabel __meta_dns_name в какой нибудь host?

ну там у меня счас то, что в конфиге прометея описано - там file_sd_config и список нод

Прошу прощения, не работал со swarm и может не понимаю сложности в полной мере

вот такая job в конфиге прома - job_name: 'env' scrape_interval: 5s file_sd_configs: - files: - /etc/prometheus/env.yml