единственный стремный момент, это когда тыкаешь на этот endpoint в прометеусе

то он редиректит вот на такую фигню

http://942c855bc906:53000/metrics

то есть не локал хост, а что то непоятное

в чем может быть проблема ?

ну и сосбветнное кажыдк 5 сек ошибка Get http://localhost:53000/metrics: dial tcp 127.0.0.1:53000: connect: connection refused

Мой скрап конфиг scrape_configs: - job_name: 'nodeexporter' scrape_interval: 5s static_configs: - targets: ['nodeexporter:9100'] - job_name: 'cadvisor' scrape_interval: 5s static_configs: - targets: ['cadvisor:8080'] - job_name: 'prometheus' scrape_interval: 10s static_configs: - targets: ['localhost:9090'] - job_name: 'pushgateway' scrape_interval: 10s honor_labels: true static_configs: - targets: ['pushgateway:9091'] - job_name: 'tutorial-rpc-metrics' scrape_interval: 5s honor_labels: true static_configs: - targets: ['localhost:53000']

проблема в том что у вас пром в докере

а сервис не в докере

точняк! я совсем про это забыл

Спасибо!

проблема в том что у вас пром в докере

ПОдскажешь как решить? Логически будет правильно прокинуть какой то интерфейс в докер композере что б он типа был в одной сети верно ?

ПОдскажешь как решить? Логически будет правильно прокинуть какой то интерфейс в докер композере что б он типа был в одной сети верно ?

С помощью blackbox exporters решаешься

Это что то подобие прокси?

Нет

Можно ридми почитать

Можно ридми почитать

?

Вообще не понял при чём тут блекбокс экспортер

Тебе надо чтобы http запросы ходили с прометея в твой порт, как это сделать - тебе решать

Можно сунуть в одну сеть, можно поставить проксю

есть вопрос, умеет ли prometheus_client в python вешать метрику в pushgateway с кастомным timestamp'ом ?

а зачем?

пушгейтвей же будет хранить только последнее

а прометей при сборе не учитывает ts?

нет

концепция была в отправке метрики, которая могла бы стать аннотацией для графаны, для нанесения апдейтов на графики и прочих кастомных сообщений

ну ты можешь это делать

если будешь посылать когда событие произошло

но события лучше не в прометее хранить всё-таки

а что бы подошло в качестве такого источника аннотаций? elastic или mysql?

Evgeny akumuli бы подошёл? %)

ваще эластик вполне сгодится

и мускуль вроде тоже сгодится

там же мало данных будет

Кто сталкивался с багом в UI Grafanы, при редактировании дашборда, указатель ввода отображается "не там" То есть тыкая на на букву n в node_cpu, на самом деле я нахожусь в слове instance sum(irate(node_cpu{instance="$host"}[5m])) by (mode) * 100 / count(node_cpu{ instance="$host"}) by (mode) Понятно объяснил? :) В Linux на Chrome и Firefox - не норм В Windows на IE и Chrome - норм В MacOS на Chrome и Safari - норм

Немного пиратства

Кто сталкивался с багом в UI Grafanы, при редактировании дашборда, указатель ввода отображается "не там" То есть тыкая на на букву n в node_cpu, на самом деле я нахожусь в слове instance sum(irate(node_cpu{instance="$host"}[5m])) by (mode) * 100 / count(node_cpu{ instance="$host"}) by (mode) Понятно объяснил? :) В Linux на Chrome и Firefox - не норм В Windows на IE и Chrome - норм В MacOS на Chrome и Safari - норм

у меня в хроме в линуксе всё было ок

у меня в хроме в линуксе всё было ок

забыл отписаться, что проблема не возпроизводится на другой такой же машине

так что это что-то в окружении

спасибо.

#books

Мужики, у кого OpenTSDB

Call queue is full on /0.0.0.0:16020, too many items queued ? как избавится??

Ого, живой пользователь opentsdb?

Уже и региональный сервер перегружал

Ой не пинайте… Такой кусок говна

HDFS->HBASE->OPENTSDB

везде свой гемморой

Ну они ж всегда так были вроде

Всегда

Но после прома и кликахуса от этого потрясывет

а salting включен? возможно слишком много данных идет на один region server, от чего у него растет latency

а salting включен? возможно слишком много данных идет на один region server, от чего у него растет latency

Сключен, этот сервер выведен из под лоадбалансера

всего 7 нод и 28 regions

Average rate 1k rps

это вроде не много

может у него там compaction прост

вот хз что там у него Оно как-то рандомного колом встает И не понятно куда дальше копать

хз, я не работал с opentsdb, только с hbase, hbase обычно из-за compaction-а колом встает

хз, я не работал с opentsdb, только с hbase, hbase обычно из-за compaction-а колом встает

В логах что-то было с compatcion

2018-08-21 11:51:28,940 ERROR [CompactionQueue.call] - Failed to read a row to re-compact org.hbase.async.CallQueueTooBigException: Call queue is full on /0.0.0.0:16020, too many items queued ? Caused by RPC: GetRequest(table="tsdb", key=[12, 0, 0, -114, 91, 123, 86, 0, 0, 0, 16, 0, 51, 20, 0, 0, 21, 0, 14, 104, 0, 0, 22, 0, 0, 3], family=null, qualifiers=null, attempt=1, region=RegionInfo(table="tsdb", region_name="tsdb,\x0C\x00\x00\x8EY\xA5\x1F\x16\x00\x01,1534514793529.2003d493f538296266b60eb32da8e45b.", stop_key=[12, 0, 2, 34, 90, -41, -79, -48, 0, 0, 1, 1, -19, 104, 0, 0, 5, 0, -91, 73, 0, 0, 33, 2, 80]))

как-то так это выглядит

ERROR: S client not available

Кто-нибудь следит за vSphere силами Prometheus и Grafana? В паблике что-то кот наплакал

Там где-то был экспортер

был экспортер да

хз в каком состоянии

Можно сунуть в одну сеть, можно поставить проксю

Блэкбокс так и не понял с чем есть, все сделал через одну сеть

про всфера-экспортер вспомнинали где-то всего месяц назад

Попробовал этот https://github.com/pryorda/vmware_exporter с хостами и сторами - ок с vm - проблемы cannot get vm metric В код пока не лез Буду смотреть этот https://github.com/sapcc/vcenter-exporter

Попробовал этот https://github.com/pryorda/vmware_exporter с хостами и сторами - ок с vm - проблемы cannot get vm metric В код пока не лез Буду смотреть этот https://github.com/sapcc/vcenter-exporter

пермишены ?

пермишены ?

на рид все, но версия с пермишенами пока основная, для меня сфера - сервис, завтра саппорт посмотрит

ок да

расскажите чего получилось ? у меня немножо фонвый интерес к теме есть. но сам пока не хочу погружаться

да

Кто-то мониторил logspout?)

Аххахаха, Г в квадрате https://habr.com/company/sberbank/blog/420731/

Omg

не, ну а чё, кто то сомневался :)

стикера "слабоумие и слабоумие", к сожалению, нет

впрочем, учитывая, из чего они выбирали – заббикс весьма и весьма неплохо смотрится

есть ощущение, что они из 2005 выпрыгнули и решили запилить хардкорную статью на хабр

ну чоты. просто для них 2005 не легаси ещё

В 2005 не было графита?

графит не охвтывает схд.

Этого маркетологи требуют

Статьи )

и сеть тоже не охватывает

так что чо нет то...

Ну они не виноваты, определенные корпоративные ограничения связывают руки в плане выбора технологий

графит, строго говоря – вообще ничего не охватывает