показывай что именно ты дёргаешь

конфиг выше - реальный?

http://10.1.29.30:6677/federate

да

params: 'match[]': - '{job="kubernetes-cadvisor"}' - '{job="kubernetes-service-endpoints"}'

вот это кто добавлять будет?

иди в прометее скопируй урл который он дёргает

на той же страничке

вот это кто добавлять будет?

https://gist.github.com/beatlejuse/c88ea88ddd053c96c66d9bd9884d6140

иди в прометее скопируй урл который он дёргает

.

вот полный конфиг. там эти секции есть.

это как?

открываешь в прометее страничку /targets

ищешь ту что проблемная

нажимаешь правой кнопочкой на мышке или тачпаде на поле Endpoint твоего проблемного таргета и выбираешь пункт "Копировать URL" или "Copy URL"

открываешь консоль

заходишь по ssh на сервер где стоит твой federation прометей

пишешь там curl (пробел обязателен)

(чорт, телеграм съедает пробел в конце ``)

потом нажимаешь правую кнопочку мышки или тачпада и выбираешь пункт "Вставить"

или "Paste"

точные названия пунктов меню могут отличаться, но алгоритм примерно такой

т.е. сделать curl http://10.1.29.30:6677/federate из пода с собирающим прометеем, так?

нажимаешь правой кнопочкой на мышке или тачпаде на поле Endpoint твоего проблемного таргета и выбираешь пункт "Копировать URL" или "Copy URL"

.

sh: curl: not found

прекрасно

но я думаю ты меня уже троллируешь

если из моего объяснения тебе ещё что-то непонятно, то может позовёшь кого-нибудь более опытного помочь?

ирл

подозреваю что контейнер очень специфичный, поэтому я упомянул не про контейнер, а про сервер

образ оригинальный - quay.io/prometheus/prometheus:v2.0.0

с самой ноды пробовал до этого

да разберись уже сам

как уже сказал - отрабатывает меньше, чем за секунду

нажимаешь правой кнопочкой на мышке или тачпаде на поле Endpoint твоего проблемного таргета и выбираешь пункт "Копировать URL" или "Copy URL"

это сообщение было подправлено, прочитай ещё раз

я вощем не знаю что в фразе "скопировать урл" непонятно

а, дошло )) там урл другой )) http://10.1.29.30:6677/federate?match%5B%5D=%7Bjob%3D%22kubernetes-cadvisor%22%7D&match%5B%5D=%7Bjob%3D%22kubernetes-service-endpoints%22%7D

и время всё-таки лучше не на глазок мерять, а например командой time

ну он выдал мне большую простыню в консоль

time curl ... >/dev/null

сколько секунд пишет?

real 0m33.111s user 0m0.034s sys 0m0.133s

а таймаут у тебя?

14 ))

ну вот видишь

и вариантов два: либо сам прометей тормозит на выдаче метрик

либо сеть

f fff ff,fff

второе вряд ли, да?

посмотри вообще на производительность того прометея, может он сам просто тормозит

памяти там ему может добавить или процессоров

Ребят, привет. Кто может подсказать? у меня алертманагер постоянно наваливает time="2018-06-06T08:27:22Z" level=error msg="Error on notify: context deadline exceeded" source="notify.go:283" time="2018-06-06T08:27:22Z" level=error msg="Notify for 1 alerts failed: context deadline exceeded" source="dispatch.go:262"

можно как то получить более дебажную ошибку ?

блин, клинит телеграм, раскладка меняется с десятого раза ((

да, сеть вряд ли - они в плоской сети

а вот по процу у него скорее всего есть лимит

и вариантов два: либо сам прометей тормозит на выдаче метрик

а есть какой нибудь ориентир? какого показателья можно добиться? потому что метрик там немного - только основные по железу. не очень понятно, почему он их 30 секунд качает

а есть какой нибудь ориентир? какого показателья можно добиться? потому что метрик там немного - только основные по железу. не очень понятно, почему он их 30 секунд качает

ну посмотри внутренние метрики прометея, даже дашборда готовая есть

это какая?

ну например такая https://grafana.com/dashboards/3662

Ни намека на тестовые данные или хоть что-то, что позволит сделать сравнение самостоятельно

this > hosts report 10 CPU metrics every 10 seconds and also > timestamp_ns bigint seems legit.

Ты можешь из этого реальные тестовые данные восстановить?

Ты можешь из этого реальные тестовые данные восстановить?

нет конечно, я наобот с тобой согласен - нет данных = не повторить = как верить? плюс схема с бигинтом и наносек таймстампами кажется для сетапа нечестной = это "обычный" вендорский "бенчмарк"

ERROR: S client not available

this > hosts report 10 CPU metrics every 10 seconds and also > timestamp_ns bigint seems legit.

Более того, там в row key кладется еще и день, т.е. вообще можно было small int'ом обойтись под таймстамп

Я не не то чтобы сомневаюсь в результатах. Может все так и было. Просто без данных не сравнить с чем-то ещё.

да я тоже не говорю что они врут в результатах просто. это я не знаю. но сетап не достаточно убедительный чтобы их честным результатам верить как показателю что ts быстрее с*

Verbiage

Мне было бы интересно проверить, сможет ли она малоизвестная tsdb забороть их сетап, работая на t2.micro инстансе.

Но увы :(

Мне было бы интересно проверить, сможет ли она малоизвестная tsdb забороть их сетап, работая на t2.micro инстансе.

"одна малоизвестная tsdb" - лойс =)

ребят подскажите а как прометеус может получать список сервисов по http или каким образом можно динамически его получать с уже готового сервиса

Мне было бы интересно проверить, сможет ли она малоизвестная tsdb забороть их сетап, работая на t2.micro инстансе.

Z что ли?

"одна малоизвестная tsdb" - лойс =)

Самое обидное, что если таки сможет забороть, в это никто не поверит. Слишком неправдоподобно.

ну например такая https://grafana.com/dashboards/3662

спасибо тебе большое за помощь! и за терпение ))

да, был лимит на cpu 200m

поставил 300 - теперь запрос выполняется за 7сек

ну 200m это как-то совсем жёстко

господа, а это нормально, что в графане (4), при изменении timerange за который отображать график, первая точка будет показывать 0, даже если там есть данные?

4?

да, в 4

нашел. Stacking & Null value > Null value

Здравствуйте! Вопрос следующий, есть 2 графика. графана

Как объединить их в один, толбец - хост - у него 4 диска - их выводить в одном столбце

В идеале получить следующее

Кто-нибудь в telegraf настраивал мониториг софтового или железного рэйда?

и на чём лучше алертин делать?

Ребят а не подскажите remote_read я ведь могу забрать конфиг url которые надо проверять ? какой формат нужно забирать ?

Что-то тут не подсказывают(

кислота

кислота

и щелочь. и вообще хим лабу напоминает.

не я делал, ни я девопс и вообще я ни в чем не виноват) Посоветуйте, скажите про какашки, передам)