то есть 600iops идет

не так уж мало

потому и спросил про размер сразу

я всегда думал, что i/o wait это только про то, когда в диск упираешься

может ли так куб управлеть CPU time между подами?

что?

ну когда на ноде становится слишком мало свободного CPU и Docker-демон отдает его нодам по мере того, сколько они запросили

докер-демон этим не занимается

ты приоритеты по кпу что ли хочешь?

так они уже есть

тогда о чём ты спрашиваешь?

каждый слейв запрашивает 6 cpu units и 6 гигов памяти и все равно очень сильно тормозит

а сколько у тебя есть?

на ноде 16

при i/o wait time в 15-20 процент и idle time в 82 процента

я спрашиваю про то, может ли являться i/o wait какой-то специфической проблемой куба...или это только сигналит о том, что диск тормозит

Попробуйте диск раскукожить в три раза - это увеличит oips, протестите упираетесь ли в диск

какая-нибудь древняя жаба, которая не умеет в cgroups + магия женкинсовских слейвов - а виноват куб

какая-нибудь древняя жаба, которая не умеет в cgroups + магия женкинсовских слейвов - а виноват куб

мейнстрим

подскажите по прометеус-оператору, вот по этой схеме (из мануала фактически) https://478h5m1yrfsa3bbe262u7muv-wpengine.netdna-ssl.com/wp-content/uploads/2018/09/prometheus_operator_servicemonitor.png сервис монитор забирает метрики с сервисов,. а как мне напрямую собирать уникальные метрики с подов напрямую? это умеет оператор или надо что то более правильное применять и не ходить таким путем?

а чем вы мониторите ноды?

подскажите по прометеус-оператору, вот по этой схеме (из мануала фактически) https://478h5m1yrfsa3bbe262u7muv-wpengine.netdna-ssl.com/wp-content/uploads/2018/09/prometheus_operator_servicemonitor.png сервис монитор забирает метрики с сервисов,. а как мне напрямую собирать уникальные метрики с подов напрямую? это умеет оператор или надо что то более правильное применять и не ходить таким путем?

сервисмониторы это способ сгенерировать кусок конфига для прометея

а чем вы мониторите ноды?

что именно?

подскажите по прометеус-оператору, вот по этой схеме (из мануала фактически) https://478h5m1yrfsa3bbe262u7muv-wpengine.netdna-ssl.com/wp-content/uploads/2018/09/prometheus_operator_servicemonitor.png сервис монитор забирает метрики с сервисов,. а как мне напрямую собирать уникальные метрики с подов напрямую? это умеет оператор или надо что то более правильное применять и не ходить таким путем?

в смысле сервисмонитор сам по себе ничего не собирает, он генерит джобу в прометее с типом endpoints

а чем вы мониторите ноды?

Заббиксом же

Заббиксом же

а эти всякие консулы?

prometheus?

а эти всякие консулы?

Все знают, что единственный нормальный мониторинг - это заббикс

Все знают, что единственный нормальный мониторинг - это заббикс

он рядом ставиться на каждую тачку?

сори за тупые вопросы

мб есть туторил?

шутка это

Так бы и начал, а то я уже разошелся

в смысле сервисмонитор сам по себе ничего не собирает, он генерит джобу в прометее с типом endpoints

да, я это имел ввиду, все верно. как ему указать, чтоб он ходил смотрел именно поды а не сервисы? или я хочу странного ?

сори за тупые вопросы

Ставь пром

да, я это имел ввиду, все верно. как ему указать, чтоб он ходил смотрел именно поды а не сервисы? или я хочу странного ?

endpoints по-твоему это что?

endpoints по-твоему это что?

в той штуке откуда я читаю, явно пишут, что мол эндпоиндс это сервисы, не поды. но я не щупал, только прицеливаюсь. т.е. можно эндпоинами указать поды из какого либо деплоймента или с нужным лейблингом?

в той штуке откуда я читаю, явно пишут, что мол эндпоиндс это сервисы, не поды. но я не щупал, только прицеливаюсь. т.е. можно эндпоинами указать поды из какого либо деплоймента или с нужным лейблингом?

ты эндпоинты можешь руками создать, но их обычно генерит kind: Service

я у себя сделал kind: Service, который посылает на поды с портом name: metrics и натравил на него сервисмонитор

я у себя сделал kind: Service, который посылает на поды с портом name: metrics и натравил на него сервисмонитор

все равно пока не ясно, как он с каждого пода вытащит уникальный метрикс, или я просто не докопал до нужной глубины. ладно, буду пробовать. спасибо.

в смысле?

эндпоинт - адрес пода обычно

он рядом ставиться на каждую тачку?

Серверная часть отдельно. А на каждую ноду ты ставишь бинарь node_exporter. Потом в прометеусе (серверная часть) в конфиге targets указываешь все адреса нод. Готово

Серверная часть отдельно. А на каждую ноду ты ставишь бинарь node_exporter. Потом в прометеусе (серверная часть) в конфиге targets указываешь все адреса нод. Готово

а если нод 1000 ))

ты ж не руками ставишь

и не руками вписываешь

а если нод 1000 ))

Я не думаю, что тот, кто спрашивать “чем мониторить ноды” имеет уже 1000 нод

я у себя сделал kind: Service, который посылает на поды с портом name: metrics и натравил на него сервисмонитор

я вот про это. если сделать их kind: Service разве это не будет агрегируемое значение или случайное с любого пода, которое стоит за сервисом? возможно я не верно понимаю примитив сервиса.

не будет

Ну и как бы в чем проблема это раскатать плейбуком, например?

прометей смотрит в сервис, находит его kind: Endpoints и смотрит уже в них

а если нод 1000 ))

Если ты подразумеваешь автодискавери - то мчи быстрее разворачивать заббикс

да хорош уже стебать человека

какая-нибудь древняя жаба, которая не умеет в cgroups + магия женкинсовских слейвов - а виноват куб

скорее всего

да хорош уже стебать человека

Да ну зато "всё само”

Если ты подразумеваешь автодискавери - то мчи быстрее разворачивать заббикс

прометей смотрит в сервис, находит его kind: Endpoints и смотрит уже в них

во, так вроде понятнее. спасибо. буду пробовать.

Ну покажи уже все свои гифки

Ну покажи уже все свои гифки

тут не клауд флуд))

ну так что? какой сервис мониторинга взять?

прометей

Ну покажи уже все свои гифки

я просто подбирал подходящую

ну так что? какой сервис мониторинга взять?

Подходящий под твои задачи. Если у тебя ничего сейчас нет, начни с прометеуса.

если нет времени, а есть деньги - датадог

ну у меня 15 тачек, что то легкое бы)

и бесплатное

prometheus

но он не бесплатный

зябиииикс

хорошо настроить прометей стоит дорого

и бесплатное

Пром

забикс мне нравится, пром не слышал

во, так вроде понятнее. спасибо. буду пробовать.

https://prometheus.io/docs/prometheus/latest/configuration/configuration/#endpoints вот релейбелинг металейблы которые можно юзать в релейбелингс в сервисмониторе, сверху ещё добавляются металейблы подов и сервиса

prometheus.io

забикс мне нравится, пром не слышал

Andor а ты говоришь, что я шуткую

а пром это прометеус) ок

а пром это прометеус) ок

всё так. Только тебе нужно понимать архитектуру прома, чтобы у тебя после заббикса не случился когнитивный диссонанс

Сам пром - это просто коллектор, который бегает по указанным хостам и собирает информацию, которую там предоставляют экспортеры. Он не умеет алертить. Это делается дополнительным плагином, который называется alertmanager. Так же он не имеет интерфейса для построения графиков и вот это вот всё красивое. Для этого к прому подключается графана (можно алертить и графаной, кстати. Но сейчас обязательно найдутся те, кто скажет, что это не тру). Но Графана, например, “из коробки” умеет в интеграцию с телеграмом. И шлет туда алерты вместе с графиками, что местами очень удобно.

И да начнется срач

закончился уже