Ну кастомные в том плане что не cpu/mem и тп. А так то они в формате прометея. Вопрос скорее по доступу. Потому что как выше говорил, прометей стоит на отдельной тачке без кубера.

Да, там не важно какие метрики, он всё коллектит

У меня прометей вне кубера. Находит поды и потом ходит на под ip за метриками. Сервисы мониторорит через proxy запрос через api кубера.

А как он ходит на ip кубера? Ведь если он на отдельной тачке, то ничего не знает про сеть кубера.

Я из вариантов вижу 2 решения. Организовать доступ в сеть на сетевом уровне или задеплоить некий прокси в кластер.

А как он ходит на ip кубера? Ведь если он на отдельной тачке, то ничего не знает про сеть кубера.

У меня сеть подов работает во всем дц.

Как вариант- поставьте прометей в кубере и сделайте ноде порт сервис и ходите в этот прометей с другого прометея

У меня сеть подов работает во всем дц.

А расскажи подробнее? У меня calico и там своя адресация.

А расскажи подробнее? У меня calico и там своя адресация.

У меня тоже калико. Анонсит сеть по bgp на роутеры

Как вариант- поставьте прометей в кубере и сделайте ноде порт сервис и ходите в этот прометей с другого прометея

+

Ребят, а настраивал кто-нибудь Prometheus на мониторинг кастомных метрик подов?

Под такую штуку отлично подходит Prometheus Operator

Как вариант- поставьте прометей в кубере и сделайте ноде порт сервис и ходите в этот прометей с другого прометея

И в таком случае он будет нечто вроде прокси ведь, да?

Под такую штуку отлично подходит Prometheus Operator

Спасибо, посмотрю что за зверь.

И в таком случае он будет нечто вроде прокси ведь, да?

Ну он будет коллектить все метрики с кубера сам.

А дальше отдавать кому хочешь

А дальше отдавать кому хочешь

А отдавать как? Будет публиковать как метрики или у него есть механизмы как например у zabbix proxy?

А отдавать как? Будет публиковать как метрики или у него есть механизмы как например у zabbix proxy?

https://github.com/prometheus/prometheus/blob/master/docs/federation.md

https://github.com/prometheus/prometheus/blob/master/docs/federation.md

Огонь. Спасибо ребят! Пойду изучать.

Огонь. Спасибо ребят! Пойду изучать.

Для метрик лучше сделай PVC и держи все без федераций как минимум так будет удобнее в плане подключения Grafana (любой дашбоард c grafana.com будет работать без допила), не забудь сразу сделать конфиги для алертменеджера. У меня сразу все работало через федерации, 1 прометеус собирал метрики из 3 кластеров + был 1 алертменеджер в который заходили все алерты - гемор еще тот, иногда отпадали эндпойнты и графики в Grafana без допила не работали.

Для метрик лучше сделай PVC и держи все без федераций как минимум так будет удобнее в плане подключения Grafana (любой дашбоард c grafana.com будет работать без допила), не забудь сразу сделать конфиги для алертменеджера. У меня сразу все работало через федерации, 1 прометеус собирал метрики из 3 кластеров + был 1 алертменеджер в который заходили все алерты - гемор еще тот, иногда отпадали эндпойнты и графики в Grafana без допила не работали.

Прометея через daemonset деплоил?

https://techcrunch.com/2018/08/29/google-steps-back-from-running-the-kubernetes-infrastructure/

расходимся

https://techcrunch.com/2018/08/29/google-steps-back-from-running-the-kubernetes-infrastructure/

И что плохого?

тестировать на RPi теперь будут?

@all #needFeedback Сделал генератор чартов через апиху. CLI прилагается :) https://github.com/egeneralov/helm-chart-generator-api https://github.com/egeneralov/helm-chart-generator-cli

Для метрик лучше сделай PVC и держи все без федераций как минимум так будет удобнее в плане подключения Grafana (любой дашбоард c grafana.com будет работать без допила), не забудь сразу сделать конфиги для алертменеджера. У меня сразу все работало через федерации, 1 прометеус собирал метрики из 3 кластеров + был 1 алертменеджер в который заходили все алерты - гемор еще тот, иногда отпадали эндпойнты и графики в Grafana без допила не работали.

А в чем проблема с федерацией была? Там метрики приезжают не as is?

https://techcrunch.com/2018/08/29/google-steps-back-from-running-the-kubernetes-infrastructure/

Гугл, АбиделсО, там столько мемберов, а башляю в основном я

ждет когда алибаба или какой-нибудь vmware будет закидывать бабло в сообщество и проталкивать принудительно свои фичи

Гугл, АбиделсО, там столько мемберов, а башляю в основном я

для гугла инфра для тестов стоит копейки тащемта

я думаю это просто принципиальная позиция

дело скорее в том, что отдельную CI команду для непрофильного проекта держать намного дороже. А так - и кредитов дали и платить з\п не им (наполовину)

А в чем проблема с федерацией была? Там метрики приезжают не as is?

Именно)

Именно)

А в чем отличие можешь рассказать?

Мне прост чтоб оценить уровень гемора

Там немного меняется запрос и динамические переменные нужно корректировать

по-гугловски

https://techcrunch.com/2018/08/29/google-steps-back-from-running-the-kubernetes-infrastructure/

это же про хостинг, а не про проект

Тут 90% кажется сидят в aws. Всем завидую

дороха жи)

Всем привет! Подскажите каким образом кубелет выкачивает новый имейдж с докер реджестри? К примеру у меня автодеплой сервиса в кластер проходит с помощью gitlab CI и Helm (Helmfile). У нас на девелоп кластер имейдж собирается с тегом develop и при автодеплое должен обновлятся, но этого не происходит. В спеке пода указываю pullPolicy: Always

Всем привет! Подскажите каким образом кубелет выкачивает новый имейдж с докер реджестри? К примеру у меня автодеплой сервиса в кластер проходит с помощью gitlab CI и Helm (Helmfile). У нас на девелоп кластер имейдж собирается с тегом develop и при автодеплое должен обновлятся, но этого не происходит. В спеке пода указываю pullPolicy: Always

Тык кубер не понимает, что у тебя новый image. Поставь тэг branch-build_id

Тык кубер не понимает, что у тебя новый image. Поставь тэг branch-build_id

Я думал там по хэшу имейджа умеет вытягигивать его(

Я думал там по хэшу имейджа умеет вытягигивать его(

Нет, это написано в доке

Нет, это написано в доке

Понял, спасибо.

Понял, спасибо.

Костыль вида docker pull в крон, если мучится не хочешь

@all #needFeedback Сделал генератор чартов через апиху. CLI прилагается :) https://github.com/egeneralov/helm-chart-generator-api https://github.com/egeneralov/helm-chart-generator-cli

Или вот так

Понял, спасибо.

.

Костыль вида docker pull в крон, если мучится не хочешь

Да я буду наверное пушить имейдж с еще с одним тегом

Костыль вида docker pull в крон, если мучится не хочешь

Прекратите! Только вечера такое видел. Бррр

.

Я просто думал при указании pullPolicy: Always он должен всегда имейдж обновлять

Мне кажется это с хелмом беда

Хелм этим не занимается. Он только изменения в объекте отслеживает. Если тэг не поменялся (как строка), то он ничего не делает.

Я просто думал при указании pullPolicy: Always он должен всегда имейдж обновлять

Этим должен заниматься CI/CD

кстати вопрос интересует давно - вот вроде кубернетес это все про хайлод, масштабирование и тд. А как вы в хайлод проект попали - свой вырастили или по найму в основном?

интересно с какой точки зрения - у кого есть опыт личный именно развития инфраструктуры. Типа там начиналось все с одной вдски, а сейчас 100 датацентров и все такое)

А то есть некоторое ощущение, что все наперебой советуют крутые инструменты всем подряд, но возникает подозрение что они их сами не внедряли , а в рабочей уже системе научились с ними работать. это как бы немного уже меняет картину

Какие аллюзии вас посещают

какие есть

Вы как нибудь с этим боритесь?

А Славик, это вы, сразу вас и не признал

интересно с какой точки зрения - у кого есть опыт личный именно развития инфраструктуры. Типа там начиналось все с одной вдски, а сейчас 100 датацентров и все такое)

Растил я, ток анальная боль с прогерами

Приветствую, "message": "failed to allocate a serviceIP: range is full" не могу разобраться куда съелись /16. Ззанято 277

Any one have doc related to configure rook storage in kubernetics

Разобрался.

Any one have doc related to configure rook storage in kubernetics

Just look the site. I have installed rook with doc from the rook’s site.

Всм привет. Кто работал с local-volume провиженером? Поддерживаются ли в нем квоты по месту? Может ли под заюзать места больше чем указано в PVC?

Всм привет. Кто работал с local-volume провиженером? Поддерживаются ли в нем квоты по месту? Может ли под заюзать места больше чем указано в PVC?

какие такие квоты? по его логике вы целое устройство отдаете. или раздел в pv

если делать mount bind из одного большого раздела, добром это не кончится

вооооот

спасибо!

нарезай LVM

Угу :( Это был запасной вариант

А есть ли уже готовое какое-нить решение для ЛВМ? lvm провиженер....?

такое только в пропозалах в дизайн

Эхххх. Спасибо!

А есть ли уже готовое какое-нить решение для ЛВМ? lvm провиженер....?

вручную (ну тоесть с ansible например) сейчас делаю. сервисов, которым нужен pv не так много, перед деплоем создаешь pv выбрав ноду вручную, опять же. было бы отлично если бы кто то делал это сам, еще учитывая другие ресурсы машины (ram\cpu)

в общем это все от нежелания крутить sds на тех же машинах. даже не знаю что лучше, юзать так локальные вольюмы или вертеть на маленьком кластере рядом еще и ceph

Даааа, при "отрицательном" бюджете хранилище создает просто кучу гемора

Можно еще наколхозить что-то вокруг flexvolume

Была наркоманская идея заюзать ansible внутри flexvolume

https://github.com/sysoperator/kube-lvm-flexvolume

я не пробовал сам =) нагуглилось

https://github.com/kubernetes/examples/tree/master/staging/volumes/flexvolume

короч оказывается так тоже можно

?

всем привет, пытаюсь интегрировать куб со слаком а он не находим пакет в хелме > helm install --name kube-slack-bot stable/kube-slack > Error: file "stable/kube-slack" not found как так то? вот же этот чарт: https://github.com/helm/charts/tree/master/stable/kube-slack

helm repo list?

helm repo list?

хм не смотрел, но нашел похожую проблему у людей: https://github.com/helm/helm/issues/2030 >rm -rf ~/.helm && helm init --client-only вылечил вот так

ээээээ

ну ладно

Кому интересен mcs.mail.ru ДЦ в МСК В конце месяца хотят RDS свой запустить

пока какой нибудь храбрец у них по граблям не пробежится, народ туда рисковать не пойдет)

подскажите как натравить prometheus-operator на другие namespace? создаю servicemonitor с указанием общего label, но он нихрена не подцепляет. Если же сервис создать в том же самом monitoring-namespace - тут же подхватывает

Ребят, а есть у кого-нибудь дока, как bpg из кубера аннонсить в локалку? А то чет не знаю с какой стороны и подойти даже