weldmeup
почему то ссылки удаляет чат
weldmeup
kuber = 1.13 один мастер + 2 ноды,
weldmeup
а похоже понял - сначала с докерфайла делаю image - потом image указываю в yaml файле controller-manager`а
Andrey
Ага.
weldmeup
Спасибо, пойду пошаманю
A
У всех кто использует Прометей метрики с ectd нормально собираются?
A
Там какие-то замуты с сертификатами и тд
A
Из коробки с хелм не хочет работать. Подскажите у кого работает?
Andrey
как принято апгрейдить statefulset c readwriteonce pvc?
Andrey
задеплоил сейчас графану из хелма, при обновлении конфига новый под не может запуститься, потому что не может примаунтить pv
A
задеплоил сейчас графану из хелма, при обновлении конфига новый под не может запуститься, потому что не может примаунтить pv
У тебя настроен pvc у графаны?
Andrey
надо как-то убить старый под, перед тем как запускать новый
Andrey
У тебя настроен pvc у графаны?
да, когда ставил, всё заработало. Обновляю helm чарт, поменялся pod template он пытается новый запустить
A
Обновления какого рода?
Andrey
ну как бы хотелось автоматом чтоб было :)
Andrey
так, вру, это deployment а не statefulset
Andrey
он pvc отдельно создаёт
Andrey
надо update strategy поменять
Andrey
в recreate
A
@gorilych ты прометей как ставил?
Andrey
через оператор
Andrey
он там по дефолту рядом ставится, если не выключить специально
Andrey
оператор - через helm, вместе с графаной
A
И соответственно таргеты из коробки там есть, ты можешь у себя посмотреть, метрики собираются с шедулере, контроллера и етсд?
Andrey
да + дашборды в графану хелмом запихиваются автоматом
Andrey
сделал helm install и стек для мониторинга готов
Andrey
правда повозиться пришлось, пока понял, что в values.yaml запихать
Andrey
мне ещё метрики с istio забирать надо
A
Посмотрите у себя в таргетах Прометея есть они?
Andrey
есть конечно, я ж настроил :)
Andrey
и в графане есть
A
Там порт и протокол какие у етсд
Andrey
не знаю, эти таргеты у меня дропаются. да мне и не надо, GKE ведь
Andrey
на бареметал тоже вчера настраивал, но всё похерил уже
A
не знаю, эти таргеты у меня дропаются. да мне и не надо, GKE ведь
Вот ... А то все хорошо, и все есть, я тоже так думал, а получил банан
Andrey
GKE?
A
Может просто не присматривался, есть ли именно эти таргеты...
A
Нет бареметал
Andrey
сейчас попробую у себя восстановить, посмотреть
Andrey
хм, на бареметал тоже дропаются
Andrey
если найду, что не так, отпишусь
A
хм, на бареметал тоже дропаются
Дропаются это просто, найдите сервисы этих экспортеров в систем и проставьте правильные селекторы, что бы обнаружились эндпоинты
A
Странно почему все молчат об этом...
Andrey
селекторы правильные
A
Ендпоинты есть@
A
?
Andrey
да, но дропаются
A
У сервисов
Andrey
а
A
kubectl get ep --all-namespaces -l release=kube-prometheus
A
Там есть они?
Andrey
действительно, не было эндпоинтов у сервиса.
Andrey
который оператор создал
A
)) мне кажется никто и не смотрел, поэтому и молчат
A
Измените его и они появятся, но дальше будет интересней, танцы с бубном
Andrey
да, поправил, появился таргет, но он в дауне
A
Вчера об этом писал, но все проигнорили
A
Все три в дауне так понимаю?
Andrey
Все три в дауне так понимаю?
у меня один. Etcd метрики отдаёт, курлом проверил. Я вижу три проблемы:
* пром идёт напрямую на nodeip, у меня etcd слушает на localhost - скорее всего я так через kubeadm задеплоил
* порт не 4001 а 2379
* нужно авторизоваться с клиентским сертификатом, пром пытается авторизоваться токеном - тут может быть проблема
A
у меня один. Etcd метрики отдаёт, курлом проверил. Я вижу три проблемы:
* пром идёт напрямую на nodeip, у меня etcd слушает на localhost - скорее всего я так через kubeadm задеплоил
* порт не 4001 а 2379
* нужно авторизоваться с клиентским сертификатом, пром пытается авторизоваться токеном - тут может быть проблема
Все так! Курлом используя сертификаты из pki/etcd и по локалхосту все отдает, но как теперь эти сертифы подсунуть прому?
Andrey
а не по локалхосту?
A
Проверьте ещё шедулер и контроллер, там проще, там нет https
A
Только по локалхосту
Andrey
ну вот надо сначала эту проблему решить, авторизация по токену может сработать
A
Это тоже косяк но решаемый
Andrey
куб же как-то конектится
A
Так же как и с шедулером и контроллером
Andrey
Все так! Курлом используя сертификаты из pki/etcd и по локалхосту все отдает, но как теперь эти сертифы подсунуть прому?
вот тут советуют через секрет, а потом указать это в tlsconfig в endpoints для servicemonitor https://github.com/coreos/prometheus-operator/blob/master/contrib/kube-prometheus/docs/monitoring-external-etcd.md
Andrey
Andrey
в хелм чарте вроде есть