Кстати, @kvaps, спасибо за коммент на stackoverflow по поводу ротации сертификатов аписервера, очень помогло

спасибо за спасибо :)

юзать норм теги а не latest?

Есть много кейсов, когда нужен latest https://github.com/kubernetes/kubernetes/issues/33664

а там разве меняли api?

Versions 17.06+ might work, but have not yet been tested and verified by the Kubernetes node team. Keep track of the latest verified Docker version in the Kubernetes release notes.

только это смущает

Они end to end тесты не гоняют на 17.06+.

у нас работает %)

chown где происходит? это должен быть инит контейрен бегущий от рута, иначе же не выйдет сделать chown если контейнер сам тоже бежить от юзера pg_user 999

Делал через инитконтейнерс, эффекта не увидел

initdb: could not create directory "/var/lib/postgresql/data/pgdata/pg_wal": Permission denied

а owner и права какие у /var/lib/postgresql/data/pgdata после отработки инит контейнера, можно увидеть?

ок, kubectl сразу их удалил

Подскажите как лучше быть. Есть кластер в AWS и в нем есть Ingress. Как лучше или как будет практичнее, выводить Ingress через Service с типо LoadBalancer или запускать Ingress через DaemonSet и потом на него натравить TCP LB ?

если много траффика и критичен респонс тайм то демонсет чтобы избежать снат внутри кластера, иначе лучше деплоймент с HPA

Versions 17.06+ might work, but have not yet been tested and verified by the Kubernetes node team. Keep track of the latest verified Docker version in the Kubernetes release notes.

Docker 18.x (не помню какая именно) точно не работает

не я пожалуй пока из xenial стяну :)

если много траффика и критичен респонс тайм то демонсет чтобы избежать снат внутри кластера, иначе лучше деплоймент с HPA

спасибо !

У меня работающая кофигурация от неработающей отличается только одной строчкой kind: PersistentVolume apiVersion: v1 metadata: name: postgres-pv spec: accessModes: - ReadWriteOnce capacity: storage: 3Gi storageClassName: "standart" hostPath: # here! # store in shared folder - not working #path: {{ .Values.persistence.mountPath }}/pg # store in minikube - working path: /data/pg/ type: DirectoryOrCreate Если pv в minikube - то работает, если pv в папке расшариваемой то нет. И это чисто проблема с правами в postgres. Другие контейнеры спокойно маунтятся и пишут файло в расшириваемую папку.

хмм а папка которая маунтится в миникуб - там какие права? И как оно маунтится, может у юзера от которого миникуб бежит не может в нее писать (я с миникубом не сталкивался, хз как там устроено всё, чисто идеи)

но это было лет 5 назад

прошло 5 лет и все также на макоси только nfs и работает нормально :(

не удивлён

https://github.com/mstrzele/minikube-nfs вон чо гуглится

Кто нибудь использует дашборды для ingress-nginx под grafana? поделитесь хорошим

Есть много кейсов, когда нужен latest https://github.com/kubernetes/kubernetes/issues/33664

опять за рыбу гроши, это антипаттерн - конечно можно костыльнуть но зачем если делается деплоймент пайплайн с нуля?

опять за рыбу гроши, это антипаттерн - конечно можно костыльнуть но зачем если делается деплоймент пайплайн с нуля?

Вопрос был не зачем, а как, всё-таки. Есть необходимость использовать latest или какой-то ещё фиксированный тэг. K8s - это платформа, на которой люди делают то, что им надо. Некоторые из кейсов описаны в issue, который я привёл.

да нет такой необходимости. Как понять что сейчас продеплоено? Как делать роллбек?

Вопрос был не зачем, а как, всё-таки. Есть необходимость использовать latest или какой-то ещё фиксированный тэг. K8s - это платформа, на которой люди делают то, что им надо. Некоторые из кейсов описаны в issue, который я привёл.

нет такой необходимости

это как утверждать что можно отверткой забивать гвозди ведь это всего лишь инструмент

и спрашивать как это делать быстрее и не царапя руки

"молоток не предлагать!"

Вопрос был не зачем, а как, всё-таки. Есть необходимость использовать latest или какой-то ещё фиксированный тэг. K8s - это платформа, на которой люди делают то, что им надо. Некоторые из кейсов описаны в issue, который я привёл.

используй тэг latest, а в image вставляй sha256 digest, вот и все дела

новый формат спама?

вроде не новый

нет такой необходимости

Например https://github.com/kubernetes/kubernetes/issues/33664#issuecomment-253880212

Closed

"хочу сделать через жопу" != "есть необходимость"

так там же написано про то, что тэгать не все могут

вот и не тегай

И при kubectl patch остаётся история, как при apply?

не нужно придумывать велосипед имхо, нужно всегда писать в stdout/stderr контейнера. А вот как оттуда выгребать и куда слать логи - уже не приложения отвественность

Согласен. Какие адекватные варианты для сбора логов после с учётом мультилайна и возможностью игнорить некоторые контейнеры или поды? А то регулярно пробиваются лимиты saas сборщика, а у себя поднимать greylog или elk или efk пока нет желания

линтера не существует с подсказками для yml файлов? Чтоб в контексте кластера еще работало

Например https://github.com/kubernetes/kubernetes/issues/33664#issuecomment-253880212

Я написал крон джобу, ходит в репозиторий докера за датой образа, если обновился, то идет в куб и обновляет лейбл деплоймента, кубер делает ролл аут нового образа. В принципе у меня есть готовый докер образ и ямлик для такой джобы

Согласен. Какие адекватные варианты для сбора логов после с учётом мультилайна и возможностью игнорить некоторые контейнеры или поды? А то регулярно пробиваются лимиты saas сборщика, а у себя поднимать greylog или elk или efk пока нет желания

я собираю fluentd, пробовал прикрутить плагин для склеивания стектрейса но в итоге забил - можно и так читать в кибане. Ну и часть мусорных логов фильтрую по паттерну и не отправляют в эластик

Коллеги а кто нибудь подключал много кластеров кубернетис к одному prometheus?

в плане федерейшн или чтобы прометей напрямую в SD разных куберов ходил?

забил потому что у меня пхп приложения и девелоперы накрутили какую-то либу которая стектрейс форматирует красиво (видимо чтобы на веб странице смотреть), а в cli так такой треш выходит, либу настраивать только для cgi режима они не хотели и я забил

забил потому что у меня пхп приложения и девелоперы накрутили какую-то либу которая стектрейс форматирует красиво (видимо чтобы на веб странице смотреть), а в cli так такой треш выходит, либу настраивать только для cgi режима они не хотели и я забил

сочувствую твоей боли бро

это только вершина айсберга

я понимаю

потому и

самое прекрасное я считаю это кастомный эррор хендлер который пишет ошибки в редис

стандартная практика - в каждом кластере свой прометей, хранит метрики где-то неделю отдельно стоит другой прометей, в который отправляются только избранные метрики из всех кластеров, и тут они уже хранятся несколько месяцев для аналитики

но вот если редис лежит или что-то с настройками подключения - это поделие уходит в бесконечную рекурсию

в плане федерейшн или чтобы прометей напрямую в SD разных куберов ходил?

А как лучше? Пока думаю про федерацию

лучше с федерацией

федеративному прометею не надо будет иметь доступ до подов

хмм а папка которая маунтится в миникуб - там какие права? И как оно маунтится, может у юзера от которого миникуб бежит не может в нее писать (я с миникубом не сталкивался, хз как там устроено всё, чисто идеи)

из моих контейнеров запись идет ок в подшаренную папку. Это вопрос контейнера постгре, действий в нем от пользователя 999:999 и миникуба

стандартная практика - в каждом кластере свой прометей, хранит метрики где-то неделю отдельно стоит другой прометей, в который отправляются только избранные метрики из всех кластеров, и тут они уже хранятся несколько месяцев для аналитики

Это не федерация даже.. хм.. это двух уровненная федерация?)

т.е. я правильно понимаю, есть другой контейнер который может писать и читать в PV направленный на эту папку? проблема только с этим конкретным образом postgre?

не, обычная федерация

в каждом кластере прометей + федеративный прометей

Это не федерация даже.. хм.. это двух уровненная федерация?)

так в прометее федерация реализована

кластерные делают какую-то агрегацию и её собирает федеративный

а ваще есть Project Thanos

т.е. я правильно понимаю, есть другой контейнер который может писать и читать в PV направленный на эту папку? проблема только с этим конкретным образом postgre?

ага

с виду интересный с long-term сторейжем

но это обсуждение лучше в церковь метрик, а не сюда

так в прометее федерация реализована

https://banzaicloud.com/blog/prometheus-federation/

Вот такую короче ты рекомендуешь:)

забавно

несколько кубер-кластеров для разных задач

зачем тогда кубер вообще

но вообще да, примерно такая схема

Вот такую короче ты рекомендуешь:)

у нас есть продуктовое требование - использовать datadog поэтому на данный момент мы собирались данные со всех кластеров лить не в отдельный прометей а в датадог) и я не знаю во сколько денег нам это встанет)

ага

https://github.com/kubernetes/minikube/issues/1990 в-общем, нужно сделать постгре контейнер который будет бежать от рута

https://github.com/kubernetes/minikube/issues/1990 в-общем, нужно сделать постгре контейнер который будет бежать от рута

я тоже пришел к такому мнению, все остальное не сработало

несколько кубер-кластеров для разных задач

Географически разные кубера

Это не федерация даже.. хм.. это двух уровненная федерация?)

Это гребаное сегодня и Прометей. В графите аппроксимация данных лет 100 уже как реализована.

Это та ой дикий костыль держать два Прометея, но вариантов - нет

Я написал крон джобу, ходит в репозиторий докера за датой образа, если обновился, то идет в куб и обновляет лейбл деплоймента, кубер делает ролл аут нового образа. В принципе у меня есть готовый докер образ и ямлик для такой джобы

Первый раз вижу cd на cron

Странно

я собираю fluentd, пробовал прикрутить плагин для склеивания стектрейса но в итоге забил - можно и так читать в кибане. Ну и часть мусорных логов фильтрую по паттерну и не отправляют в эластик

Ок, попробую тоже таким путем сходить

я тоже пришел к такому мнению, все остальное не сработало

так баг открытый вот он, другого мнения быть не может :(

Это гребаное сегодня и Прометей. В графите аппроксимация данных лет 100 уже как реализована.

Держать 8 прометеев для 8 кластеров. Плюс 9 глобальный. И видимо одна графана глобальная

Держать 8 прометеев для 8 кластеров. Плюс 9 глобальный. И видимо одна графана глобальная

Увы. Есть еще заббикс...

Увы. Есть еще заббикс...

Хочу без него) надеюсь заменит) посмотрим)

так баг открытый вот он, другого мнения быть не может :(

вопрос не в баге а в элегантной подпорке

Это гребаное сегодня и Прометей. В графите аппроксимация данных лет 100 уже как реализована.

за TICK Stack денег хороших хотят, да и инфлюкс себя дескридитировал уже очень сильно

за TICK Stack денег хороших хотят, да и инфлюкс себя дескридитировал уже очень сильно

А чем инфлюкс?

А чем инфлюкс?

Q: Я хочу взять InfluxDB чтобы запилить X A: Не надо. Q: Но он же такой хороший, вот про него сколько сказано крутого A: Это маркетинг. Не ведитесь. Q: А какие у него проблемы? Вот я в него начал отправлять 20 метрик в секунду и он отлично рабоатет! A: Вот краткий и неполный список проблем на момент версии 1.4 (применимо и к более младшим): 1. Стабильность. Периодически падает и теряет данные. 2. Скорость. Заявленное в маркетинговых бумажках касается не постоянного рейта, а спайков. "Show tag keys from all" на средней базе может положить все. 3. Потребление ресурсов . Сожрать 256ГБ RAM, закусить 320GB свопа и все равно упасть по OOMу - легко (в момент 6и часового запуска). 4. Платная кластеризация.

я все это лично понаблюдал в проде

6-ти часовой запуск оссобенно доставляет

г-ди, ну что за херь? Почему cert-manager не создает приватный ключ к SSL серту? Пользуюсь сраным ранчером 2.0, лучше бы наверное с кубернетиса с консолью начинал.

г-ди, ну что за херь? Почему cert-manager не создает приватный ключ к SSL серту? Пользуюсь сраным ранчером 2.0, лучше бы наверное с кубернетиса с консолью начинал.

я так понимаю это должен быть свежий баг, но не понятно в certmanager или в ранчере это

г-ди, ну что за херь? Почему cert-manager не создает приватный ключ к SSL серту? Пользуюсь сраным ранчером 2.0, лучше бы наверное с кубернетиса с консолью начинал.

зато ранчером можно несколько кластеров рулить)

зато ранчером можно несколько кластеров рулить)

да уж, мне тоже нравится

хмм а сколько метрик в секунду? у меня инфлакс уже больше года в проде но там всего 1гб метрик, мелочь конечно

чтобы знать в какой момент оно упадет