а вообще что посветуете настроить из "маст хэв" на кубернетесе? не в плане всех модных хипстерских гуев, а реально нужные вещи в продакшне... вот я запустил чистый кластер, что еще туда доставить чтобы комфорт почуствовать?

мониторинг и алерты

дашборд

графана

"мониторинг и алерты" это надо расшифровать

ну прометеус, телеграф

https://prometheus.io

а нет статей как его настраивать грамотно? а то я почитал сайт: "вот вам набор болтов и гаек, а автомобиль сами собирайте - раз вы это читаете то скорее всего вы механник" )

https://www.influxdata.com/time-series-platform/telegraf/

я не видел грамотных статей

прометеус И телеграф, или прометеус ИЛИ телеграф? они дополняют или заменяют?

у нас в связке работают

в телеграфе есть поддержка большого количества сервисов, из коробки по сути. В прометеусе нету части из них

а тк все пишут в инфлюксдб, то разницы нету особой

ну вот мне надо просто знать все ли ок с кластером: когда по ресурсам перебор, когда начали поды отваливаться с ошибками... короче состояние знать, желательно без лишних телодвижений или с внятными мануалами

чего-то одного хватит, или бросать текущую професию и в девопсы закапываться?

такого нету) ну или я не нашел

эх

мы сами определяли метрики которые нам важны и какие алерты слать

чего-то одного хватит, или бросать текущую професию и в девопсы закапываться?

А какая текущая профессия ?

типа "программист"

ну я на бэкенде плотно засел так что полюбому пересекается с devops щас, фронендам в этом плане проще

k8s стартует контейнер, а через 30 секунд Killing container with docker id 4460572e63c0: Need to kill pod. что это может быть?

livenessprobe и timeout

> At the bottom of the kubectl describe output there are messages indicating that the liveness probes have failed, and the containers have been killed and recreated. http://kubernetes.io/docs/user-guide/liveness/

вот так стоит: ports: - containerPort: 3000 name: http-server livenessProbe: httpGet: path: /login port: 3000 initialDelaySeconds: 60 timeoutSeconds: 5 но почему-то убивается ровно через 30 сек

а эти изменения видны в самом k8s? kubectl get pods bla -o yaml ?

не видны

вот в этом и проблема

может ты pod не рестартанул, может синтаксическая ошибка где-то

ок, щас попробую найти проблему

оказалось у меня конфилктовали названия в конфигах для веб приложения и воркера. по одиночке они работали, а если вместе запусить, то кубернетес убивал их

Failed to pull image, no space left on device на машине 27 gb свободного места. другие контейнеры запустились

Есть какие-то мысли?

inodes?

на всякий - с инодами все в порядке?

df -ih /var/lib

df -ih /var/lib Filesystem Inodes IUsed IFree IUse% Mounted on /dev/xvda1 2.0M 51K 2.0M 3% /

df -h /var/lib?

https://github.com/docker/docker/issues/10613 возможно, оно

df -h /var/lib Filesystem Size Used Avail Use% Mounted on /dev/xvda1 32G 3.3G 27G 11% /

Есть какие-то мысли?

btrfs?

если btrfs, то проверить место можно sudo btrfs fi show

ext4

/dev/xvda1 on / type ext4 (rw,relatime,data=ordered)

sudo btrfs fi show Btrfs v3.17

у докера ранее были суровые косяки с понятием о free space при использовании btrfs, например https://github.com/docker/docker/issues/5900 Сейчас не знаю, но возможно из той же оперы

docker info | grep Storage

docker info | grep Storage WARNING: No swap limit support WARNING: No kernel memory limit support WARNING: No cpu cfs quota support WARNING: No cpu cfs period support Storage Driver: aufs

хмм. тогда не знаю сходу

кстати вот и причина того, почему ресурсы не работают

btrfs я не юзал особо. но, возможно, причина где-то здесь https://btrfs.wiki.kernel.org/index.php/FAQ#Understanding_free_space.2C_using_the_original_tools

Ядро какое?

uname -r 3.16.0-4-amd64

меняй на 4

но это не решит проблему с местом :))

ок :-)

может ты куда /var/lib засунул на отдельный партишен ?

ну и тут был разговор про драйвера стораджей, ну и советовали overlay2

вроде всё на одном партишене. ок, я понял, что нужно пересоздать кластер, учитывая эти нюансы

я пользовался кубернетовским туториалом для aws. Что можно использовать другое для этого?

я пользовался кубернетовским туториалом для aws. Что можно использовать другое для этого?

https://github.com/kubernetes/kops

Пока я не напилил свой костыль, расскажите, как вы ssl ключи манаджите для k8s? Чтоб не руками

http://kubernetes.io/docs/user-guide/ingress/#tls

kubectl create --namespace="namespace" secret tls mytlskeys --cert=/path/to/cert.crt --key=/path/to/key.key

Я про те, что нужны самому куберу для работы

а не внутренние хранилище

на этапе создания хостов

у меня скрипты у которых есть доступ к ca.key. на основе его создаются client/server/client-server ключики

там это через openssl делается или как-то живее?

я через cfssl делал

в ansible

всё автоматом

если ключика на ноде нет, то запускается cfssl и генерится ключик

к серваку cfssl подключается?

центральному

по хорошему конечно нужно API server но у меня скриптами

kubectl create --namespace="namespace" secret tls mytlskeys --cert=/path/to/cert.crt --key=/path/to/key.key

https://github.com/iameli/kubernetes-letsencrypt

@noodlensk у меня wildcard на два года

https://github.com/iameli/kubernetes-letsencrypt

это уже внутри кластера.