https://prometheus.io

а нет статей как его настраивать грамотно? а то я почитал сайт: "вот вам набор болтов и гаек, а автомобиль сами собирайте - раз вы это читаете то скорее всего вы механник" )

https://www.influxdata.com/time-series-platform/telegraf/

я не видел грамотных статей

прометеус И телеграф, или прометеус ИЛИ телеграф? они дополняют или заменяют?

у нас в связке работают

в телеграфе есть поддержка большого количества сервисов, из коробки по сути. В прометеусе нету части из них

а тк все пишут в инфлюксдб, то разницы нету особой

ну вот мне надо просто знать все ли ок с кластером: когда по ресурсам перебор, когда начали поды отваливаться с ошибками... короче состояние знать, желательно без лишних телодвижений или с внятными мануалами

чего-то одного хватит, или бросать текущую професию и в девопсы закапываться?

такого нету) ну или я не нашел

эх

мы сами определяли метрики которые нам важны и какие алерты слать

чего-то одного хватит, или бросать текущую професию и в девопсы закапываться?

А какая текущая профессия ?

типа "программист"

ну я на бэкенде плотно засел так что полюбому пересекается с devops щас, фронендам в этом плане проще

k8s стартует контейнер, а через 30 секунд Killing container with docker id 4460572e63c0: Need to kill pod. что это может быть?

livenessprobe и timeout

> At the bottom of the kubectl describe output there are messages indicating that the liveness probes have failed, and the containers have been killed and recreated. http://kubernetes.io/docs/user-guide/liveness/

вот так стоит: ports: - containerPort: 3000 name: http-server livenessProbe: httpGet: path: /login port: 3000 initialDelaySeconds: 60 timeoutSeconds: 5 но почему-то убивается ровно через 30 сек

а эти изменения видны в самом k8s? kubectl get pods bla -o yaml ?

не видны

вот в этом и проблема

может ты pod не рестартанул, может синтаксическая ошибка где-то

ок, щас попробую найти проблему

оказалось у меня конфилктовали названия в конфигах для веб приложения и воркера. по одиночке они работали, а если вместе запусить, то кубернетес убивал их

Failed to pull image, no space left on device на машине 27 gb свободного места. другие контейнеры запустились

Есть какие-то мысли?

inodes?

на всякий - с инодами все в порядке?

df -ih /var/lib

df -ih /var/lib Filesystem Inodes IUsed IFree IUse% Mounted on /dev/xvda1 2.0M 51K 2.0M 3% /

df -h /var/lib?

https://github.com/docker/docker/issues/10613 возможно, оно

df -h /var/lib Filesystem Size Used Avail Use% Mounted on /dev/xvda1 32G 3.3G 27G 11% /

Есть какие-то мысли?

btrfs?

если btrfs, то проверить место можно sudo btrfs fi show

ext4

/dev/xvda1 on / type ext4 (rw,relatime,data=ordered)

sudo btrfs fi show Btrfs v3.17

у докера ранее были суровые косяки с понятием о free space при использовании btrfs, например https://github.com/docker/docker/issues/5900 Сейчас не знаю, но возможно из той же оперы

docker info | grep Storage

docker info | grep Storage WARNING: No swap limit support WARNING: No kernel memory limit support WARNING: No cpu cfs quota support WARNING: No cpu cfs period support Storage Driver: aufs

хмм. тогда не знаю сходу

кстати вот и причина того, почему ресурсы не работают

btrfs я не юзал особо. но, возможно, причина где-то здесь https://btrfs.wiki.kernel.org/index.php/FAQ#Understanding_free_space.2C_using_the_original_tools

Ядро какое?

uname -r 3.16.0-4-amd64

меняй на 4

но это не решит проблему с местом :))

ок :-)

может ты куда /var/lib засунул на отдельный партишен ?

ну и тут был разговор про драйвера стораджей, ну и советовали overlay2

вроде всё на одном партишене. ок, я понял, что нужно пересоздать кластер, учитывая эти нюансы

я пользовался кубернетовским туториалом для aws. Что можно использовать другое для этого?

я пользовался кубернетовским туториалом для aws. Что можно использовать другое для этого?

https://github.com/kubernetes/kops

Пока я не напилил свой костыль, расскажите, как вы ssl ключи манаджите для k8s? Чтоб не руками

http://kubernetes.io/docs/user-guide/ingress/#tls

kubectl create --namespace="namespace" secret tls mytlskeys --cert=/path/to/cert.crt --key=/path/to/key.key

Я про те, что нужны самому куберу для работы

а не внутренние хранилище

на этапе создания хостов

у меня скрипты у которых есть доступ к ca.key. на основе его создаются client/server/client-server ключики

ERROR: S client not available

там это через openssl делается или как-то живее?

я через cfssl делал

в ansible

всё автоматом

если ключика на ноде нет, то запускается cfssl и генерится ключик

к серваку cfssl подключается?

центральному

по хорошему конечно нужно API server но у меня скриптами

kubectl create --namespace="namespace" secret tls mytlskeys --cert=/path/to/cert.crt --key=/path/to/key.key

https://github.com/iameli/kubernetes-letsencrypt

@noodlensk у меня wildcard на два года

https://github.com/iameli/kubernetes-letsencrypt

это уже внутри кластера.

@noodlensk у меня wildcard на два года

везет

по хорошему конечно нужно API server но у меня скриптами

я вот думаю делать это или терраформ тлс ресурс пытаться приспособить

https://www.terraform.io/docs/providers/tls/index.html вот это восхитительно для тестов, я вам скажу

и как оно в связке работает?

Может повторюсь, но вот еще хороший пример деплоя кластера на AWS с помощью Terraform https://github.com/kz8s/tack/

Может повторюсь, но вот еще хороший пример деплоя кластера на AWS с помощью Terraform https://github.com/kz8s/tack/

Там слишком много make, увы

день добрый, впервые буду разворачивать кластер(на aws), как я понял лучше использовать https://github.com/kubernetes/kops и можете подсказать, не будет ли проблем с его настройкой если на aws аккаунте уже поднят один кластер, и как и надоли менять настройки kubctl что бы переключаться между кластерами? или какие бы еще методы посоветывали чтобы развернуть его. заранее благодарен

а расскажите кто как labels использует для структуры?

@vkfont у нас nodeSelector по лейблам есть

не, я всмысле какие лабелы пихаешь в деплойменты и всякие другие репликасеты? ну там унификация, бест практисес и тп

app

service

Ну и лейбы на ноды еще навешал

че-то несуразица с кубернетесом получается, никак не могу придумать где хранить статику и как ее отображать с одной стороны есть nginx к которому можно стораджи подключать с другой стороны не могу пазл собрать как и куда пихать html (или я плохо гуглю, или в инете вообще рецептов нет для казалось бы простого юзкейса): - configmap был бы выходом если б там не было бага с ошибкой - нижним подчеркиванием (типа в 1.4 исправили) - запускать docker-инстансы с веб-серверами и вмонтированой статикой для отображения пары хтмл-страничек кажется мне черезчур - есть google bucket но нет доступа к нему хранилищами (опять же образ с gcfuse готовить и подмантировать в поды выглядит как удаление гландов через задницу) посоветуйте че, совсем запутался

вот есть kubectl, есть папка с index.html - как дальше поступать?

на мелкой статике впиливал бы в контейнер с нджинксом

на большой у нас планировалось сразу отправлять данные в cdn, но не дошли до этого этапа

т.е. контейнеры бы вообще не имели доступа к статике

впиливать в контейнер с нджинксом :(