настроил его на связку с ceph (что в последнем proxmox идет), вполне себе шустро работает

какой релиз ceph? luminous ?

ceph version 12.2.7 (94ce186ac93bb28c3c444bccfefb8a31eb0748e4) luminous (stable)

ок щас попробую по этой мане, однако до сих пор не могу удалить клайм))

@Hellfosa а какая версия rbd/ceph в контейнере с kube-manager?

ок щас попробую по этой мане, однако до сих пор не могу удалить клайм))

расскажешь, я пробовал у меня сам деплоймент провиженера не стартанул

и какая версия ядра?

latest провиженера заточен под релиз ceph мимик

https://habr.com/post/348688/ Опираясь на эту статью собирал свой. С правками под конкретную ситуацию)

@Hellfosa а какая версия rbd/ceph в контейнере с kube-manager?

rbd --version ceph version 13.2.1 (5533ecdc0fda920179d7ad84e0aa65a127b20d77) mimic (stable)

не очень хорошо конечно так использовать

но тем не менее работает стабильно

чем поднимали кластер k8s?

но это контейней не с kube-managet

а именно контейнер с rbd-provisioner

kubeadm

ааа, ну понятно)

у вас external provisioner

ага, подменять kube-manager мне показалось плохой затеей

ага, подменять kube-manager мне показалось плохой затеей

а чем ставили ceph?

Тоже самое, что есть, только с доустановленным пакетом RBD.

а чем ставили ceph?

а он из коробки идет в proxmox

февральская мана а команды уже устаревшие, как жить в этом мире а

февральская мана а команды уже устаревшие, как жить в этом мире а

в кубере мана может устареть за неделю )

кстати, кто-нибудь в проде использует провижинер для digitalocean block storage?

хз, прост оне знаю.

зато удобно получается, 1 пул под виртуалки, 1 пул под PV в кубере. И не надо городить ничего

Таки непонятно, как отучить traefik от попыток получить LE-сертификат для kubernetes.default.svc.cluster.local

чуваки, решил подключить уже существующий кластер куба на GKE к гитлабу, нужен API URL, где его можно взять?

APISERVER=$(kubectl config view --minify | grep server | cut -f 2- -d ":" | tr -d " ")

нашел вот это

APISERVER=$(kubectl config view --minify | grep server | cut -f 2- -d ":" | tr -d " ")

как там, в 2004? kubectl config view -o jsonpath="{.clusters[0].cluster.server}"

а кто-нибудь операторы юзает? Посоветуйте, для mysql все три годные? - или есть какие-нибудь предпочтения в пользу определенного?

чуваки, решил подключить уже существующий кластер куба на GKE к гитлабу, нужен API URL, где его можно взять?

рекомендую брать контейнер с gcloud sdk и ходить из него через gcloud auth

Напиши сам

Кто нить реализовывал логирование в kubernetes используя docker-drivers ? Минутя fluend / filebeat? Есть какие то камни?

Кто нить реализовывал логирование в kubernetes используя docker-drivers ? Минутя fluend / filebeat? Есть какие то камни?

есть, нельзя логи вытащить с помощью kubectl logs или в dashboard

есть, нельзя логи вытащить с помощью kubectl logs или в dashboard

Понял. Спасибо...

Кто нить реализовывал логирование в kubernetes используя docker-drivers ? Минутя fluend / filebeat? Есть какие то камни?

В основном камни в том, что лог-драйверы далеко не всегда стабильны ?

В основном камни в том, что лог-драйверы далеко не всегда стабильны ?

На fluentd стабильнее получается?

На fluentd стабильнее получается?

Не могу комментировать, не пробовал fluentd под нагрузкой.

Не могу комментировать, не пробовал fluentd под нагрузкой.

Угу. Я понял. Спасибо...

У меня стабильно, без утечек памяти и сжирания проца заработал только filebeat

Всем привет! Подсажте, кубелет на воркерах чистить переодически docker имейджи?

https://kubernetes.io/docs/concepts/cluster-administration/kubelet-garbage-collection/

Подскажите, можно ли настроить запуск пода/деплоймента только если другой под/сервис успешно поднялся и готов отдавать данные?

или придется это проверять внешними костылями?

Подскажите, можно ли настроить запуск пода/деплоймента только если другой под/сервис успешно поднялся и готов отдавать данные?

Недавно поднимался - вопрос. На сколько я помню - сейчас такого нет. Только внешними костылями...

или придется это проверять внешними костылями?

Зачем костылями. Просто пусть падает. Как будет доступна зависимость, поднимется.

Зачем костылями. Просто пусть падает. Как будет доступна зависимость, поднимется.

так перезапус упавшего каждый раз множится на 2. пока зависимости поднимутся (в моём случае это мускуль, монга, редис) сервисы долговато будут раскуриваться.

как там, в 2004? kubectl config view -o jsonpath="{.clusters[0].cluster.server}"

спасибо, тот же результат. но почему 2004? я же нашел эту команду на офф.сайте Kubernetes

https://kubernetes.io/docs/tasks/access-application-cluster/access-cluster/#without-kubectl-proxy

Кстати, это не помогло, гитлаб не может управлять этим кластером, выдает "Ошибка Kubernetes". Никаких объяснений больше. Видимо, нужно ещё какой-то ингресс донастроить, чтобы апи был доступен наружу.

так перезапус упавшего каждый раз множится на 2. пока зависимости поднимутся (в моём случае это мускуль, монга, редис) сервисы долговато будут раскуриваться.

я в курсе. Можно делать так, что dev монга и mysql будут быстро стартовать. Если по каким-то причинам таймаут ушел в дикие числа, всегда есть kubectl delete, но до такого у меня редко доходит.

* собирать image с накатанной базой, вместо голого image + применение бекапа.

порекомендуйте пожалуйста, как лучше менеджить трафик и доступы к подам на авс? думал над связкой: nginx-ingress (elb+acm cert) + externaldns

+ внутри consul и rabbitmq

это ж можно поднять один балансировщик на все ноды и юзать его?

разворачиваю стек копсом 3 мастера+3 ноды

* собирать image с накатанной базой, вместо голого image + применение бекапа.

База 5 гиг весит в среднем. проектов много. хранение денег стоит. Я сделал имэдж, который базу зазипованую с нексуса тянет. Объем меньше в 5 раз. По скорости разворачивания 2-3 минуты. Причем это не рестор базы, а сразу дата файлы мускуля.

Сделано для тнстовых сред динамических и время жизни предполагается небольшое

порекомендуйте пожалуйста, как лучше менеджить трафик и доступы к подам на авс? думал над связкой: nginx-ingress (elb+acm cert) + externaldns

istio сильная вещь для этого. там и управление и шифрование.

istio сильная вещь для этого. там и управление и шифрование.

еще бы разбирался в ней кто ага

когда-то и кубер был в диковинку)

Товарищи кубоводы, сколько по вашему субъективно нужно времени, чтобы начать пользоваться кубом и более-менее решать проблемы, возникающие с ним? Условно я в GCE сижу.

У меня недели две ушло на https://kubernetes.io/docs/concepts/ и потом начал приложеньку на него портировать.

плюсую, где то две недели на базис

а потом где-то с год - перевод сервисов/микро/монолита :)

на traefik у кого-нибудь host-regexp работает в кубере?

как ему регулярку для поддоменов засунуть?

из доступных аннотаций rule-type нету host-regexp

на traefik у кого-нибудь host-regexp работает в кубере?

https://github.com/containous/traefik/blob/master/provider/kubernetes/kubernetes.go в коде такого нет

на traefik у кого-нибудь host-regexp работает в кубере?

О еще есть func getRuleForHost(host string) string { if strings.Contains(host, "*") { return "HostRegexp:" + strings.Replace(host, "*", "{subdomain:[A-Za-z0-9-_]+}", 1) } return "Host:" + host } if len(r.Host) > 0 { if _, exists := templateObjects.Frontends[baseName].Routes[r.Host]; !exists { templateObjects.Frontends[baseName].Routes[r.Host] = types.Route{ Rule: getRuleForHost(r.Host), } } }

какой-то грязный хак

это с трафик репы код =)

и опять же это как я понимаю будет работать только для полного поддомена т.е. *.хост

а если мне надо *-блабла.хост

уже хрен

всем ку! Народ, а кто нить сталкивался в чарте официальном prometheus-operator с такой ошибкой: metadata.name: Invalid value: "glusterfs-dynamic-prometheus-mon-prometheus-db-prometheus-mon-prometheus-0": must be no more than 63 characters Понятно что можно не юзать kube-prometheus чарт и поднять всё руками, но таки любопытно, что за х. На github заявляют, что смержили фичу задать имя самому в values, но что-то и так не пашет.

#helm

Может вроде этого попробовать apiVersion: extensions/v1beta1 kind: Ingress metadata: name: blabllab annotations: kubernetes.io/ingress.class: traefik spec: rules: - host: *-blabla.super.com

Как перестать ржать с кейса: мы взяли чарт на гитхабе и он не работает как надо?) почти ежедневно такое

Как перестать ржать с кейса: мы взяли чарт на гитхабе и он не работает как надо?) почти ежедневно такое

никак

а когда такое про дашборд спрашивают?

Как перестать ржать с кейса: мы взяли чарт на гитхабе и он не работает как надо?) почти ежедневно такое

да ладно, знаешь как интересно читать

да ладно, знаешь как интересно читать

да ну ладно? в 15й раз?)

да ну ладно? в 15й раз?)

ну они ж разные репозы показывают!

Привет всем! Больше года назад столкнулись с тем, что хочется рисовать в grafana статус deployment'ов, statefulset'ов и д.р. При чем хочется не просто текущий статус, а как вот оно было за последние 3 часа (время показа в grafana). И... наконец-то у нас добрались руки и мы сделали плагин: https://github.com/flant/grafana-statusmap . Звездочки крайне приветствуются. И еще немного подробностей на хабре https://habr.com/company/flant/blog/423851/, где плюсики тоже приветствуются. Спасибо!

Привет всем! Больше года назад столкнулись с тем, что хочется рисовать в grafana статус deployment'ов, statefulset'ов и д.р. При чем хочется не просто текущий статус, а как вот оно было за последние 3 часа (время показа в grafana). И... наконец-то у нас добрались руки и мы сделали плагин: https://github.com/flant/grafana-statusmap . Звездочки крайне приветствуются. И еще немного подробностей на хабре https://habr.com/company/flant/blog/423851/, где плюсики тоже приветствуются. Спасибо!

?

Как перестать ржать с кейса: мы взяли чарт на гитхабе и он не работает как надо?) почти ежедневно такое

если это в ответ мне, то очень остроумно и подчеркивает вашу особенность, уникальность в области k8s)

что не так с вопросом и кто сказал, что юзаю как есть?

если это в ответ мне, то очень остроумно и подчеркивает вашу особенность, уникальность в области k8s)

Это был абстрактный комментарий)

Может вроде этого попробовать apiVersion: extensions/v1beta1 kind: Ingress metadata: name: blabllab annotations: kubernetes.io/ingress.class: traefik spec: rules: - host: *-blabla.super.com

увы но нет, регулярка такие вещи отсекает и требует *.

Привет всем! Больше года назад столкнулись с тем, что хочется рисовать в grafana статус deployment'ов, statefulset'ов и д.р. При чем хочется не просто текущий статус, а как вот оно было за последние 3 часа (время показа в grafana). И... наконец-то у нас добрались руки и мы сделали плагин: https://github.com/flant/grafana-statusmap . Звездочки крайне приветствуются. И еще немного подробностей на хабре https://habr.com/company/flant/blog/423851/, где плюсики тоже приветствуются. Спасибо!

Кстати, спасибо за отличный блог и прекрасные выступления на Хайлоаде!

Кстати, спасибо за отличный блог и прекрасные выступления на Хайлоаде!

и не только на хайлоде плюсую