Vladimir
проблем наверняка больше. просто их описать грамотно сложнее, потому как сложнее понять, что не так, и как это воспроизвести, чтобы ишью зарепортить.
Vladimir
Отчасти поэтому я пока на Nomad решил смотреть. С ним всё сильно проще, хотя и возможностей меньше. Но k8s тоже есть в планах.
Ivan
проблем наверняка больше. просто их описать грамотно сложнее, потому как сложнее понять, что не так, и как это воспроизвести, чтобы ишью зарепортить.
Это тянет на issue: #666 "Слишком сложно дебажить" :)
Михаил
Ivan
А то все говорят, что кубы - стандарт, все дела. Но никто не говорит какой ценой он внедряет всё это добро. (ну ок, не никто) просто статья выше прям качественно отпугивает тебя от сворма.
𝚔𝚟𝚊𝚙𝚜
https://hsto.org/getpro/habr/post_images/f9e/e70/e91/f9ee70e91340ff095e81f8d77ed7c458.png
bebebe
Й
бОян который не потеряет свою актуальность еще лет 5 точно 😀
Denis
Братцы! Аларм!
Такой трабл в кубе происходит.
Есть сервис ClusterIP 10.233.55.84
kubelet чекает этот сервис на livenessProbe. Выдает следущее:
Liveness probe failed: dial tcp 10.233.94.86:9300: getsockopt: connection refused
Начинаю дергать курлом ClusterIP, и по адресу ресурс доступен. Потом делаю тоже самое на адрес, по которому ломится kubelet. И там тоже сервис доступен.! Вообще ничего не понимаю.
No1
только я вижу разные иП?
Denis
только я вижу разные иП?
я х.з откуда кубелет берет второй адрес, но хелтчек он сделать не может, но по этому адресу ресурс доступен
Sergei
это скорее всего адрес endpoint'а
Sergei
health check же каждый pod опрашивает, а не весь сервис целиком
Denis
health check же каждый pod опрашивает, а не весь сервис целиком
Точно, точно. А почему он его чекнуть не может? У меня просто один сервис из за этого не запускается.
Sergei
никаких NetworkPolicy нету?
Sergei
а dnsmasq agent стоит? у меня было похожее, когда сетка кластера частично совпадала с офисной сеткой. ты крулом проверял где?
Denis
а dnsmasq agent стоит? у меня было похожее, когда сетка кластера частично совпадала с офисной сеткой. ты крулом проверял где?
нет, не стоит. Сетка офиса 10.10.77.0 /24
Denis
народ магия какая то - кластер ДЕВ вырубился на ночь , с утра ни фига не работает ни один контейнер ни на мастере ни на воркерах не бежит . хз че проиходит , куда копать хоть
Denis
kubelet - бежит \ dockerd тоже . И все как бы
Andrey
Denis
etcdctl --endpoints http://10.ххх.ххх.ххх:2380 cluster-health
cluster may be unhealthy: failed to list members
Error: client: etcd cluster is unavailable or misconfigured; error #0: net/http: HTTP/1.x transport connection broken: malformed HTTP response "\x15\x03\x01\x00\x02\x02"
error #0: net/http: HTTP/1.x transport connection broken: malformed HTTP response "\x15\x03\x01\x00\x02\x02"
Andrey
неправильно смотришь
Stanislav
народ магия какая то - кластер ДЕВ вырубился на ночь , с утра ни фига не работает ни один контейнер ни на мастере ни на воркерах не бежит . хз че проиходит , куда копать хоть
Вызывайте экзорциста, в вашем кластере Демон!
Stanislav
Кадилом поводит, водичкой сервачки сдобрит и все будет норм.
Sergey
может передеплоить кластер?
Andrey
etcdctl --endpoints http://10.ххх.ххх.ххх:2380 cluster-health
cluster may be unhealthy: failed to list members
Error: client: etcd cluster is unavailable or misconfigured; error #0: net/http: HTTP/1.x transport connection broken: malformed HTTP response "\x15\x03\x01\x00\x02\x02"
error #0: net/http: HTTP/1.x transport connection broken: malformed HTTP response "\x15\x03\x01\x00\x02\x02"
https://github.com/coreos/etcd/blob/master/etcdctl/README.md первый же параграф тебе в помощь
Sergey
изза чего паника, всегда должен быть выход откатиться
Sergey
а все пчаму?
потому что мониторинга нет нормального
так бы по алертам прошлись и все
Andrey
Andrey
нее ,3 просто какая разница какую дергать для хелса
да и для начала можешь хотя бы просто kubectl get cs
Denis
api is down , kubectl бесполезен
Andrey
api is down , kubectl бесполезен
ну вот, значит время смотреть etcd, потом контроллер-менеджер, шедулер и аписервер
Sergey
Ivan
Denis
пстц чет я не допру как итцд кластер инфо посмотреть, нашел на ноде - /etc/etcd.env . Все пиры и сертификаты там, но кластер хелс все равно 💩
Denis
скажите , а порядок поднятия нодов важен?
Yu
ETCDCTL_API=3 etcdctl ...
Denis
бля магия
Denis
короче походу нужно поднимать все по очередности - etcd => masters => workers
Denis
ну или волшебный ребут помог
Denis
всем спасибо
Andrey
Вот чтобы не паниковать при аварии, стоит подтянуть матчасть, а особенно почитать внимательно про работу control plane в Kubernetes.
Andrey
kubeadm или kubespray не сделает магии, когда всё развалилось.
Andrei
Ребят, а ни у кого не было такого что долго отрабатывает resolve на внешние адреса внутри куба? (в сети хватает issues с этим)
Denis
Alexander
Привет всем! А подтолкните в сторону нужной документации, пожалуйста, а то беглое гугление не даёт нужных результатов. У меня есть deployment, который делает n pod`ов с одним контейнером. Внутри контейнера крутится приложенька, которая умеет отдавать метрики для prometheus. Как мне собрать эти метрики? Наткнулся на prometheus operator, который умеет снимать, как я понял, с сервиса, но мне-то нужно с каждого pod`a. Или я что-то неправильно читаю?
CrusaderX
Ты можешь поднять просто пром, скормить ему конфиг для кубика, а в своем манифесте для деплоймента добавить аннотации, типа scrape: true и тд.
Alexander
о
Alexander
ооо
Alexander
спасибо
Etki
"Цель Rancher – создание переносимых инфраструктурных сервисов вокруг Docker, включая эластичное блочное хранилище, виртуальные сети, отказоустойчивый балансировщик нагрузки, группы безопасности, мониторинг, сервисы баз данных и многое другое. "
это как так.. еще один слой виртуализации для сервисов инфры, типа nginx, *sql, для оверлейной сети, короче для экосистемы на которой уже будет жить набор докер микросервисов?
это оркестратор типа кубернетеса, только он не взлетел, а кубернетес взлетел, поэтому киллер фича, которую они продают - это запуск кубернетеса внутри ранчера, т.е. оркестратора внутри оркестратора
RE
вот и я говорю - какое то масло маслянное получается
Dmytro
Ребят, а ни у кого не было такого что долго отрабатывает resolve на внешние адреса внутри куба? (в сети хватает issues с этим)
посмотри какое CPU quota usage у днс подов
Dmytro
у нас было такое больше года назад, пришлось даже временно днс деплоймент на 2 реплики в демонсет переделать, пока в 1.5 не прикрутили ему скейлинг и перфомранс подчинили
Andrei
Точно, у апи же поднимал, а тут забыл. Спасибо!
Pavel G
Коллеги, есть вопрос, облазил весь гугл, но не нашёл элегантного решения:
—
Надо поднять в нескольких регионах рабочие машины кубера:
Москва/Амстердам итп.
Какой самый простой и правильный способ менеджмента?
Один кластер и разные группы Воркеров? Или разные кластера?
Andrey
Коллеги, есть вопрос, облазил весь гугл, но не нашёл элегантного решения:
—
Надо поднять в нескольких регионах рабочие машины кубера:
Москва/Амстердам итп.
Какой самый простой и правильный способ менеджмента?
Один кластер и разные группы Воркеров? Или разные кластера?
Если вы сильно завязаны на Kubernetes, т.е. используете service discovery или API для того, чтобы все микросервисы были связаны друг с другом, то стоит посмотреть на Federation: https://kubernetes.io/docs/concepts/cluster-administration/federation/
Если требования не такие жёсткие, то можно и отдельные кластеры сделал. Для большинства архитектур должно сработать.
Стоит также учесть, что API v1 Federation перерабатывают на v2, т.е. сама команда Kubernetes недовольна состоянием текущего Federation API v1.
Andrey
Если у коллег из канал есть опыть использования, плюсы и минусы, готов бы услышать. Мы не делали ещё Federation и не было необходимости.
Pavel G
Если вы сильно завязаны на Kubernetes, т.е. используете service discovery или API для того, чтобы все микросервисы были связаны друг с другом, то стоит посмотреть на Federation: https://kubernetes.io/docs/concepts/cluster-administration/federation/
Если требования не такие жёсткие, то можно и отдельные кластеры сделал. Для большинства архитектур должно сработать.
Стоит также учесть, что API v1 Federation перерабатывают на v2, т.е. сама команда Kubernetes недовольна состоянием текущего Federation API v1.
Мы только переползаем с Амазона на кубер, вот и разбираюсь)
Пока не используем.
А если отдельные сервера - в чем можно управлять группой кластеров в единой админке?
Pavel G
Andrey
На baremetal переползаете?
Pavel G
На baremetal переползаете?
Нет, хотим в виртуалках чужих. В Европе DO+Linode+aws ec2+vpsville/Timeweb (4-й в рф)
Й
Оу
Й
А как это все продвижении собираетесь?
Й
Ансибл? Шеф?
Andrey
Нет, хотим в виртуалках чужих. В Европе DO+Linode+aws ec2+vpsville/Timeweb (4-й в рф)
Rancher из известных "админок", OpenShift, скорее, всё в одном, не знаю, как там с GUI, но если у вас программисты (хоть немного) есть в команде, то рекомендую не заниматься этим, а просто пилить снизу вверх. Так решать проблемы и внедрять любые архитектурные решения быстрее и умнее можно.
Pavel G
А как это все продвижении собираетесь?
Над чем и думаем)
Хочу с минимальными усилиями получить не просто мониторинг, а Управление нормальное.
Andrey
Т.е. брать в руки kubespray или kubeadm и делать всё самостоятельно.
Pavel G
Rancher из известных "админок", OpenShift, скорее, всё в одном, не знаю, как там с GUI, но если у вас программисты (хоть немного) есть в команде, то рекомендую не заниматься этим, а просто пилить снизу вверх. Так решать проблемы и внедрять любые архитектурные решения быстрее и умнее можно.
Ранчер очень коробочное. Нравится все кроме того, что если он сломается - вариантов будет мало. Разве что с суппортом брать
Й
Т.е. брать в руки kubespray или kubeadm и делать всё самостоятельно.
Так это уже второй эшелон. Нужно же вот это вот все нарезать вначале, увязать одно с другим... Не через впн же кластеры объединять
Владимир
зависит от целей и ресурсов - у меня на одном проекте были глобальные первые и совсем не было второго
Владимир
и ещё не было времени
Владимир
взяли docker swarm и поехали в прод ¯\_(ツ)_/¯