𝚔𝚟𝚊𝚙𝚜
Какой-то наплыв ботов
Anonymous
Может кто то сталкивался :0,"error":"rpc error: code = DeadlineExceeded desc = context deadline exceeded cilium-operator ?
Arzu
Здравствуйте, можете сказать где можно взять example приложения на .net core в kubeless
Отделение Bereke Bank
Немного странный вопрос, но может кто сталкивался. Есть ли возможность заставить kubelet запускать статик поды до того как он забутстрапит свои сертификаты? Положил в /etc/kubernetes/manifests манифест envoy, который проксирует к трем API серверам. Kubelet возвращает логичную ошибку, потому что статик под с envoy еще не запущен 😑 Failed to connect to apiserver: Get https://127.0.0.1:6443/healthz?timeout=1s: dial tcp 127.0.0.1:6443: connect: connection refused
George
интересный вопрос, но я думал, что статик поды стартуют раньше всех
George
и это было бы логично
George
https://github.com/kelseyhightower/standalone-kubelet-tutorial
George
типо так
Отделение Bereke Bank
George
вероятно, что да
Отделение Bereke Bank
ладно, поставлю envoy не статик подом
G72K
Там они два раза чинили . Один раз сломали kubeadm, потом реверт, потом попытка номер два
Отделение Bereke Bank
понял, спасибо. Ну у меня 1.13 😂
G72K
понял, спасибо. Ну у меня 1.13 😂
Я у себя в инсталере это при помощи https://www.freedesktop.org/software/systemd/man/systemd.path.html решал , оно следит за kubeconfig файлом, который кублет генерирует , как только появляляется , делает systemctl stop kubelet-bootstrap и systemctl start kubelet . И там и там прописаны нужные ConditionPathExists чтобы при последующих перезагрузках стартовал нужный кублет
George
О, круто звучит
George
Магия системд
Отделение Bereke Bank
наверное все таки проще поставить envoy не в контейнере) но спасибо за ссылку
G72K
наверное все таки проще поставить envoy не в контейнере) но спасибо за ссылку
Этой для баланса на аписервера? Да, его придется снаружи держать
G72K
О, круто звучит
С удовольствием выкинул эти костыли на помойку
Dmitry
Этой для баланса на аписервера? Да, его придется снаружи держать
а kubespray как это делает? Или он изменяет конфиг kubelet'а уже после бутстрапа? И - идемпотентность
Отделение Bereke Bank
Этой для баланса на аписервера? Да, его придется снаружи держать
да для баланса аписервера. okmeter вроде держит envoy статик подом. Видимо у них не --bootstrap-kubeconfig, либо версия с фиксом
Й
Башсибл, ёпт
G72K
да для баланса аписервера. okmeter вроде держит envoy статик подом. Видимо у них не --bootstrap-kubeconfig, либо версия с фиксом
Там ещё надо внимательно за сертификатами следить . Скажем будет у вас енвой на localhost, надо это имя прописать в сертификат
Отделение Bereke Bank
Да, это учтено 👍🏽
G72K
Я у себя завел на всех нодах linklocal адрес на lo интерфейсе , 169.254.x.y и сделал так что б был на всех нодах . На этом интерфейсе висят енвой для аписераеров и локальный днс резолвер. Почему не повесил на 127.0.0.1 не помню, что-то не понравилось , а может калико мешало
Й
Я думал ты на cilium, хотел поспрашивать когда решу на него переходить
К чему эта экзотика? Скушно в продукте? Приходите к нам на галеру) тут скучать не придется;)
Dmitry
К чему эта экзотика? Скушно в продукте? Приходите к нам на галеру) тут скучать не придется;)
да кластер продуктовый растет. И у меня есть некий страх, с ростом количества сервисов и netpolicy, растет количетсво записей в iptables, ipset и ipvs. А до куба у меня было около 10-20 правил в iptables и никаких бриджей не было, и я толком эффективность прохождения пакетов по этим цепочкам никогда не мониторил, и становится все страшнее и страшнее. И как это красиво мониторить, пока тоже не решил, да и понятия не имею как это делать если честно. Линуксовый сетевой стек довольно сложный, куча инфы в разных местах /sys, /proc и т.д., надо прям плотно и подробно изучать, как оно в ядре работает, где какие счетчики и т.д.
Lucky SB
интересный вопрос, но я думал, что статик поды стартуют раньше всех
а вот и нет. сначала TLS Bootstraping, а потом статик поды. они там пилят PR для решения, с сентября где-то... видать не просто это
George
Мда
George
А потом, видимо, сломали. Регрессии, все дела 🤷‍♂
Lucky SB
https://kubernetes.io/docs/reference/command-line-tools-reference/kubelet-tls-bootstrapping/#limits
G72K
Ссылок нет :) может ротация сертификатов не включена ?
G72K
https://kubernetes.io/docs/reference/command-line-tools-reference/kubelet-tls-bootstrapping/#limits
Дока обманывает про статик поды. Стартуют нормально, надо что-то там про ротацию сертификатов включить
Отделение Bereke Bank
Новый кластер на cilium бы делал
центось нельзя? Cilium requires a Linux kernel >= 4.9
G72K
неможетбыть
TLS bootstrap кублету на контрол плейне не делал , на воркерах все нормально , и статик поды и бутстрап
G72K
центось нельзя? Cilium requires a Linux kernel >= 4.9
Как там с центосью не знаю, не археолог :)
Lucky SB
Kubeadm init только вставляет сгенереный сертификат.
Lucky SB
вторая и третья мастер ноды уже по TLS bootsttrap подключаются
Lucky SB
а последние версии кубадма в процессе init даже переподключают первый узел после старта api-servera через tls bootstrap
G72K
Все три мастер ноды статичные и не отличаются друг от друга
G72K
Иииии зря
У меня на coreos , все конфигурируется при первом старте. Ignition раскладывает файлы и стартует kubelet.service. kubeadm запускается на этапе подготовки ignition конфига для нод, на самих нодах его нет
G72K
Но все равно обновляю при пересоздании ignition конфига
G72K
(это про контрол плейн все) , на нодах там просто kubelet с TLS bootstrap и envoy до аписерверов
Lucky SB
)
Отделение Bereke Bank
Збс снеговик 👍
Oleg
Сорян :🤦‍♂️ Вот, что бывает, когда девушке телефон оставляешь
Отделение Bereke Bank
Поставлю Nginx (буду_проституткой.jpg)
G72K
Не хочет он биндится на link local 😒
Хочет, hostNetwork: true или как оно там и все получится
Отделение Bereke Bank
Хочет, hostNetwork: true или как оно там и все получится
я не в контейнере его пытаюсь запустить
G72K
Локальный адрес то есть? ExecStartPre=/sbin/ip a показывает его в логе?
Отделение Bereke Bank
Локальный адрес то есть? ExecStartPre=/sbin/ip a показывает его в логе?
ой бля 🤦‍♂️ его же надо сначала создать
Отделение Bereke Bank
Локальный адрес то есть? ExecStartPre=/sbin/ip a показывает его в логе?
ну с этим еще больше мозгоебства будет. у тебя он получается в контейнере запущен?
Andrey
кубернетес
Viktor
куберметес https://novosibirsk.hh.ru/vacancy/35284355
Vovan
Зп больше смеха вызывает
Viktor
Так там же делать ничего не надо. Только смотреть как devops сам собой внедряется да акты подписывать вовремя =)
Yuriy
Компенсация за э/э - можна майнер поставить...))
Gunslinger
Компенсация за э/э - можна майнер поставить...))
Вот тебе пистолет выдали и крутись как сможешь (ц)
Gunslinger
А потом человек получив хороший опыт попробует в Москву а ему там "вот твои 70к у тебя столичного опыта нет"