Или, как вариант, проблемы с CNI
Или с любой из имплементаций CRI, если не докер юзается.
Andrey
Andrey
Господи, что мы делаем. Абстракция на абстрации абстракцией погоняет.
Andrew
Не думай об этом Андрюх)
Anton
в случае с "сандбокс" ошибками обычно помогает посмотреть логи кубелета
Andrey
"Так много технологий, так мало любви" (с) Monkey Dust
Sergey
Roman
Господи, что мы делаем. Абстракция на абстрации абстракцией погоняет.
майнкрафт в кубе уже есть, осталось куб в майкрафте запустить
maybe
майнкрафт в кубе уже есть, осталось куб в майкрафте запустить
надо сначала построить процессор)
1010101
Господи, что мы делаем. Абстракция на абстрации абстракцией погоняет.
keep calm and deploy istio over it
maybe
а хотя... есть же командные блоки. считайте, готовый фреймворк)
Andrey
надо сначала построить процессор)
— На чём вы программируете?
— На redstone цепях в Minecraft.
1010101
скорость чего именно?
Anonymous
Проксировали через истио бэкэнд на эрланге
Anonymous
Без истио - 2мс, с истио - 10мс
1010101
а что с чем сравнивали? скорость проксирования tcp через какой-нибудь ингрис/хапрокси vs envoy?
или скорость tcp без шифрования vs tcp обернутого в шифрование? )
Andrew
Гг, прикольно
Andrey
Как именно это произошло?
Andrey
Там был неприбитый контейнер ингресс контроллера именно из этого пода или как?
Anonymous
Anonymous
4 мс / 10 мс / 2мс
Roman
Там был неприбитый контейнер ингресс контроллера именно из этого пода или как?
там был прибытый, но не удаленый конейнер
Andrew
А в логах по нему что-то ищется?
Andrew
А то странно как-то это
Etki
Roman
18.06.1-ce
1010101
Хапрокси / истио / голый
Pod1 - kube-proxy <==> kube-proxy - Pod2 - 2ms
Pod1 - kube-proxy <==> haproxy <==> kubeproxy - Pod2 - 4 ms
Pod1 - envoy - kubeproxy <==> kubeproxy - envoy - Pod2 - 10 ms
Правильно понял? А что именно за ms? Время первого tcp handshake?
Stefan
kube-lego акутально юзать для выпуска сертов и их продления для nginx ingress controller?
Andrey
Yaroslav
4 мс / 10 мс / 2мс
а на пропускной способности и нагрузке на енвой как сказалось ? Самый обычный dockerproxy на 20 kpps уже одно ядро целиком потребляет
Anonymous
Веб -> енвой -> бэкэнд в локалке - 10мс
веб -> хапрокси -> бэкэнд в локалке - 4мс
веб -> бэкэнд (с шифрованием) - 2мс
Anonymous
короче, лучше всего, для mqtt - хапрокси
Lucky SB
а nginx не пробовали ?
Mikolaj
всем привет. дайте совет новичку в кубе, поставил в убунте докер, пакеты kubeadm kubectl kubelet kubernetes-cni проинитил через kubeadm кластер, всё вроде запущено кроме coredns
делаю kubectl get pods --namespace=kube-system
AME READY STATUS RESTARTS AGE
coredns-86c58d9df4-75mcc 0/1 ContainerCreating 0 83m
coredns-86c58d9df4-q5bzd 0/1 ContainerCreating 0 83m
подскажите пожалуйста в какую сторону рыть
Andrey
Даня
Киевляне, кто-нибудь собирается на куб-кон в мае?
Mikolaj
kubelet, eos-test-02 network is not ready: [runtime network not ready: NetworkReady=false reason:NetworkPluginNotReady message:docker: network plugin is not ready: cni config uninitialized
понял, пойду копать в сторону нетворка
Andrey
kubelet, eos-test-02 network is not ready: [runtime network not ready: NetworkReady=false reason:NetworkPluginNotReady message:docker: network plugin is not ready: cni config uninitialized
понял, пойду копать в сторону нетворка
Я понимаю, что я довольно упорот, но советовал бы ручками выполнить гайд kubernetes the hard way, а потом написать для этого ансиблоплэйбуки и развернуть так кластер без использования kubeadm
Puma
Mikolaj
Я понимаю, что я довольно упорот, но советовал бы ручками выполнить гайд kubernetes the hard way, а потом написать для этого ансиблоплэйбуки и развернуть так кластер без использования kubeadm
ага спасибо, я предполагал что он тоже основан на kubeadm но вижу ошибался
Andrey
ага спасибо, я предполагал что он тоже основан на kubeadm но вижу ошибался
Вариант подглядывать в kubespray, кстати. Я его вообще форкнул, выкинул оттуда все возможности использования kubeadm, синхронизацию сертов иначе как через vault, написал плейбук для провижна образов нод через packer (щас почти допилил это для мастеров), и много ещё чего выкинул и переписал + задокументировал. Зато теперь у нас абсолютно предсказуемые тулзы и все такое.
Vadim
Вариант подглядывать в kubespray, кстати. Я его вообще форкнул, выкинул оттуда все возможности использования kubeadm, синхронизацию сертов иначе как через vault, написал плейбук для провижна образов нод через packer (щас почти допилил это для мастеров), и много ещё чего выкинул и переписал + задокументировал. Зато теперь у нас абсолютно предсказуемые тулзы и все такое.
>щас почти допилил это для мастеров
мастера с etcd?
Andrey
>щас почти допилил это для мастеров
мастера с etcd?
Поначалу было так, потом перенес сначала на песочнице, потом так же на проде.
Lucky SB
Ну как
Andrey
ага спасибо, я предполагал что он тоже основан на kubeadm но вижу ошибался
Кстати, пили себе песочницу по возможности
Vadim
Поначалу было так, потом перенес сначала на песочнице, потом так же на проде.
выглядит интересно, особенно часть где скейлятся etcd - выложишь на гитхаб?
Lucky SB
одобряе. та дичь, что начала с кубспреем творится приводит в уныние
Mikolaj
Вариант подглядывать в kubespray, кстати. Я его вообще форкнул, выкинул оттуда все возможности использования kubeadm, синхронизацию сертов иначе как через vault, написал плейбук для провижна образов нод через packer (щас почти допилил это для мастеров), и много ещё чего выкинул и переписал + задокументировал. Зато теперь у нас абсолютно предсказуемые тулзы и все такое.
вариант, хотя он какой то огромный и на первый взгляд перегружен каким то говном, но попробую
Andrey
вариант, хотя он какой то огромный и на первый взгляд перегружен каким то говном, но попробую
Да, это больно, но все же вариант
Andrey
выглядит интересно, особенно часть где скейлятся etcd - выложишь на гитхаб?
Скейлинга etcd у меня нет. Тем более, что etcd в принципе иначе как разве что на чтение не масштабируется, но при этом с пенальти на скорость записи. Выложу, как в порядок приведу, но заточено на aws и калико и убунту, все остальное выпилено.
Andrey
Разнос мастеров и etcd я в полуручном режиме делал
Andrey
В планах и посты накатать про написание операторов, и оператора для постгреса релизнуть, но я в конторе единственный слесарь кубеней (только недавно в помощь напарника взяли, который кубеней до этого не видел), так что увы, все это будет небыстро и не все сразу
Vadim
я смотрю народ переключается с написания своих инсталляторов кубеней на написание своего оператора постгреса :)
Andrey
Как что-то плохое
Vadim
не хелмчарты и то хорошо, да
Andrey
Я уже один сервис с хелма на оператор пересадил, доволен как слон. Меньше тысячи строк на го вышло, но хочется ещё фичей, поэтому распухнет немного.
Andrey
Что попроще, то на метаконтроллер перенес
1010101
Веб -> енвой -> бэкэнд в локалке - 10мс
веб -> хапрокси -> бэкэнд в локалке - 4мс
веб -> бэкэнд (с шифрованием) - 2мс
ты пропустил тогда еще парочку мест, но ладно, забей, я понял примерно суть эксперимента
Andrey
Andrey
а что плохого в хелмчартах?
Бажное, готемплейтозадротство, особый подход к управлению жизненным циклом специфичных сервисов не реализуешь. Большинство публичных чартов для прода непригодно.
Andrey
Ну и tiller с точки зрения секьюрити такое себе
Mikolaj
Andrey
а альтернатива вменяемая?
Для чего-то несложного в управлении я юзаю metacontroller, для чего-то прихотливого (где нужно выполнение миграций бд, например) - пишу оператора
Mikolaj
ага спасибо, буду втыкать
Александр
Andrey
И то, насчёт миграций - у нас используется тот же redash. Он обновляется нечасто, поэтому джоба для миграций создаётся при обновлении одного кастомного ресурса, а сам редаш накатывается при обновлении другого. Надо править два ресурса последовательно, но одну строку в каждом и очень редко. Имхо, лучше хелма.
Andrey
Спасибо за инфу про метаконтроллер @rossmohax , кстати
Mikolaj
вытянул фланель с кореоса, сеть поднялась, вроде всё работает, пойду сносить и hard way пилить
Andrey
Mikolaj
через kubeadm слишком много магии
Andrey
