Terry
George
нет
George
толку мне там находиться с "вечным" баном
Grigorii
А что за вебка к docker registry на картинке?
это гитлабовское регистри
V 🏴‍☠️
А что за косяки, какие симпотмы? Latency большой?
В данный момент - ingress получает запрос, но не отдаёт ответ, хотя сессия установлена. Ранее сеть прям валилась, многие поды рандомно могли не попасть на разные сервисы
Dmitry
Охотно верю, но как безболезненно переехать?
Можно попробовать сначала задеплоить новый cni но без конфига в /etc/cni. Затем постепенно для каждого воркера удалять старый конфиг и заменят его новым. Так как задеплоено два daemonset старого и нового плагина. При замене конфига, старые поды должны работать, а новым подам будут назначать новые айпишники новым cni. Но страшно подумать что там может случиться в iptables, ipset и т.д. =)
Lucky SB
проще по узлам так делать
Dmitry
проще по узлам так делать
ну я и говорю, для каждого узла, осторожно, узел за узлом
V 🏴‍☠️
Может я вообще что-то не так делаю и надо тупо sysctl крутить...
Lucky SB
когда я вл фланнел добавлял контроллер сетевых политик для калики - то там параллельно работало два демон сета. так как у калики конфиг назывался 10-calico - то он и использовался для новых подов. проблемы - подам выдавались адреса уже существующих подов. мусор в iptables узлов. пришлось убивать все поды, чтобы они новые создались и потом узлы по одному ребутать
Anonymous
а меня в @ru_podman забанили
За что? Я конечно чекнул что там Рутковский, но типа ты решил на рекорд пойти?
George
я не знаю
George
🤷‍♂️🤦‍♂️
George
нормально общались же
George
а потом хоп. и готово
Terry
офтопы
Anonymous
нормально общались же
Вот твоя ключевая ошибка брат
Anonymous
Ты общался
Dmitry
Калико == iptables. Оно, когда много всего не очень
А calico нет? (я не проовал, интересно просто)
George
Ты общался
а зачем еще чаты нужны?
George
не было там оффтопика
V 🏴‍☠️
У кого вообще есть over 300pods на ноде? Что крутите?
Anonymous
а зачем еще чаты нужны?
Чтобы молчать в них, иногда задавая вопросы по кейсам, на которые никто не ответит, потому что хз вообще
Dmitry
Калико == iptables. Оно, когда много всего не очень
не то спросил, имел в виду, а какие не содержат кучу iptables или по крайней мере на много меньше правил?
Lucky SB
У кого вообще есть over 300pods на ноде? Что крутите?
никто. предпочитаем безопасный секс
Dmitry
У кого вообще есть over 300pods на ноде? Что крутите?
А что за ноды у тебя такие? Сколько CPU, memory?
V 🏴‍☠️
А что за ноды у тебя такие? Сколько CPU, memory?
Да там нет нагрузки. Очень мелкие приложения, просто их очень много и они все в большом количеств реплик
V 🏴‍☠️
Там 20 ядер с НТ и 64 ОЗУ
V 🏴‍☠️
LA в районе 3-5
Dmitry
Там 20 ядер с НТ и 64 ОЗУ
Интересный кейс. Мб порезать на виртуалки?
Anonymous
Интересный кейс. Мб порезать на виртуалки?
Лишний уровень абстракции же
V 🏴‍☠️
Интересный кейс. Мб порезать на виртуалки?
Двоякое мнение у меня на этот счёт
Dmitry
Двоякое мнение у меня на этот счёт
Я бы тоже не стал на самом деле. Зачем виртуалки, когда они тебе не нужны.
V 🏴‍☠️
Я бы тоже не стал на самом деле. Зачем виртуалки, когда они тебе не нужны.
Да лично в моём кейсе будет больше проблем с ними, на самом деле, как минимум с лишним уровнем абстракций и стейтфулом
V 🏴‍☠️
Да
Dmitry
Да
Может в этом и беда, куча этих veth'ов. Так как на одной жирной ноде куча подов, собственно = куча veth интерфейсов, трафик там скачет через сетевые стэки туда сюда. У меня ноды тоже жирные, но пока с проблемами не столкнулся. По идее надо отказываться от bridge. Можно попробовать например ipvlan
Dmitry
У меня была мысль про бриджи, но что-то сам себе в голове её развить не смог
Ну вот: https://cs.nju.edu.cn/tianchen/lunwen/2017/sgws-Zhao.pdf, пишут что все плохо. Также вот https://habr.com/ru/company/flant/blog/332432/
Dmitry
Вот это особенно интересно: > With Linux bridge connecting containers, the throughput can be as low as 3 Mbps with 8 chained containers. The reason is that a single kernel thread executes all the operations associated with a packet without parallelization at all. In this paper, we also demonstrate that network throughput can be throttled by CPU capacity.
V 🏴‍☠️
Ну в проц я тут точно не упираюсь
Sergey
у фланнеля и калико 10 гбит и то 100500 issue
Ты ещё скажи, что ты видел что такое 10г в реалиях, а то как всегда где-то чего-то наслушался и пришел тут базвордами расскидываться
Sergey V
Калико == iptables. Оно, когда много всего не очень
плюс не надо забывать что calico юзает bgp и об это тоже можно споткнуться у хостеров которые не разрешают bgp между хостами
Sergey V
Блин прям беда. как создать недоадминский доступ в кубере, чтобы был доступ везде везде кроме одного единственного секретного неймспейса. и во все будущие неймспейсы чтобы доступ был. rbac для 100500 неймспейсов прописывать и потом для вновь создающихся еще не вариант совсем
Aleksandr
Парни спасибо, подсказали с Ingress nginx/stable который через helm ставится, отлично все заработало, вопрос, а может как то можно также удобно организовать самоподписывающиеся сертификаты через letsencrypt
Aleksandr
?
Sergey V
cert-manager умеет
Aleksandr
он с nginx в связке рабит?
Stefan
канеш
Aleksandr
кул, ща попробую
Aleksandr
спс
Ilia
Ilia
А есть что-нибудь почитать про архитектуру кубера, на русском бы
Anonymous
Мой мем покорил просторы уже всех devops чатиков. На самом деле читать есть много чего, но какой то конкретный ман не подскажу, ибо ни одного нормального я ещё не увидел. Самое лучшее задеплоить себе стенд и на практике щупать
Anonymous
Легкого пути нет, ты обязан идти через докер и читать многостраничные офф. Доки
Sergey V
видосы с конф, где Столяров, норм
Ilia
Ну кстати да, пока лучше него ничего не нашёл. Флант самый топ
Anonymous
Ну я считаю что пальцем в небо учить что то довольно странно
George
только Флант топ только по докладам
Anonymous
Кубер большой, нужно основываться на задачах непосредственно в бою
Ilia
Ну я считаю что пальцем в небо учить что то довольно странно
Почему пальцем в небо? Допустим развернул, как бы понимаю основную концепцию, да и в целом как работает. Но вот видимо чтоб совсем разобраться только в доках
Sergey V
только Флант топ только по докладам
просто флант это не только Столяров
Ilia
Просто где-то одно описание у сервисов типа scheduler и controller manager где то ещё другое, и вот сидишь гадаешь и что же оно все таки делает
Ilia
Теперь и доки говно
Anonymous
Настолько говно, что мне приходится экспериментальным путем искать синтаксис деплоймента
Ilia
Так вообще непонятно из чего выбирать