Dmitry
Это если namespace один. Если разные, всё равно придётся разные сертификаты делать
можно генерить сертификаты в одном namespace и поставить оператор, который копирует их в нужные
Hankey
Доброе утро, чат! Подскажите пожалуйста, где можно прочитать о следующем вопросе. Не могу понять, каким образом происходит получение запрашиваемых страниц от приложений. Есть представление, что в кластере работает под, к нему подключается сервис, а к сервису подключается ингресс. Собственно, каким образом клиент обращаясь на 80/tcp порт получает желаемое?
Hankey
клиент идет в ingress controller, он проксирует запрос на pod, в котором развернут твой контейнер.
это понятно, но ведь ингресс не работает на 80 порту, и на самой рабочей ноде он не открыт
Dmitry
это понятно, но ведь ингресс не работает на 80 порту, и на самой рабочей ноде он не открыт
ingress controller работает так, как ты ему скажешь. Например у меня на 80,443 портах
Hankey
ingress controller работает так, как ты ему скажешь. Например у меня на 80,443 портах
да, можно указать любые. Но я пытаюсь постичь, каким образом происходит отдача страниц, когда порт закрыт на рабочей ноде?
Dmitry
да, можно указать любые. Но я пытаюсь постичь, каким образом происходит отдача страниц, когда порт закрыт на рабочей ноде?
Не понимаю вопроса. Зачем закрывать порт, который слушает ingress controller? Как он трафик клиентский будет принимать?
Sn00part
Вам надо разобраться в базовой терминологии
Sn00part
Что значит под закрыт
Sn00part
Он в своей подсети
Sn00part
Дальше происходит работа cni plugin
Hankey
Не понимаю вопроса. Зачем закрывать порт, который слушает ingress controller? Как он трафик клиентский будет принимать?
я не собираюсь открывать. Вот смотри, клиент запрашивает appname.kube.example.com и подключается к node.example.com, но на самой ноде-то не открыт 80-й порт
Sn00part
Нет все не так
Dmitry
я не собираюсь открывать. Вот смотри, клиент запрашивает appname.kube.example.com и подключается к node.example.com, но на самой ноде-то не открыт 80-й порт
🤷‍♂️ну так открой. Если тебе нужно клиенту отдавать что-то по 80 порту, почему бы это не сделать?
Hankey
🤷‍♂️ну так открой. Если тебе нужно клиенту отдавать что-то по 80 порту, почему бы это не сделать?
я получаю запрашиваемые страницы, схема работает норм, но я не могу понять как
Sn00part
Клиент подключается к хосту, где работает ингресс
Sn00part
Дальше идёт l7 балансировка в соответствии с твоими svc
Dmitry
я получаю запрашиваемые страницы, схема работает норм, но я не могу понять как
ingress controller - обычный веб-сервер в роли балансировщика. Он по service видит к каким endpoints нужно направлять трафик и добавляет их в upstream. Запрос идкт к нему от клиента, а он знает на какой под его направить.
Hankey
на самой рабочей ноде открыты порты 179/tcp 443/tcp 2379/tcp 2380/tcp 2381/tcp 2382/tcp 4194/tcp 6443/tcp 6783/tcp 8285/udp 8472/udp 9323/tcp 10250/tcp 10251/tcp 10252/tcp 10255/tcp 30000-32767/tcp как мы попадаем на 80-й?
Dmitry
это я понимаю из записей в деплойменте, вопрос в том, как трафик попадает в ингресс
Это тебе решать. Например у меня ingress controller точка входа клиентского трафика. Некоторые перед ним ставят доп. балансировщики.
Dmitry
не ставлю балансировщик, схема максимально упращенная
ну так в чем проблема то? У тебя запросы клиента не дохожят до ingress контроллера? ( есть hostPort, и hostNetwork: true)
Dmitry
Да норм всё работает, я не могу врубиться как эта магия происходит
в чем магия? Ты же сказал понимаешь как ingress controller направляет трафик на нужные поды. То есть ты не понимаешь как контейнер на хосте может слушать порт хоста? В этом магия?
Hankey
у меня следующее представление (устаревшее) когда клиент пытается запросить страницу от веб сервера по http, он идёт на него, и в DST port 80/tcp, который должен быть открыт у веб-сервера
Dmitry
Ну и? Ты не поинмаешь что запрос может быть проксирован на другой веб-сервер?
Hankey
при том, что на самом хосте ещё и порт закрыт
Dmitry
не понимаю как от хоста трафик попадает в ингресс
Зависит от того как у тебя ingress controller настроен. Если hostnetwork: true, то контейнеру тупо доступна сеть хоста, и он слушает на ней порты. Если hostPort, то это какой-нибудь iptables будет трафик направлять.
Dmitry
при том, что на самом хосте ещё и порт закрыт
Если у тебя порт закрыт, то ты бы не смог сделать запрос на веб-сервер. =) Значит он открыт
Hankey
Если у тебя порт закрыт, то ты бы не смог сделать запрос на веб-сервер. =) Значит он открыт
я так понял, скорее всего в iptables из-за форвардинга я попадаю в ингресс
Hankey
большое нечеловеческое спасибо!
𝚔𝚟𝚊𝚙𝚜
А никто случайно не сталкивался с проблемой, когда controller-manager очень долго реагирует на attach/detach томов?
𝚔𝚟𝚊𝚙𝚜
Чёт весь мозг уже свёл себе, drain обычного пода с ноды на ноду занимает минут 8-10
𝚔𝚟𝚊𝚙𝚜
Multi-Attach error for volume "blablabla" Volume is already exclusively attached to one node and can't be attached to another
𝚔𝚟𝚊𝚙𝚜
Причем похоже что косяк где-то со стороны кубера, т.к. csi-контроллер без проблем отрабатывает все volumeattachments почти мгновенно
Sn00part
Что за волум то
𝚔𝚟𝚊𝚙𝚜
Это все твой линстор
Был бы линстор, я бы сюда не писал. Говорю же csi-attacher нормально отрабатывает все volumeattachments. Проблема в том, что при переезде пода controller-manager не управляет этой сущностью
𝚔𝚟𝚊𝚙𝚜
Вернее управляет, но слишком медленно.
𝚔𝚟𝚊𝚙𝚜
Под без проблем убивается и переезжает на другую ноду, затем зависает из-за того что volumeattachment остаётся на старой ноде, только спустя 4 минуты controller-manager прибивает старый volumeattachment, потом ещё минуты 2 создаёт новый для новой ноды. Всё это время под висит как целка на морозе и терпеливо ждёт :)
Sn00part
какой волум-то? нфс? цепх? локал? глустер? музефс?
Sn00part
нет, канеш не все
Sn00part
цси как-то по-другому маунтит цепх, не через rbd модулек?
Sn00part
CSI это интерфейс же, под капотом там все равно все по-старому
𝚔𝚟𝚊𝚙𝚜
Так они все вроде через один attach-detach controller работают
Sn00part
да это понятно, но на более низком уровне там все равно userspace или модуль ядра
𝚔𝚟𝚊𝚙𝚜
цси как-то по-другому маунтит цепх, не через rbd модулек?
Что бы rbd модулек его обработал, controller-manager должен выдать задание на attach или detach
Sn00part
а он не выдает? точно?
𝚔𝚟𝚊𝚙𝚜
Это задание имеет свой kind в кубере volumeattachment
𝚔𝚟𝚊𝚙𝚜
Соответственно чтобы приаттачить нужно его создать, чтобы отаттачить нужно его удалить
𝚔𝚟𝚊𝚙𝚜
Этим занимается controller-manager
Sn00part
очевидные вещи можно пропустить
Sn00part
ты считаешь, что поломка на этом уровне?
𝚔𝚟𝚊𝚙𝚜
С другой стороны csi-attacher эти реквесты обрабатывает подобно провижионеру
𝚔𝚟𝚊𝚙𝚜
Sn00part
да это по фотографии кароче. версий кубера нет, версий других компонентов нет, типа стораджа нет, ничо нет, но не работает
Sn00part
таких проблем у себя не замечал, только с тормозящим цепхом такое происходит
𝚔𝚟𝚊𝚙𝚜
ты считаешь, что поломка на этом уровне?
Если честно то не совсем понимаю как controller-manager устроен. Но у меня есть подозрение, что он из-за чего-то подвисает на подобных операциях, либо вовсе их не замечает, и обрабатывает их только в во время основного reconcile loop. Во всяком случае если его ребутнуть, то после leader election операция сразу отрабатывает
𝚔𝚟𝚊𝚙𝚜
да это по фотографии кароче. версий кубера нет, версий других компонентов нет, типа стораджа нет, ничо нет, но не работает
Есть идеи куда смотреть? Версия куба 1.17, но возможно что и при 1.16 такое было, забавный факт что в другом кластере при идентичной конфигурации всё работает как надо.
Sn00part
неа, идей пока нет
Sn00part
мне бы до 1.16 обновиться еще ))
Sn00part
на след неделе будем ставить 1.17 и разворачивать всю эту балалайку в таком же виде
Sn00part
вполне возможно, багованый кубер
Sn00part
но у нас везде CSI используется, да
Sn00part
там же сайдкар это все делает ?*
Sn00part
external-attacher, он один там у тебя или много их? или еще как-то сделано ?*
Sn00part
мож тут покрутить https://github.com/kubernetes-csi/external-attacher#command-line-options
Sn00part
или ворваться в https://kubernetes.slack.com/messages/sig-storage сразу и решите )
𝚔𝚟𝚊𝚙𝚜
external-attacher, он один там у тебя или много их? или еще как-то сделано ?*
Аттачер один, к нему вопросов нет, т.к. все реквесты он отрабатывает на отлично
Sn00part
sig-storage - они там аутисты все правда, много девочек, так что с ними общаться одно удовольствие
George
я не собираюсь открывать. Вот смотри, клиент запрашивает appname.kube.example.com и подключается к node.example.com, но на самой ноде-то не открыт 80-й порт
@identw не читал все Но порт может быть не открыт, а трафик льется через правило файрвола куда надо. Не?