Aleksandr
Вопрос: а если я использую http01 challenge при получении сертификата, его ловит ingress, по ссылке например /.well-known/acme-challenge/Tm3vmVgDsT7aU5F6VbTkxEI2x8kgIQzjvxAi-e2 а кто эту ссылку обрабатывает? те откуда файл берется?
Aleksandr
а ну он прописан в nginx там
Aleksandr
ясн
Aleksandr
блин какая то фигня, nginx редиректит на cm-acme-http-solver-j5q4l, это же под должен быть, а его нету в списке
Aleksandr
солвер есть тока с другим именем, вообщем))) что-то тут не так
Nikolay
солвер есть тока с другим именем, вообщем))) что-то тут не так
Указать в аннотации ing ингресс класс, если в issuer он не указан
Nikolay
Если классов много то в каждом ns можно свои настройки issuer создать
Aleksandr
Просто имя не то
Aleksandr
Баг есть в гите про это
Aleksandr
Если классов много то в каждом ns можно свои настройки issuer создать
Там рандомное число на конце названия issuer не то
Aleksandr
https://github.com/jetstack/cert-manager/issues/2388
Aleksandr
:(
Vadim
Подскажите плиз, есть в облаке две сети, в одной на внутренних адресах поднят k8s, я хочу добавить в этот кластер 1 ноду из второй сети, как это можно сделать не настраивая пиринг/впн между сетями ?
George
Никак
George
Но если у тебя мастер доступен по внешнему адресу - можешь попробовать приджойнить по нему, но такое себе
Vadim
на мастер kube-apiserver запущен с --advertise-address=10.0.0.11 но хотя он и доступен по 6443 порту я так понимаю с таким advertise-address оно работать не будет а если я переключу на внешний адрес то отвалиться внутренний кластер
Vadim
верно ?
Igor
кто нибудь может простыми словами обьяснить зачем нужен endpointslices?
Igor
а лучше всего какой нибудь простой юзкейс для этого привести)
𝚔𝚟𝚊𝚙𝚜
кто нибудь может простыми словами обьяснить зачем нужен endpointslices?
когда у тебя 100500 подов и тебе нужно роутить на них один сервис
Andy
кто нибудь может простыми словами обьяснить зачем нужен endpointslices?
в блоге фланта на хабре есть об эндпоинте чуток https://habr.com/ru/company/flant/blog/467477/
Bohdan
Бот какой-то
Sergey
Добрый день ) подскажите плиз
Sergey
Если нода упала а поды в статусе Terminating это норм ?
Sergey
Разве они не должны удалиться а вместо их создастся новые ?
Alexey
Если нода упала а поды в статусе Terminating это норм ?
Привет! Как долго они в этом статусе?
Sergey
Ну вообще нода быстро в нот реди уходит а вот поды еще минут 6 висят в статусе раннинг
Sergey
а потом уходят в терминатинг и там долго висят у меня так и нехватило терпения дождаться когда они убьются
Sergey
[root@atlas-nsk-kub-master-01 ~]# kubectl get nodes NAME STATUS ROLES AGE VERSION atlas-nsk-kub-infra-01 NotReady <none> 2d12h v1.16.4 atlas-nsk-kub-node-01 Ready <none> 2d11h v1.16.4 NAMESPACE NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES default nginx-86c57db685-kzkxq 1/1 Running 0 134m 10.200.1.20 atlas-nsk-kub-node-01 <none> <none> default nginx-86c57db685-ts7xd 1/1 Running 0 17m 10.200.1.47 atlas-nsk-kub-node-01 <none> <none> kube-system coredns-68567cdb47-5l9rx 1/1 Running 0 134m 10.200.1.19 atlas-nsk-kub-node-01 <none> <none> kube-system coredns-68567cdb47-khz99 1/1 Running 0 2d11h 10.200.1.11 atlas-nsk-kub-node-01 <none> <none> test helloworld-5b8844746f-4pp6g 1/1 Running 0 7m45s 10.200.1.56 atlas-nsk-kub-node-01 <none> <none> test helloworld-5b8844746f-5mpxr 0/1 Running 0 10s 10.200.1.58 atlas-nsk-kub-node-01 <none> <none> test helloworld-5b8844746f-br458 0/1 Running 0 10s 10.200.1.57 atlas-nsk-kub-node-01 <none> <none> test helloworld-5b8844746f-dzmw8 1/1 Running 0 173m 10.200.1.17 atlas-nsk-kub-node-01 <none> <none> test helloworld-5b8844746f-h64f4 1/1 Terminating 0 7m45s 10.200.2.50 atlas-nsk-kub-infra-01 <none> <none> test helloworld-5b8844746f-l4cs8 1/1 Running 0 7m45s 10.200.1.54 atlas-nsk-kub-node-01 <none> <none> test helloworld-5b8844746f-mbsr6 1/1 Running 0 7m45s 10.200.1.53 atlas-nsk-kub-node-01 <none> <none> test helloworld-5b8844746f-r665c 1/1 Terminating 0 7m45s 10.200.2.52 atlas-nsk-kub-infra-01 <none> <none>
Sergey
при старте kube-controller-managera указываю --pod-eviction-timeout=30s \ --node-monitor-period=2s \ --node-monitor-grace-period=20s \
Sergey
В статус terminating ушли спустя 7 минут ((((
Lucky SB
Ну и будвт в нем. Пока нода не вернется и кублет отрапортует, что поды убиты
Andrei
В статус terminating ушли спустя 7 минут ((((
Потому-что у них дефолтный toleration на not ready, unreachable стоит в 300 секунд Это регулируется механизмом https://kubernetes.io/docs/concepts/configuration/taint-and-toleration/#taint-based-evictions
Валентин
а потом уходят в терминатинг и там долго висят у меня так и нехватило терпения дождаться когда они убьются
Они убьются тогда, когда нода перезапустится и подтвердит, что этих подов на ней нет
Andrei
дефолтный интервал в 300 секунд для taint based evictions можно через аргументы apiserver покрутить: https://kubernetes.io/docs/reference/command-line-tools-reference/kube-apiserver/ default-not-ready-toleration-seconds, default-unreachable-toleration-seconds
Sergey
эм а 300 это не дофига ли.
Sergey
Вот у меня 300 сек они в статусе Running а в это время сервисы на них пытаются трафик раскидать
inqfen
Не пытаются
inqfen
300 секунд они не переподнимаются на других нодах
Sergey
Если я не ошибаюсь этот функционал сейчас в бета)
Sergey
его ктонибудь юзает ?
Sergey
я его вообще отключил сейчас )
Sergey
TaintBasedEvictions=true|false (BETA - default=true)
Lucky SB
Это фича
Sergey
И в чем прикол ее использования если нода шлепнулась и не восстанавливается а под 300 секунд ждет в статусе раннинг и лишь потом переходит в терминатинг
Sergey
300 сек это очень много
Yurii
Привет народ. У nodeSelector можно указать как-то условие Конкретная нода, но если такой нет - взять любую доступную?
Валентин
Привет народ. У nodeSelector можно указать как-то условие Конкретная нода, но если такой нет - взять любую доступную?
прям в таком виде я не встречал, но допустим coredns умеет запускаться на мастере, когда нет других доступных нод. Это через toleration CriticalAddonsOnly вроде сделано. Посмотри в эту сторону
Yurii
Спасибо
Yurii
Может я не туда рою. Я хочу один конфиг для прода/тест и для локал разработки Только в проде у меня есть ноды c CPU ориентированными инстансами. А в локальном кубере одна нода, которая идёт с docker-desktop. Может просто довесить лейблы локальную на ноду.
Anonymous
подскажите по докерфайлу. ARG PARAMS = 'A=1 B=2' выдает 'ARG requires exactly one argument' вместо присвоения ключу PARAMS всей строки. с этим можно что-то сделать?
Anonymous
экранирование не помогает
Anonymous
ARG PARAMS="A=1 B=2"
двойные кавычки? спасибо
Lucky SB
И в чем прикол ее использования если нода шлепнулась и не восстанавливается а под 300 секунд ждет в статусе раннинг и лишь потом переходит в терминатинг
Ты путаешь статусы. Поды бытро перестают быть реди и сервисы на них перестают распределять трафик. А все остальное ужн по порядку... через 7 минут поднимутся дополнительнве поды, а у этих чместо раннинг будет писать ункновн. Потому что идея такова, узел может работать но не иметь связи с внешним миром.
Lucky SB
Как только кублет аернется то обновит статусы
Sergey
ок счас проверю
Lucky SB
А терминайтинг наверное потому что ты руками удалить поды пробовал
Sergey
Эм, а DefaultTolerationSeconds глобально можно как то задать менее 300 сек
Sergey
есть варианты только отключить этот плагин и переопределять руками для каждого деплоймента
Sergey
но это муторно ) хотелось сделать глобально чуть меньше )))
Sergey
но судя по всему этот параметр забит гвоздями в исходниках
Anonymous
А кто разбирался с IPVS? как кубер вообще генерит правила для него, где их можно посмотреть, и возможно ли управлять что-то свое добавлять ?
Tadeusz
семен семеныч - https://kubernetes.io/blog/2018/07/09/ipvs-based-in-cluster-load-balancing-deep-dive/
Tadeusz
Facebook has recently presented their use of BPF and XDP for load-balancing in a public talk to replace IPVS after measuring an almost 10x performance increase. смотрите в эту сторону
Anonymous
🙏 спасибо
Andrei
Эм, а DefaultTolerationSeconds глобально можно как то задать менее 300 сек
а параметров default-not-ready-toleration-seconds, default-unreachable-toleration-seconds недостаточно? я выше кидал
Andrei
они как раз этим механизмом и управляют
Vadim
народ а микросервисом как подключиться к https с самоподписанным сертификатом на тестовом стенде, как-то пихать корневой в образ не очень хочется
George
очень просто
George
сделай инит контейнер, который тебе соберет трастед сторе
George
apiVersion: apps/v1 kind: Deployment ... spec: ... template: ... spec: containers: - args: ... image: docker.io/fluxcd/flux:1.17.0 imagePullPolicy: IfNotPresent ... volumeMounts: ... - mountPath: /etc/ssl/certs/ name: ca-store initContainers: - command: - /usr/sbin/update-ca-certificates image: docker.io/fluxcd/flux:1.17.0 imagePullPolicy: IfNotPresent name: build-ca volumeMounts: - mountPath: /usr/local/share/ca-certificates/ name: MY-ca readOnly: true - mountPath: /etc/ssl/certs/ name: ca-store ... volumes: ... - name: MY-ca secret: defaultMode: 256 secretName: MY-ca - emptyDir: {} name: ca-store
George
типа так
George
Отключить валидацию)
охеренный совет, ога