ааа блин, завел трэфик с инфо, он только регает что поднялся бэкенд, без запросов (

за подправлю

Вот пишет что бэк есть

time="2018-08-07T13:44:04Z" level=debug msg="Creating server kubernetes-dashboard-6948bdb78-mns8n at https://10.32.0.6:8443 with weight 1"

time="2018-08-07T13:45:56Z" level=debug msg="vulcand/oxy/forward/http: Round trip: https://10.32.0.6:8443, code: 500, Length: 21, duration: 1.541266ms" time="2018-08-07T13:45:56Z" level=debug msg="vulcand/oxy/forward/http: completed ServeHttp on request" Request="{\"Method\":\"GET\",\"URL\":{\"Scheme\":\"https\",\"Opaque\":\"\",\"User\":null,\"Host\":\"10.32.0.6:8443\",\"Path\":\"\",\"RawPath\":\"\",\"ForceQuery\":false,\"RawQuery\":\"\",\"Fragment\":\"\"},\"Proto\":\"HTTP/1.1\",\"ProtoMajor\":1,\"ProtoMinor\":1,\"Header\":{\"Accept\":[\"text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8\"],\"Accept-Encoding\":[\"gzip, deflate\"],\"Accept-Language\":[\"ru-RU,ru;q=0.9,en-US;q=0.8,en;q=0.7,es;q=0.6,fr;q=0.5\"],\"Cache-Control\":[\"max-age=0\"],\"Connection\":[\"keep-alive\"],\"Dnt\":[\"1\"],\"Upgrade-Insecure-Requests\":[\"1\"],\"User-Agent\":[\"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.84 Safari/537.36\"]},\"ContentLength\":0,\"TransferEncoding\":null,\"Host\":\"10.0.18.69\",\"Form\":null,\"PostForm\":null,\"MultipartForm\":null,\"Trailer\":null,\"RemoteAddr\":\"10.41.0.0:55394\",\"RequestURI\":\"/k8s\",\"TLS\":null}"

ssl-passthrough стоит на манифесте?

нет, по гуглю что это

посмотри в эту сторону https://github.com/containous/traefik/issues/1376 Там с трафиком своя какая-то магия, чёрная

Через проксю кубера работает. Она без SSL отдает.

трафик просто юзает свои кастомные аннотации, что усложняет жизнь тех, кто не пользовался трафиком

трафик просто юзает свои кастомные аннотации, что усложняет жизнь тех, кто не пользовался трафиком

дашборд кубера хочу завести, лень с SSL заморачиватся, лаба пока что. Вот уперлась как зараза и все. А без SSL сама дашборда не стартует (

что привело тебя к трафику? Почему не nginx или haproxy?

что привело тебя к трафику? Почему не nginx или haproxy?

Пробую, разбираюсь плюс nginx перечитывает конфиг через HUP, что не так уж хорошо при куче соединений.

Пробую, разбираюсь плюс nginx перечитывает конфиг через HUP, что не так уж хорошо при куче соединений.

у nginx все очень аккуратно сделано. Воркеры старые отрабатывают коннекты со старым конфигом, новые уже spawn'ятся с новым

haproxy - как то уж слишком в лоб, haproxy будет на входе, для другого. Все таки трэфик l7, у него много вкусностей есть, те же реврайты

у nginx все очень аккуратно сделано. Воркеры старые отрабатывают коннекты со старым конфигом, новые уже spawn'ятся с новым

nginx - хорош, я не в коем случае не против него, просто нужно щупать новые инструменты.

ну nginx\haproxy (C) по определению шустрее, чем traefik (Go)

ну nginx\haproxy (C) по определению шустрее, чем traefik (Go)

не нужно доказывать мне очевидного, там разница копеешная.

как минимум год назад у го точно были проблемы со скоростью шифрования\терминации

>haproxy будет на входе тогда зачем внутри траэфик внутри еще?

как минимум год назад у го точно были проблемы со скоростью шифрования\терминации

у нас не хайлоад. Ребят просто трэфик и все тут, щупаю его, ковыряю, проект интересный. Хочу на нем завестись

>haproxy будет на входе тогда зачем внутри траэфик внутри еще?

на haproxy терминировать SSL, сертификаты и т.д. Там будет жить паблик, все остальное внутри.

Или nginx - не суть. Ребят не сбивайте, сейчас ковыряюсь с трэфиком, давайте по теме

Коллеги, кто подскажет!

Вот есть master и 3 ноды, на всех развернут kube-proxy который отвечает на всех нодах. Вопрос в том, почему если вырубается одна из нод, остальные тоже перестают отвечать по порту, хотя он слушается и доступен?

Вот есть master и 3 ноды, на всех развернут kube-proxy который отвечает на всех нодах. Вопрос в том, почему если вырубается одна из нод, остальные тоже перестают отвечать по порту, хотя он слушается и доступен?

любая из трех и один результат?)

любая из трех и один результат?)

Да, по дефолту они все выдают "default backend - 404"

если без хоста

ааа, кажись понял, дело наверно всетаки в ingress

Коллеги, направьте в нужную сторону траблшутить. После накатки нового кластера не стартуют некоторые поды kube-system po/kube-dns-7bd4d5fbb6-qsrwl 0/3 ContainerCreating 0 5h Events: Type Reason Age From Message ---- ------ ---- ---- ------- Normal SandboxChanged 6m (x15676 over 5h) kubelet, us-srv-06 Pod sandbox changed, it will be killed and re-created. Warning FailedCreatePodSandBox 1m (x15816 over 5h) kubelet, us-srv-06 Failed create pod sandbox: rpc error: code = Unknown desc = NetworkPlugin cni failed to set up pod "kube-dns-7bd4d5fbb6-qsrwl_kube-system" network: Unable to retreive ReadyFlag from Backend: resource does not exist: ReadyFlagKey()

Коллеги, направьте в нужную сторону траблшутить. После накатки нового кластера не стартуют некоторые поды kube-system po/kube-dns-7bd4d5fbb6-qsrwl 0/3 ContainerCreating 0 5h Events: Type Reason Age From Message ---- ------ ---- ---- ------- Normal SandboxChanged 6m (x15676 over 5h) kubelet, us-srv-06 Pod sandbox changed, it will be killed and re-created. Warning FailedCreatePodSandBox 1m (x15816 over 5h) kubelet, us-srv-06 Failed create pod sandbox: rpc error: code = Unknown desc = NetworkPlugin cni failed to set up pod "kube-dns-7bd4d5fbb6-qsrwl_kube-system" network: Unable to retreive ReadyFlag from Backend: resource does not exist: ReadyFlagKey()

kubectl get no -o wide посмотри.

видны три ноды, все ready

ROLES master,node

Коллеги, направьте в нужную сторону траблшутить. После накатки нового кластера не стартуют некоторые поды kube-system po/kube-dns-7bd4d5fbb6-qsrwl 0/3 ContainerCreating 0 5h Events: Type Reason Age From Message ---- ------ ---- ---- ------- Normal SandboxChanged 6m (x15676 over 5h) kubelet, us-srv-06 Pod sandbox changed, it will be killed and re-created. Warning FailedCreatePodSandBox 1m (x15816 over 5h) kubelet, us-srv-06 Failed create pod sandbox: rpc error: code = Unknown desc = NetworkPlugin cni failed to set up pod "kube-dns-7bd4d5fbb6-qsrwl_kube-system" network: Unable to retreive ReadyFlag from Backend: resource does not exist: ReadyFlagKey()

оффтоп: мне кажется или они неправильно слово retreive написали?

гугл говорит неправильно

https://github.com/kubernetes/kubernetes/issues/57280

куда еще можно посмотреть в кубе чтобы увидеть в чем проблема?

Отхватил сегодня интересный баг из-за systemd-resolv. Кубелет прокидывает неправильный ресолв.конф и поды не видят внешний мир

Отхватил сегодня интересный баг из-за systemd-resolv. Кубелет прокидывает неправильный ресолв.конф и поды не видят внешний мир

вроде тут уже было такое, про 18.04 ubuntu

В общем я пока решил подождать с bionic, завестись то оно завелось, но слишком много костылей, начитюная от подключения xenial репозиториев, что бы установить kubelet и docker нужной версии, а ещё эти приколы с systemd-rezolved и netplan, как-то оно не особо внушает доверия это все

вот тут

Отхватил сегодня интересный баг из-за systemd-resolv. Кубелет прокидывает неправильный ресолв.конф и поды не видят внешний мир

или там не эта проблема?

или там не эта проблема?

Именно оно

Но на 18.04 с кубспреем много проблем

кстати, на счет bionic я нашел решение с systemd-resolved

То докер нужной версии, то фланель глючит, то днс. Но в итоге все ок

кстати, на счет bionic я нашел решение с systemd-resolved

Там другой ресолв подсунуть надо

Но на 18.04 с кубспреем много проблем

верю, а докер последней версии с интеграцией через cri плагин?

Докер 18.06

Что/за кри плагин? Cni может?

Что/за кри плагин? Cni может?

container runtime interface

apt-get -y install resolvconf systemctl stop systemd-resloved systemctl mask systemd-resloved ln -sf ../run/resolvconf/resolv.conf /etc/resolv.conf

apt-get -y install resolvconf systemctl stop systemd-resloved systemctl mask systemd-resloved ln -sf ../run/resolvconf/resolv.conf /etc/resolv.conf

мощн =)

apt-get -y install resolvconf systemctl stop systemd-resloved systemctl mask systemd-resloved ln -sf ../run/resolvconf/resolv.conf /etc/resolv.conf

Проще кубелету указать ресолв от системд

у системды searchdomain не работает, во всяком случае у меня из коробки не заработал

у системды searchdomain не работает, во всяком случае у меня из коробки не заработал

?

но у меня ltsp, и довольно специфическая конфигурация

я просто указал --resolv-conf=/run/systemd/resolve/resolv.conf в kubelet.env

все равно я плюнул на эту затею, bionic в прод пихать, после апдейта на оный, у нас ноды стали произвольно ребутаться, при этом в логах вообще ничего

минут тридцать бошку ломал почему серт менеджер ишьера не регает

все равно я плюнул на эту затею, bionic в прод пихать, после апдейта на оный, у нас ноды стали произвольно ребутаться, при этом в логах вообще ничего

ааа, ну это я ставил на подстольный тестовый сервер

а как нормально решить вопрос с вольюмами для подов с ReadWriteMany?

чтобы по-человечески и без ceph?

?

cat /etc/resolv.conf nameserver 10.9.8.6 search corp.example.orgвот опцию search systemd-resolved не прописывает

а в /run/systemd/resolve/resolv.conf?

так /etc/resolv.conf - это симлинк на него

нет

разный контент

/etc/resolv.conf: nameserver 127.0.0.53

не знаю, должен быть симлинком, отсюда и все проблемы значит у вас

/run/systemd/resolve/resolv.conf: nameserver 192.168.1.1

там даже ишью есть с таким решением

а что dpkg-query -S /etc/resolv.confпоказывает?

не знаю, должен быть симлинком, отсюда и все проблемы значит у вас

а как вы вольюмы делаете для подов?

хаха, это уже другой вопрос :)

не показывает

dpkg-query: не найден путь, подходящий под шаблон /etc/resolv.conf

всем привет. собираюсь разворачивать кубернетис и встал вопрос выбора дистрибутива. сейчас все классические сервера развернуты на centos, но вроде как неплохим решением было бы поставить прямо container linux и в путь. что посоветуете? использовать то, чем уже пользовался и не греть мозги или таки стоит попробовать container linux?

Всем привет! А кто нибуть юзает fedora atomic?

а как вы вольюмы делаете для подов?

Для подов у нас сейчас локальный ZFS, но мы рассматриваем возможность перехода на DRBD и Linstor как оркестратор

хаха, это уже другой вопрос :)

я смотрел разные решения, которые не требуют отдельного диска. Выходит или zfs или rook (привет от ceph) или openebs. Может что-то еще есть?

Всем привет! А кто нибуть юзает fedora atomic?

я юзаю

я юзаю

А можно какую нибуть мне доку нормальную посоветовать по деплою k8s на эту систему или хоть какое-то актуальное чтиво?

я смотрел разные решения, которые не требуют отдельного диска. Выходит или zfs или rook (привет от ceph) или openebs. Может что-то еще есть?

Если вам не критично количество IOPS берите Ceph - имхо самый простой вариант

Если вам не критично количество IOPS берите Ceph - имхо самый простой вариант

ceph поддерживает rwx, это да. А какие еще есть решения?

А можно какую нибуть мне доку нормальную посоветовать по деплою k8s на эту систему или хоть какое-то актуальное чтиво?

http://projectatomic.io/ kubespray умеет его юзать чтобы деплоить

ceph поддерживает rwx, это да. А какие еще есть решения?

имеется ввиду cephFS?

ceph поддерживает rwx, это да. А какие еще есть решения?

rwx - это ReadWriteMany?

а зачем вам ReadWriteMany?

а зачем вам ReadWriteMany?

minio

имеется ввиду cephFS?

да

А он разве не с S3 напрямую работает?

я тут статейку писал, про отказоустойчивый NFS-сервер, по моему отличное решение, если что https://habr.com/post/417473/

с тем лишь отличием, что сам NFS-сервер деплоится кубером как контейнер, а drbd-девайс создается через Linstor

с тем лишь отличием что NFS не проверяет что он вообще записал, так что я не понял к чему относилось слово "отказоустойчивый"