ну блин, опять запустил, написал типа clonning и давай дальше пустыми строками вайпать консоль, это нормально вообще?

inventory.cfg покажи

И, кстати, я kubespray ставил: pip2 install kubespray

inventory.cfg покажи

а я его должен сам до запуска составить?

блин я думал там one-liner, в котором всё что нужно

Generate inventory for a baremetal cluster

вот тут же надо генерить его, а не составлять, то есть я не могу inventory.cfg показать, потому что у меня он не генерится

вот тут же надо генерить его, а не составлять, то есть я не могу inventory.cfg показать, потому что у меня он не генерится

тебе нужно обязательно сгенерировать

пушо там расставляются группы и подгруппы

на которые ориентируется ansible

kubespray prepare —nodes node1[ansible_ssh_host=${MASTER}] node2[ansible_ssh_host=${NODE1}] node3[ansible_ssh_host=${NODE2}] —nodes 2 —masters 1 вот так я правильно же всё делаю?

хм

секунду

в переменных айпишники указаны

тебе нужно запустить contrib/inventory_builder/inventory.py следующим образом:

kubespray prepare —nodes node1[ansible_ssh_host=${MASTER}] node2[ansible_ssh_host=${NODE1}] node3[ansible_ssh_host=${NODE2}] —nodes 2 —masters 1 вот так я правильно же всё делаю?

Нет. В —masters надо тоже указать в таком же формате, как и для —nodes. И —etcds аналогично.

—nodes 2 —masters 1 - не правильно и не нужно для baremetal

export CONFIG_FILE=/tmp/kubespray_inventory.cfg python contrib/inventory_builder/inventory.py IP1 IP2 IP3 IP4после чего в /tmp/kubespray_inventory.cfg сгенерируется inventory против которого надо запускать плейбуку

руками инветори не очень желательно делать

руками инветори не очень желательно делать

Я руками доделывал.

этот inventory.py типа LCM'а типа можно потом добавить еще одну ноду, и он сам разберется что и как по бест-практис туда нужно совать

kubespray prepare —nodes node1[ansible_ssh_host=${MASTER}] node2[ansible_ssh_host=${NODE1}] node3[ansible_ssh_host=${NODE2}] —nodes 2 —masters 1 вот так я правильно же всё делаю?

kubespray prepare —nodes node1[ansible_ssh_host=${MASTER}] node2[ansible_ssh_host=${NODE1}] node3[ansible_ssh_host=${NODE2}] —masters node1[ansible_ssh_host=${MASTER}] —etcds node1[ansible_ssh_host=${MASTER}] node2[ansible_ssh_host=${NODE1}] node3[ansible_ssh_host=${NODE2}]

kubespray prepare —nodes node1[ansible_ssh_host=${MASTER}] node2[ansible_ssh_host=${NODE1}] node3[ansible_ssh_host=${NODE2}] —masters node1[ansible_ssh_host=${MASTER}] —etcds node1[ansible_ssh_host=${MASTER}] node2[ansible_ssh_host=${NODE1}] node3[ansible_ssh_host=${NODE2}]

респект таким пацанам

а можно мне etcd и master на одну ноду указать? ??

а можно мне etcd и master на одну ноду указать? ??

Можно. Он ругнётся на то, что для кластера etcd хочет 3 ноды.

Но всё равно поставит.

хех, спасибо большое! c:

Вот, хочу свой ингресс-контроллер сделать. В частности хочу свой шаблон запилить с новыми переменными. Не пойму никак, как их обрабатывать. Хотел по аналогии сделать, но аналогии нет). Не могу в коде найти. Например, хотел найти, как это: ingress.kubernetes.io/configuration-snippet превращается в это: {{ $location.ConfigurationSnippet }} Может есть литература какая-то?

Вот, хочу свой ингресс-контроллер сделать. В частности хочу свой шаблон запилить с новыми переменными. Не пойму никак, как их обрабатывать. Хотел по аналогии сделать, но аналогии нет). Не могу в коде найти. Например, хотел найти, как это: ingress.kubernetes.io/configuration-snippet превращается в это: {{ $location.ConfigurationSnippet }} Может есть литература какая-то?

https://livebook.manning.com/#!/book/kubernetes-in-action а тут нет по этому поводу ничего?

https://livebook.manning.com/#!/book/kubernetes-in-action а тут нет по этому поводу ничего?

Поиском вроде не нашёл. Сейчас ещё гляну.

у меня есть pdfка всей книги, можешь посмотреть, если найдешь то что нужно, то заплатишь за нее автору, если нет, то удали потом, а то так нечестно x)

а кто-нибудь может объяснить зачем сервисам типа nodePort вообще нужен параметр clusterIP?

потому что оно реализовано как надстройка над ClusterIP. Трафик приходящий в NodePort перенаправляется в ClusterIP, который уже сам раскидывает под подам.

потому что оно реализовано как надстройка над ClusterIP. Трафик приходящий в NodePort перенаправляется в ClusterIP, который уже сам раскидывает под подам.

А сам ClusterIP адрес где-то физически висит или это тупо правила в iptables?

А сам ClusterIP адрес где-то физически висит или это тупо правила в iptables?

Если не вешать то не висит. В доке написано, что CIDR для ClusterIP обязан быть не маршрутизируемым

Но ни кто не запрещает тебе повесить его на интерфейс какого либо сервера)))

и сделать маршрутизируемым) Тогда можно избваться от NodePort и Ing

Если не вешать то не висит. В доке написано, что CIDR для ClusterIP обязан быть не маршрутизируемым

? не знал, но теперь понятно

так-так-так, обо всем по порядку, пожалуйста, с чем может быть связанно то что я не могу попинговать сервис по ClusterIP

ни с ноды ни из пода

либо задать реальну сеть L2 в качестве ClusterIP и маршрутизацию к ней)

ну потому что изначально ClusterIP это l3 DNAT по TCP/UDP

там нету icmp как класса)

то есть так и должно быть

да

ты можешь телнетнуться на порт сервиса

и что-то получить

или сделать wget/curl если это http

а почему тогда я поды с ноды могу попинговать?

потому что ip пода реален и работает по всем правила OSI

да, в целом логично

отлично, но по моему telnetom на kube-dns у меня тоже не работало, сейчас попробую еше раз

там же делается overlay сеть с маршрутизаций и всей другой мишурой

мм ну я лупил nslookup по kube-dns и всё работало

я получал резолвы

с ноды?

да

значит у меня что-то пошло не так :)

nslookup kubernetes.default.svc.cluster.local <ip dns svc>

и получал ip этого самого сервиса

Но ни кто не запрещает тебе повесить его на интерфейс какого либо сервера)))

Я понял, так делать нехорошо, но можно сервису повесить ExternalIP и он будет работать точно так же. То есть его можно повесить на одну из нод и он будет маршрутизировать на поды

Именно для этого ExternalIP и существует

ты пишешь внешний ip ноды и с ней трафик начинает ходит в поды

отсюда еще вопрос, объясните в чем отличие типов сервисов NodePort от ClusterIP? Ведь и там и там можно присобачить ExternalIP и port/targetPort и получать ответ от подов при запросе на эти порты снаружи

читал что clusterip сервисы используются только для организации доступа внутри кластера, а NodePort что бы выкидывать наружу. Но ведь по сути оба типа работают одинаково

А сам ClusterIP адрес где-то физически висит или это тупо правила в iptables?

тупо DNAT ловящий dst = ClusterIP

тупо DNAT ловящий dst = ClusterIP

почти, там еще веса и вероятности.

добавьте @ratememyfriendbot в чат, буду плюсики раздавать :)

ERROR: S client not available

или сделать wget/curl если это http

ты был прав, curl и правда работает, ping нет, но и не должен, но моя проблема оказалось в другом: # kubectl describe endpoints kube-dns -n kube-system Name: kube-dns Namespace: kube-system Labels: k8s-app=kube-dns kubernetes.io/cluster-service=true kubernetes.io/name=KubeDNS Annotations: <none> Subsets: Addresses: <none> NotReadyAddresses: 172.16.6.4 Ports: Name Port Protocol ---- ---- -------- dns 53 UDP dns-tcp 53 TCP Events: <none>

и оно никак не хочет этот адрес переводить из NotReadyAddresses в Addresses

разобрался, я какой-то кривой dns запустил и он не мог получить доступ к kubernetes-api-server. Развернул новый kubernetes и скопировал конфиг для dns оттуда, заработало :)

это нормально, что kubespray уже второй затыкается на каком-то шаге (сначала ectd, теперь мастер) из-за того, что нода не отвечает?

это нормально, что у вас важная нода не отвечает? :)

это нормально, что kubespray уже второй затыкается на каком-то шаге (сначала ectd, теперь мастер) из-за того, что нода не отвечает?

а какой SDN плагин ? и на каких нодах

а какой SDN плагин ? и на каких нодах

всё дефолтно, видимо flanneld? bare-metal от scaleway

это нормально, что у вас важная нода не отвечает? :)

ну может в процессе настройки все дела

всё дефолтно, видимо flanneld? bare-metal от scaleway

нет. помойму calico по дефолту

ради эксперимента укажи flannel

kube_network_plugin: "flannel" dns_mode: kubedns

у меня с calico были проблемы на aws и на digital ocean

впрочем я их поборол, но на вскидку сейчас не вспомню как

kube_network_plugin: "flannel" dns_mode: kubedns

это в .kubespray.yml или cluster.yml ??

а нормально же просто перезапускать kubespray, он там откатит предыдущие изменения? в принципе он скипит некоторые шаги, что подсказывает, что скорее всего они это предусмотрели

это в .kubespray.yml или cluster.yml ??

group_vars жи

Ещё есть репа с терраформом для поднятия кубера: https://github.com/hobby-kube/guide Поддерживаются scaleway и DO + ещё в днс умеет прописывать хосты

Там vpn между нодами поднимается, который в kernel space работает )

Ещё есть репа с терраформом для поднятия кубера: https://github.com/hobby-kube/guide Поддерживаются scaleway и DO + ещё в днс умеет прописывать хосты

ох еще ревьювить баш-скрипты на эксплоиты, хех, но спасибо выглядит очень привлекательно

к слову мастер-нода до сих пор не отвечает, прям хз что с этим делать мда сетка теперь flannel

к слову мастер-нода до сих пор не отвечает, прям хз что с этим делать мда сетка теперь flannel

Странно

А на чем падает

Еба

Я знаю в чем проблема

ого!

Сек

вангую что у тебя на интерфейсах левые ойпи адреса которые твой клауд провайдер натит

покажи мне с одной ноды ip a show куда-нибудь в приват через hastebin.com

Скажите, а конфигмап - это только ключ=значение? Можно как-то для ключа сделать значение, равное нескольким строкам?

мм я туда несколько файлов с конфигам запихивал)

Целую папку так сказать