Alex
с этим хоть разобраться
Dmitry
я пока не добавлял другие ноды
сколько нод? Все на мастере крутится?
Alex
не - на одном сервере мастер - на втором нода - то есть мастер 192ю168ю100ю101 а нода 192ю168ю100ю102
Dmitry
я пока не добавлял другие ноды
с ноды инет работает? дай вывод kubectl get netpol --all-namespaces
Dmitry
не - на одном сервере мастер - на втором нода - то есть мастер 192ю168ю100ю101 а нода 192ю168ю100ю102
Поды которые на второй ноде, могут пинговать поды мастера?
Alex
Поды которые на второй ноде, могут пинговать поды мастера?
сейчас проверю - но сервер точно пингую
Alex
проверю могу ли под пингануть что на мастере
Alex
вот один из coredns - что на мастере - пинганул - работает пинг
Dmitry
проверю могу ли под пингануть что на мастере
у тебя либо netpolicy запрещают в инет ходить, либо с правилами iptables что-то
Alex
и второй тоже 172.16.0.7 172.16.0.6 - оба пингуютсья с ноды
Alex
это на локальной машине - в виртуалбоксе
Dmitry
iptables вообще не когда не юзаю
зато его kube-proxy юзает
Dmitry
это на локальной машине - в виртуалбоксе
с ноды то инет работает? forwarding включен? Дай вывод iptables -t nat -L POSTROUTING -n -v и kubectl get netpol --all-namespaces
Alex
root@server-1:~# iptables -t nat -L POSTROUTING -n -v Chain POSTROUTING (policy ACCEPT 3070 packets, 160K bytes) pkts bytes target prot opt in out source destination 3142 164K cali-POSTROUTING all -- * * 0.0.0.0/0 0.0.0.0/0 /* cali:O3lYWMrLQYEMJtB5 */ 3444 183K KUBE-POSTROUTING all -- * * 0.0.0.0/0 0.0.0.0/0 /* kubernetes postrouting rules */ 0 0 MASQUERADE all -- * !docker0 172.17.0.0/16 0.0.0.0/0 root@server-1:~#
Alex
я перезапускал мастер и ноду где то 10 мин назад
Alex
iptables'ом у docker - вот это я е знаю как делать
Dmitry
я перезапускал мастер и ноду где то 10 мин назад
а толку, docker свои правила восстановит
Serhii
Это же сложно
Alex
докер же стандартно ставил - без излишеств
Dmitry
докер же стандартно ставил - без излишеств
у тебя подсети докера пересекаются с подсетями твоего cni в кубе
Alex
хмм
mk
господа, чем деплоите сам кубер? кубадм копс куберспрей шлем? что учить?
Dmytro
Больше точек отказа
Но ведь больше точек отказа как раз в случае нжинкса отдельным деплойментом?
Dmitry
сам кубер
kubespray rke kubeadm что-то свое поверх kubeadm (ansible, salt, chef, puppet) что-то свое без kubeadm (ansible, salt, chef, puppet) https://kubernetes.io/docs/setup/#production-environment
Dmytro
kops, kube-aws из стареньких
Nikita
Короче хоть что. Учить там нечего. Лично я юзаю кубспрей, устраивает.
Й
Сами гугловцы разворачивают GKE при помощи шелл скрипта https://github.com/kubernetes/kubernetes/blob/master/cluster/kube-up.sh , так что в нём можно подсмотреть всё что нужно или просто пользовать вместо кубспрея
K.
f
Alex
Коллеги - как можно указать для ресурса kind: Job - выполнить только один раз при создании?
Dmytro
Коллеги - как можно указать для ресурса kind: Job - выполнить только один раз при создании?
Job же и так только 1 раз выполняется если контейнер выходит с кодом 0
Dmytro
Если с кодом ошибки то насколько я помню можно настроить перезапускать или нет
Dmitry
привет привет! пытаюсь завести на 1.17 linstor с помощью чарта @kvaps , c серверной часть все ОК, волюмы создаются по клеймам и т.п., но проблема с подключением волюма к поду: на всех нодах запущены csi-node, но в спецификации созданного pv есть nodeAffinity, там перечислены все ноды кластера и из-за этого получается 0/10 nodes are available: 3 node(s) had taints that the pod didn''t tolerate, 7 node(s) had volume node affinity conflict.
Dmitry
никто не сталкивался? ну и упоминаемые фича-гейты в 1.17 уже деприкейтед и по дефолту включены
Dmitry
Оу рилли? А какая версия csi-provisioner? - это такой sidecar контейнер в linstor-csi-controller
Мастер твоего репы, отбой проблема на нашей стороне - ноды в линстор были добавлены по fqdn, в кубе они называются короткими именами, из-за этого не получалось подобрать ноду
Dmitry
Снёс ноды в линстор, добавил с такими же именами, как ноды куба и сразу все полетело
Dmitry
И раз уж такая пьянка, как в актуальных версиях передать, что хочется хфс, а не дефолт екст4?
𝚔𝚟𝚊𝚙𝚜
И раз уж такая пьянка, как в актуальных версиях передать, что хочется хфс, а не дефолт екст4?
Через storageClass https://kubernetes-csi.github.io/docs/external-provisioner.html#storageclass-parameters
Dmitry
Добавляются, и удовлетворяются нормально, т.к есть ноды с подходящими хостнеймами
𝚔𝚟𝚊𝚙𝚜
Добавляются, и удовлетворяются нормально, т.к есть ноды с подходящими хостнеймами
Хм, я не уверен, но такого быть не должно, т.к. при добавлении новых нод будет невозможно запустить эти тома на них. Посмотрю у себя.
𝚔𝚟𝚊𝚙𝚜
Добавляются, и удовлетворяются нормально, т.к есть ноды с подходящими хостнеймами
Короче, это баг csi-provisioner, обнови тэг quay.io/k8scsi/csi-provisioner на v1.4.1 https://github.com/kubernetes-csi/external-provisioner/pull/148
𝚔𝚟𝚊𝚙𝚜
и спасибо за репорт👍
𝚔𝚟𝚊𝚙𝚜
Короче, это баг csi-provisioner, обнови тэг quay.io/k8scsi/csi-provisioner на v1.4.1 https://github.com/kubernetes-csi/external-provisioner/pull/148
Я ошибся, это не баг а фича, и называется она Topology aware dynamic provisioning https://kubernetes-csi.github.io/docs/topology.html
𝚔𝚟𝚊𝚙𝚜
на мой взгляд, так как поле nodeAffinity для PersistentVolume immutable и назначается единожды, лучше избегать её использования, для этого нужно выставить --feature-gates=CSINodeInfo=false для csi-provisioner или вообще удалить этот флаг
𝚔𝚟𝚊𝚙𝚜
cc @kruft
Dmitry
Хм, ок
Dmitry
https://github.com/LINBIT/linstor-csi/commit/b4e907d21f1332610f4e9a396e405288cb6a4351
Dmitry
Непонятно, всё-таки, как ФС прокинуть из стораджкласса
𝚔𝚟𝚊𝚙𝚜
Хм, ок
обновил kube-linstor
𝚔𝚟𝚊𝚙𝚜
Непонятно, всё-таки, как ФС прокинуть из стораджкласса
попробуй указать fsType: ext4 в parameters для StorageClass
Anonymous
Подскажите плиз у меня в кубере есть nginx у него есть такая запись в конфиге server{ listen 80; server_name localhost; root /usr/share/nginx/html; index index.html; location /api { proxy_pass http://api:6970; } У меня есть вот такой сервис api ClusterIP 10.245.216.65 <none> 6970/TCP Почему он пишет 2020/02/02 12:27:52 [emerg] 1#1: host not found in upstream "api" in /etc/nginx/nginx.conf:10 nginx: [emerg] host not found in upstream "api" in /etc/nginx/nginx.conf:10
Tadeusz
не резолвит значит
Tadeusz
зайди в nginx контейнер и попробуй обратиться к api
Lucky SB
в разных неймспейсах под и сервис
Tadeusz
в разных неймспейсах под и сервис
зачем так быстро броню сорвал)
Anonymous
Да бли в одном kubectl describe svc api Name: api Namespace: default kubectl describe deployments.apps api Name: api Namespace: default
Anonymous
kubectl describe deployments.apps nginx-proxy Name: nginx-proxy Namespace: default Вот nginx
Sergey
Коллеги, подскажите пожалуйста. Хочу остановиться на выборе инструмента для развертывания продуктивного кластера. Что же лучше Hardway или kubeadm
Sergey
Hardway мне впринципе зашел
George
а как же автоматизация?
George
hardway слишком хард
Sergey
Кубспрей бойус
Sergey
А вот кубадм интересно
Sergey
Понятно что каждый использует то что ему удобно)))
Dmitry
fstype does not belong to paramKey values
parameters: fsType: xfs placementCount: "3" storagePool: data
Dmytro
/report @SinTeZoiD @kvaps
𝚔𝚟𝚊𝚙𝚜
Andy
/report