уважаемые. есть спецы в ipvs?
проблема:
трахаюсь с k8s и в новой версии они внедрили ipvs, но оно не работает и я не понимаю что не так.
1) после ребута ноды (kebelet не включен) я делаю руками: ipvsadm -A bla bla, ipvsadm -a ..... с "Masq" и тд и с моей точки зрения все работает. vip есть, ipvsadm -ln показывает ожидаемую конфигурацию, всякие телнеты и тп прокидывают на нужный адрес:порт
2) включаю kubelet, через него kube-proxy начинает настраивать сеть... ipvsadm -ln опять показывает ожидаемую конфигурацию, а в плане того что я сам руками делал - вообще 1 в 1 матч. но с этого момента vip уже не работает. и до ребута я не могу его завести.
это не связано с iptables/ebtables, все очищал. везде accept policy
Куда копать, что проверить?
https://kubernetes.io/docs/concepts/services-networking/service/
Vladimir
Vitaliy
да, конечно модули ядра есть. иначе бы не работало ни в каком случае
Vitaliy
с понятием сервиса в k8s я знаком
Vitaliy
я тестирую в тестовом кластере новый 1.11 не трогая прод и прочее
Pavel
Vitaliy
пусто
Vitaliy
а должно? ipvs жеж
Vitaliy
также пусто там где работает (3 мастера)
Etki
Хороший доклад. Вообще у флант все доклады хороши.
все равно самое лучшее у них - перевод статьи про самый маленький бинарь и ассемблер на хабре
Алексей
Марсианские пакеты проверь
Алексей
Гугли по англицки
Алексей
Логирование через sysctl включается
Алексей
sysctl задампь и диф сделай в работающем и не работающем вариантах
Алексей
И проверь что вип не является реальным ip ноды
Vitaliy
пробовал марсианов, не видел.
Vitaliy
vip не реальный адрес, проверял
Vitaliy
точнее.... 1сек
Алексей
Сисктл сравни
Алексей
Для разных версий ядра разные работающие комбинации
И в прок фибтрии посмотри
Какие ip куда прибиваются
Можно через ip route rule и тд но через прок фибтри быстрее картину увидиш
Vitaliy
есть интерфейс kube-ipvs0 на всех нодах (где работает и нет) но он в DOWN STATE
Vitaliy
ядра одинаковые, 1 в 1
Алексей
Ну а руками поднять его?
Vitaliy
sysctl -a | grep kube-ipvs0 делал и сравнивал
Vitaliy
я написал. до старта кублета я руками повторяю ipvsadm-ом и все работает
Vitaliy
прок фибтрии <— что?
Алексей
До старта весь сисктл сдампь и после старта
Потом сравни
Ip на интерфейсе пингуются?
Алексей
Путь в файловой системе
Vitaliy
я понял что что-то в /proc... прошу пояснить что именно.
Алексей
Fibstree чет типа этого
Алексей
Не с компа
Не могу точно посмотреть
Алексей
Пинг локально с машинки до випа то есть?
Vitaliy
до старта kube-proxy все есть и работает. пинг ping 10.96.0.1 не работает, telnet 10.96.0.1 443 работает... что логично
Vitaliy
стартует прокси и все, накрылось
Алексей
10.96.0.1 на kube-ipvs0?
Алексей
Не совсем понимаю почему пинг до ip на локальном интерфейсе не доходит
Вернее чем это логично
Vitaliy
но он в DOWN STATE
Vitaliy
хотя вы правы
Vitaliy
на тех где работает все доходит
Vitaliy
смешно: до старта кублета, создаю vip руками 1 в 1 как должно быть и работает telnetб но не пинг. стартует кублет и пинг начинает работать.. ломая остальное
Алексей
Сисктл смотри
Vitaliy
уже глаз вытек
Алексей
rp_filter
accept_local
Алексей
Для этого интерфейса и общий
Алексей
Покажи
Vitaliy
да вот все сразу
Vitaliy
net.ipv4.conf.all.accept_local = 0
net.ipv4.conf.all.arp_filter = 0
net.ipv4.conf.all.rp_filter = 1
net.ipv4.conf.default.accept_local = 0
net.ipv4.conf.default.arp_filter = 0
net.ipv4.conf.default.rp_filter = 1
net.ipv4.conf.docker0.accept_local = 0
net.ipv4.conf.docker0.arp_filter = 0
net.ipv4.conf.docker0.rp_filter = 1
net.ipv4.conf.dummy0.accept_local = 0
net.ipv4.conf.dummy0.arp_filter = 0
net.ipv4.conf.dummy0.rp_filter = 1
net.ipv4.conf.eth0.accept_local = 0
net.ipv4.conf.eth0.arp_filter = 0
net.ipv4.conf.eth0.rp_filter = 1
net.ipv4.conf.kube-ipvs0.accept_local = 0
net.ipv4.conf.kube-ipvs0.arp_filter = 0
net.ipv4.conf.kube-ipvs0.rp_filter = 1
net.ipv4.conf.lo.accept_local = 0
net.ipv4.conf.lo.arp_filter = 0
net.ipv4.conf.lo.rp_filter = 0
Алексей
Поставь rp_filter=2
Для all и kube-ipvs0
accept_local=1
Для тогоже
Алексей
Прям на тачке где кубелет пингуется и не работает
Алексей
И отпиши по результату
Vitaliy
сек
Vitaliy
net.ipv4.conf.all.rp_filter = 2
net.ipv4.conf.all.accept_local = 1
net.ipv4.conf.kube-ipvs0.rp_filter = 2
net.ipv4.conf.kube-ipvs0.accept_local = 1
Vitaliy
не работает
Алексей
Больше вариантов гадания по телеграму у меня нет
Только если руками смотреть и тспдампом
Алексей
Как заборешь напиши
Любопытно
Denis
Всем привет! Не подскажите, можно как-то отследить хелчеки ? Или только не удачные попытки хелтчеков логируются в describe пода ?
Denis
RECLAIM POLICY как можно изменить у PV ? В спек дабовляю persistentVolumeReclaimPolicy: Retain но все без успешно
Andrey
RECLAIM POLICY как можно изменить у PV ? В спек дабовляю persistentVolumeReclaimPolicy: Retain но все без успешно
Добавлять, наверное, не стоит. Нужно пропатчить или исправить через kubectl edit pv [pv].
Artyom
И сам параметр, кажется, не так называется
Artyom
Я помню, что короче
Denis
Добавлять, наверное, не стоит. Нужно пропатчить или исправить через kubectl edit pv [pv].
Да прочитал это уже. Но мне бы хотелось из манифеста указывать. Там в связи с некоторыми задачами это нужно
Andrey
Да прочитал это уже. Но мне бы хотелось из манифеста указывать. Там в связи с некоторыми задачами это нужно
А PV вручную или через StorageClass + PVC?
Andrey
А тот, что ты раньше скинул, - это на PV.
Andrey
Спеку всегда глядеть нужно: https://kubernetes.io/docs/reference/generated/kubernetes-api/v1.10/#storageclass-v1-storage-k8s-io
Denis
Там вот так параметр называется: reclaimPolicy.
А, неправильно понял тебя. Сорян. Я через PersistentVolumeClaim указываю
Artyom
А
```
persistentVolumeReclaimPolicy: Retain
```
тогда откуда?
Denis
Вообщем вот тут пытаюсь указать
kind: PersistentVolumeClaim
apiVersion: v1
metadata:
name: solr-datadir
annotations:
volume.alpha.kubernetes.io/storage-class: anything
spec:
accessModes:
- ReadWriteOnce
resources:
requests:
storage: 50Gi
Andrey
Интересно, а можно ли без последствий врубить ipvs только на одной ноде
Andrey
Указывать пытаешься в PVC. А надо в PV.
Andrey
Которые не в неймспейсах даже. kubectl get pv
Ivan
Всем привет!
Есть вопрос к знатокам ))
На тему PersistentVolume (pv)
Как мне привязать конкретный PVC к конкретному PV ?
(либо как то иначе организовать процесс?)
У меня есть кластер ceph, в котором живёт CephFS. (она, как известно, может быть только одна).
Но в ней надо хнарить данные разных проектов, поэтому в ней созданы папки для этих проектов.
Далее в кубе я создаю несколько PV (в каждом монтирую нужную папку).
Далее мне надо как то ассоциировать PVC в конкретном проекте к нужному PV.
Единственную связку, которую я нашёл в мануале - это StorageClass.
Но для CephFS не существует StorageClass (в апи нет такого provisioner-а).
Anonymous
есть внешний провиженер
Anonymous
просто погугли kubernetes cephfs provisioner