а у ребят получилось

подскажите как в prometheus писать query? что-то недоходит

есть node_exporter, хочу брать node_disk_io_now а оттуда instance:"10.3.3.21:9100"

есть node_exporter, хочу брать node_disk_io_now а оттуда instance:"10.3.3.21:9100"

node_disk_io_now{instance="10.3.3.21:9100"}

node_disk_io_now{instance="10.3.3.21:9100"}

да, отлично работает, спасибо

графики "клонированы" настройки графиков идентичны, скорее всего на ноде надо смотреть, но незнаю что и где

а что с ним не так?

Покажи PromQL для какого-нибудь графика.

уважаемые. есть спецы в ipvs? проблема: трахаюсь с k8s и в новой версии они внедрили ipvs, но оно не работает и я не понимаю что не так. 1) после ребута ноды (kebelet не включен) я делаю руками: ipvsadm -A bla bla, ipvsadm -a ..... с "Masq" и тд и с моей точки зрения все работает. vip есть, ipvsadm -ln показывает ожидаемую конфигурацию, всякие телнеты и тп прокидывают на нужный адрес:порт 2) включаю kubelet, через него kube-proxy начинает настраивать сеть... ipvsadm -ln опять показывает ожидаемую конфигурацию, а в плане того что я сам руками делал - вообще 1 в 1 матч. но с этого момента vip уже не работает. и до ребута я не могу его завести. это не связано с iptables/ebtables, все очищал. везде accept policy Куда копать, что проверить?

вот дамп ipvsadm -Sn -A -t 10.96.0.1:443 -s rr -a -t 10.96.0.1:443 -r 192.168.6.161:6443 -m -w 1 -a -t 10.96.0.1:443 -r 192.168.6.162:6443 -m -w 1 -a -t 10.96.0.1:443 -r 192.168.6.163:6443 -m -w 1 в случаях когда работает и когда не работает оно совпадает.

уважаемые. есть спецы в ipvs? проблема: трахаюсь с k8s и в новой версии они внедрили ipvs, но оно не работает и я не понимаю что не так. 1) после ребута ноды (kebelet не включен) я делаю руками: ipvsadm -A bla bla, ipvsadm -a ..... с "Masq" и тд и с моей точки зрения все работает. vip есть, ipvsadm -ln показывает ожидаемую конфигурацию, всякие телнеты и тп прокидывают на нужный адрес:порт 2) включаю kubelet, через него kube-proxy начинает настраивать сеть... ipvsadm -ln опять показывает ожидаемую конфигурацию, а в плане того что я сам руками делал - вообще 1 в 1 матч. но с этого момента vip уже не работает. и до ребута я не могу его завести. это не связано с iptables/ebtables, все очищал. везде accept policy Куда копать, что проверить?

очень интересно, а как вообще управлять iptables на ноде? кубернетес же своих правил имеет много, как оно все коррелирует?

вообще не понял вопроса

уважаемые. есть спецы в ipvs? проблема: трахаюсь с k8s и в новой версии они внедрили ipvs, но оно не работает и я не понимаю что не так. 1) после ребута ноды (kebelet не включен) я делаю руками: ipvsadm -A bla bla, ipvsadm -a ..... с "Masq" и тд и с моей точки зрения все работает. vip есть, ipvsadm -ln показывает ожидаемую конфигурацию, всякие телнеты и тп прокидывают на нужный адрес:порт 2) включаю kubelet, через него kube-proxy начинает настраивать сеть... ipvsadm -ln опять показывает ожидаемую конфигурацию, а в плане того что я сам руками делал - вообще 1 в 1 матч. но с этого момента vip уже не работает. и до ребута я не могу его завести. это не связано с iptables/ebtables, все очищал. везде accept policy Куда копать, что проверить?

я прочитал, что ipvs работает на уровне ядра, и поэтому оно работать должно быстрее, модули ядра установлены?

уважаемые. есть спецы в ipvs? проблема: трахаюсь с k8s и в новой версии они внедрили ipvs, но оно не работает и я не понимаю что не так. 1) после ребута ноды (kebelet не включен) я делаю руками: ipvsadm -A bla bla, ipvsadm -a ..... с "Masq" и тд и с моей точки зрения все работает. vip есть, ipvsadm -ln показывает ожидаемую конфигурацию, всякие телнеты и тп прокидывают на нужный адрес:порт 2) включаю kubelet, через него kube-proxy начинает настраивать сеть... ipvsadm -ln опять показывает ожидаемую конфигурацию, а в плане того что я сам руками делал - вообще 1 в 1 матч. но с этого момента vip уже не работает. и до ребута я не могу его завести. это не связано с iptables/ebtables, все очищал. везде accept policy Куда копать, что проверить?

https://kubernetes.io/docs/concepts/services-networking/service/

да, конечно модули ядра есть. иначе бы не работало ни в каком случае

с понятием сервиса в k8s я знаком

я тестирую в тестовом кластере новый 1.11 не трогая прод и прочее

вот дамп ipvsadm -Sn -A -t 10.96.0.1:443 -s rr -a -t 10.96.0.1:443 -r 192.168.6.161:6443 -m -w 1 -a -t 10.96.0.1:443 -r 192.168.6.162:6443 -m -w 1 -a -t 10.96.0.1:443 -r 192.168.6.163:6443 -m -w 1 в случаях когда работает и когда не работает оно совпадает.

iptable-save | grep 443

пусто

а должно? ipvs жеж

также пусто там где работает (3 мастера)

Хороший доклад. Вообще у флант все доклады хороши.

все равно самое лучшее у них - перевод статьи про самый маленький бинарь и ассемблер на хабре

Марсианские пакеты проверь

Гугли по англицки

Гугли по англицки

+1

Логирование через sysctl включается

sysctl задампь и диф сделай в работающем и не работающем вариантах

И проверь что вип не является реальным ip ноды

пробовал марсианов, не видел.

vip не реальный адрес, проверял

точнее.... 1сек

Сисктл сравни

Для разных версий ядра разные работающие комбинации И в прок фибтрии посмотри Какие ip куда прибиваются Можно через ip route rule и тд но через прок фибтри быстрее картину увидиш

есть интерфейс kube-ipvs0 на всех нодах (где работает и нет) но он в DOWN STATE

ядра одинаковые, 1 в 1

Ну а руками поднять его?

sysctl -a | grep kube-ipvs0 делал и сравнивал

я написал. до старта кублета я руками повторяю ipvsadm-ом и все работает

прок фибтрии <— что?

До старта весь сисктл сдампь и после старта Потом сравни Ip на интерфейсе пингуются?

Путь в файловой системе

я понял что что-то в /proc... прошу пояснить что именно.

Fibstree чет типа этого

Не с компа Не могу точно посмотреть

Пинг локально с машинки до випа то есть?

до старта kube-proxy все есть и работает. пинг ping 10.96.0.1 не работает, telnet 10.96.0.1 443 работает... что логично

стартует прокси и все, накрылось

10.96.0.1 на kube-ipvs0?

Не совсем понимаю почему пинг до ip на локальном интерфейсе не доходит Вернее чем это логично

но он в DOWN STATE

хотя вы правы

на тех где работает все доходит

смешно: до старта кублета, создаю vip руками 1 в 1 как должно быть и работает telnetб но не пинг. стартует кублет и пинг начинает работать.. ломая остальное

Сисктл смотри

уже глаз вытек

rp_filter accept_local

Для этого интерфейса и общий

Покажи

да вот все сразу

net.ipv4.conf.all.accept_local = 0 net.ipv4.conf.all.arp_filter = 0 net.ipv4.conf.all.rp_filter = 1 net.ipv4.conf.default.accept_local = 0 net.ipv4.conf.default.arp_filter = 0 net.ipv4.conf.default.rp_filter = 1 net.ipv4.conf.docker0.accept_local = 0 net.ipv4.conf.docker0.arp_filter = 0 net.ipv4.conf.docker0.rp_filter = 1 net.ipv4.conf.dummy0.accept_local = 0 net.ipv4.conf.dummy0.arp_filter = 0 net.ipv4.conf.dummy0.rp_filter = 1 net.ipv4.conf.eth0.accept_local = 0 net.ipv4.conf.eth0.arp_filter = 0 net.ipv4.conf.eth0.rp_filter = 1 net.ipv4.conf.kube-ipvs0.accept_local = 0 net.ipv4.conf.kube-ipvs0.arp_filter = 0 net.ipv4.conf.kube-ipvs0.rp_filter = 1 net.ipv4.conf.lo.accept_local = 0 net.ipv4.conf.lo.arp_filter = 0 net.ipv4.conf.lo.rp_filter = 0

Поставь rp_filter=2 Для all и kube-ipvs0 accept_local=1 Для тогоже

ERROR: S client not available

Прям на тачке где кубелет пингуется и не работает

И отпиши по результату

сек

net.ipv4.conf.all.rp_filter = 2 net.ipv4.conf.all.accept_local = 1 net.ipv4.conf.kube-ipvs0.rp_filter = 2 net.ipv4.conf.kube-ipvs0.accept_local = 1

не работает

Больше вариантов гадания по телеграму у меня нет Только если руками смотреть и тспдампом

Как заборешь напиши Любопытно

Всем привет! Не подскажите, можно как-то отследить хелчеки ? Или только не удачные попытки хелтчеков логируются в describe пода ?

RECLAIM POLICY как можно изменить у PV ? В спек дабовляю persistentVolumeReclaimPolicy: Retain но все без успешно

RECLAIM POLICY как можно изменить у PV ? В спек дабовляю persistentVolumeReclaimPolicy: Retain но все без успешно

Добавлять, наверное, не стоит. Нужно пропатчить или исправить через kubectl edit pv [pv].

Добавлять, наверное, не стоит. Нужно пропатчить или исправить через kubectl edit pv [pv].

+

И сам параметр, кажется, не так называется

Я помню, что короче

Добавлять, наверное, не стоит. Нужно пропатчить или исправить через kubectl edit pv [pv].

Да прочитал это уже. Но мне бы хотелось из манифеста указывать. Там в связи с некоторыми задачами это нужно

Да прочитал это уже. Но мне бы хотелось из манифеста указывать. Там в связи с некоторыми задачами это нужно

А PV вручную или через StorageClass + PVC?

А PV вручную или через StorageClass + PVC?

Через StorageClass

Через StorageClass

Там вот так параметр называется: reclaimPolicy.

А тот, что ты раньше скинул, - это на PV.

Спеку всегда глядеть нужно: https://kubernetes.io/docs/reference/generated/kubernetes-api/v1.10/#storageclass-v1-storage-k8s-io

Там вот так параметр называется: reclaimPolicy.

А, неправильно понял тебя. Сорян. Я через PersistentVolumeClaim указываю

А ``` persistentVolumeReclaimPolicy: Retain ``` тогда откуда?

А ``` persistentVolumeReclaimPolicy: Retain ``` тогда откуда?

kind: PersistentVolumeClaim

Вообщем вот тут пытаюсь указать kind: PersistentVolumeClaim apiVersion: v1 metadata: name: solr-datadir annotations: volume.alpha.kubernetes.io/storage-class: anything spec: accessModes: - ReadWriteOnce resources: requests: storage: 50Gi

Интересно, а можно ли без последствий врубить ipvs только на одной ноде

Вообщем вот тут пытаюсь указать kind: PersistentVolumeClaim apiVersion: v1 metadata: name: solr-datadir annotations: volume.alpha.kubernetes.io/storage-class: anything spec: accessModes: - ReadWriteOnce resources: requests: storage: 50Gi

Ошибка!

Указывать пытаешься в PVC. А надо в PV.

Которые не в неймспейсах даже. kubectl get pv

Указывать пытаешься в PVC. А надо в PV.

Понял спасибо.

Всем привет! Есть вопрос к знатокам )) На тему PersistentVolume (pv) Как мне привязать конкретный PVC к конкретному PV ? (либо как то иначе организовать процесс?) У меня есть кластер ceph, в котором живёт CephFS. (она, как известно, может быть только одна). Но в ней надо хнарить данные разных проектов, поэтому в ней созданы папки для этих проектов. Далее в кубе я создаю несколько PV (в каждом монтирую нужную папку). Далее мне надо как то ассоциировать PVC в конкретном проекте к нужному PV. Единственную связку, которую я нашёл в мануале - это StorageClass. Но для CephFS не существует StorageClass (в апи нет такого provisioner-а).

есть внешний провиженер