bebebe
чисто на посмеяться
Roman
Lex
Lex
Валентин
Ну да. Главное в контейнере запускать fluent-bit, а не на ноде. Т.к по дефолту он ищет в /var/run/secrets все для подключения к k8s api, и не все это можно опциями переопределить
Lex
оки, спасибо большое
Alexey
Всем привет, кто нить сталкивался, правильно ли я понял, отключить авторизацию нельзя для kubernetes-dashboard (так как токен он использует из RBAC). Но может кто то решал, нужно что бы дашборда пропускала авторизацию, при этом авторизовывалась в самом кубере токеном и правами, а мой фронт использовал http авторизацию с ldap. В идеале группы ldap завязать на namespace-ы но судя по тому что нарыть удалось об этом речи пока не идет
Alexey
ага все, вопрос походу снимается, разобрался как он работает, там можно куку отгружать на nginx-е, по пробую костылей по вставлять
Artem
Artem
похоже на то
Artem
https://github.com/coreos/dex
Alexey
Alexey
Привет!
Подскажите,в чем может быть проблема:
kubectl get nodes
возвращает все ноды кластера (5 штук, все Ready),
kubectl top node
- все, кроме одной (4 штуки).
При этом поды на отсутствующей в выводе ноде работают корректно, kubelet на ней перезапускал, ошибок подключения к этой ноде в логе heapster'a нет.
При попытке получить данные по отсутствующей в списке ноде командой kubectl top node %NODENAME% возвращается ошибка Error from server (NotFound): the server could not find the requested resource (get services http:heapster:)
Andrei
Ребят, есть вопрос:
Обновлял кластер до v1.11.2 с v1.10.3 через kubespray, на тестовом кластере все прошло хорошо. Сеть calico.
На другом вылезла интересная трабла: локально на нодах api сервера доступны, но при попытке выкатить под, он выкатывается, но после этого до api серверов не достучаться вообще (на любые порты)
Грешу на то, что из репы с общими настройками проскочила опция enable_network_policy: true, которая раньше была в false и фаерволл все это блочит…
P.S. Да, hard way для лучшего понимания еще не юзал, ибо не успел добраться
P.P.S. Попутно переносил один инстанс etcd на другую машину, но с ним все ок, healthy, и endpoint’ы везде актуальные
Anton
Ребят, есть вопрос:
Обновлял кластер до v1.11.2 с v1.10.3 через kubespray, на тестовом кластере все прошло хорошо. Сеть calico.
На другом вылезла интересная трабла: локально на нодах api сервера доступны, но при попытке выкатить под, он выкатывается, но после этого до api серверов не достучаться вообще (на любые порты)
Грешу на то, что из репы с общими настройками проскочила опция enable_network_policy: true, которая раньше была в false и фаерволл все это блочит…
P.S. Да, hard way для лучшего понимания еще не юзал, ибо не успел добраться
P.P.S. Попутно переносил один инстанс etcd на другую машину, но с ним все ок, healthy, и endpoint’ы везде актуальные
Нормально перезжал через kebespray с 10.2 на 10.3 - не меняя конфиги (обновив только версию), буквально вчера, правда обновлял мастер ноды по одной (-l)
Andrei
Да я тоже переезжал, а тут не переехал) Вот прошу помощи с дебагом
Anton
локалььно тоже не достучатся?
Anton
с той же мастер ноды на родной api server?
Andrei
С мастернод локально все работает. Работает и на других, пока не пытаешься запустить там любой pod
Andrey
Igor
Alexey
Igor
Alexey
Igor
1.11 все ноды
я бы смотрел почему https запрос к API серверу
https://10.90.8.15:6443/api/v1/namespaces/kube-system/services/http:heapster:/proxy/apis/metrics/v1alpha1/nodes/srv-kub02
возвращает 404
с других нод этот запрос отдает 200?
Denis
Подскажите в чем может быть проблема?
Error in scraping containers from kubelet:10.10.77.212:10250: failed to get all container stats from Kubelet URL "http://10.10.77.212:10250/stats/container/": Post http://10.10.77.212:10250/stats/container/: malformed HTTP response "\x15\x03\x01\x00\x02\x02\x16"
Denis
Heapster вот такое в логах пишет
G72K
HTTPS может хочет?
bebebe
https скорее всего
Denis
ага понял. Я как понимаю там придется сертификаты указывать?
Alexey
Alexey
Igor
/report
Αλέχ
/report
Yuriy
/report
JohnBizokk
/report
Vahe
/report
Andrei
Ребят, есть вопрос:
Обновлял кластер до v1.11.2 с v1.10.3 через kubespray, на тестовом кластере все прошло хорошо. Сеть calico.
На другом вылезла интересная трабла: локально на нодах api сервера доступны, но при попытке выкатить под, он выкатывается, но после этого до api серверов не достучаться вообще (на любые порты)
Грешу на то, что из репы с общими настройками проскочила опция enable_network_policy: true, которая раньше была в false и фаерволл все это блочит…
P.S. Да, hard way для лучшего понимания еще не юзал, ибо не успел добраться
P.P.S. Попутно переносил один инстанс etcd на другую машину, но с ним все ок, healthy, и endpoint’ы везде актуальные
В общем, починил основной функционал, но остался баг с externalip: буду уже завтра логи смотреть, при выкатке сервиса с external ip ноды, нода валится с вышеописанными симптомами. С NodePort все ок
𝚔𝚟𝚊𝚙𝚜
началось, гитхаб стал квадратным []__[]
Sergey
Sergey
это бета раньше была, сейчас зато используется больше места, раньше были пустые куски
𝚔𝚟𝚊𝚙𝚜
мне ток сейчас предложили
Anonymous
Привет. Кто-то сталкивался с таким: https://github.com/kubernetes/kubernetes/issues/62061 (rbd том не детачится от умершей ноды и мигрирующие поды зависают на создании)? Как лечили/обходили, подскажите. Воспроизводится на k8s 1.9.5
No1
вот это боль 🙂
𝚔𝚟𝚊𝚙𝚜
Anonymous
Тут виртуалки vmware, без общения с vCloud Director-ом
𝚔𝚟𝚊𝚙𝚜
ну тогда пилить свой велосипед
Anonymous
Ну в тикете пишут что всё должно раздупливаться через 6 минут, поэтому хочется починить то что должно работать
𝚔𝚟𝚊𝚙𝚜
это в каком?
Anonymous
https://github.com/kubernetes/kubernetes/issues/62061#issuecomment-379693181
𝚔𝚟𝚊𝚙𝚜
да, сорри чтот пропустил
Artem
𝚔𝚟𝚊𝚙𝚜
ну не знаю, судя по логике он не может и не будет его детачить, потому что он не знает умерла ли нода наверняка
Anonymous
А какие тогда провайдеры тру? Только AWS/GCE?
Anonymous
Понятно что не всегда можно надёжно сказать, в каком состоянии нода
Artem
Artem
Из self hosted - openstack
𝚔𝚟𝚊𝚙𝚜
𝚔𝚟𝚊𝚙𝚜
𝚔𝚟𝚊𝚙𝚜
на самом деле я сейчас fencing агент для куба пилю, он будет решать эту проблему, без клауд провайдера
Artem
Должен быть механизм, реализующий https://en.wikipedia.org/wiki/STONITH
Artem
для проксмокса, например, можно гарантированно пристретить сервак через ipmi
𝚔𝚟𝚊𝚙𝚜
да, вот его и нет
𝚔𝚟𝚊𝚙𝚜
Artem
софт дог это самоубийство, а тут - гарантия, что оно действительно выключено
𝚔𝚟𝚊𝚙𝚜
ну STONITH это скорее механизм для двух нод
𝚔𝚟𝚊𝚙𝚜
если есть кворум - то это не проблема
𝚔𝚟𝚊𝚙𝚜
watchdog тоже хардверный бывает
𝚔𝚟𝚊𝚙𝚜
@SinTeZoiD посмотришь письки?
Sergey
Rainbow
Никак не могу нагуглить инструмент для отслеживания Request-Id по микросервисам. От твиттера был и кажется от fb. Кто-то помнит названия? Где просадки, сколько времени провели в сервисе и тп
twwlf
zipkin?