Пропали глюки днс вроде долгих ресолв?

Проблема-то в контраке.

у нас в проде с bgp

и ты прям можешь на IP пода попасть любого ?

У меня не стыкуется что BGP должен на роутере работать, а по умолчанию в Кубере все через iptables и NAT. На счет Calico слышал. Пытаюсь найти мануал и читать доку. Спрашиваю здесь может кто уже запорачивался

так зависит от того какую модель ты ему задашь, в кубере нет навязанных механизмов по трафику

Проблема-то в контраке.

Тыкс, а почему -у тех кто переехал пропали глюки?

А что кстати с DNS происходит в этом случае ? Надо kube-dns подключать слейвом к своим основным ?

Bgp только маршруты распространяет в кластере, это хоть скриптом можно делать, просто bgp удобнее.

Заменяется полностью

но это только в 11+

Тыкс, а почему -у тех кто переехал пропали глюки?

Да разве пропали?

Ну тут ктото перехал, говорит пропали, потому и спрашиваю

хотелось бы просто отдать кубу или неймспейсу сетку /16 и чтобы все автоматом ) по имени набрал сервис и попал на сервис без ингрессов.

у меня складывается впечатление, что либо где-то что-то переполняется, какой-нибудь conntrack, хотя я его вроде мониторил

Pod2pod же без ната, если сервисов каких-нибудь по пути нет.

Убить хипстер и жить с metrics-server

Почему стоит его убить?

Он только в дашборде используется и точно не используется в kubectl top. Только путать вас будет

Deprecated ж?

Pod2pod же без ната, если сервисов каких-нибудь по пути нет.

сервис есть

я к сожалению в этом контейнере не могу его поставить, из-за отсутствия прав. я бы тоже грешил на backlog, если бы не работающий тест через localhost. backend'ом там служит java фреймвор jetty

Можно с хоста при помощи unshare, можно ещё один контейнер с ss/netstat в том же поде запустить

да, собственно с хоста я могу docker exec -u root сделать. спасибо

Мне кажется там listen backlog 5 :)

Мне кажется там listen backlog 5 :)

эээ, если я правильно понимаю вывод ss и он не врет, Send-Q = 1

Подскажите по поводу ELK или его аналога. Нужно задеплоить в куб свою систему мониторинга. Что требуется: - Сбор счетчиков через statsd - Сбор JSON логов со всех подов и извне (каким сервисом собирать логи?) с возможностью их стрима - Реалтайм доски с графиками - Алерты по заданным критериям Я ставил ELK из helm, но он отказывался парсить и индексировать json внутри лога. Там нужно что-то шаманить с монгой и менять тип индексов, чтоб жсон парсился в объект. Но если лог это плейнтекст, то как быть тогда? Сейчас пользуюсь Datadog - вот что-то подобное хочу накатить сам. Кстати Datadog тоже кажись не парсит тело жсон лога.

Какой ещё монгой?

logstash же для этого есть

logstash же для этого есть

во точно

>парсить и индексировать json внутри лога хороший вопрос, для меня тоже актуален

во точно

logstash?

ни у кого нет готового yaml файла?

Всем привет. В продолжении темы эластика, может кто сталкивался, подскажет. Имеем: - кластер на амазоне - ~80 подов - минимальный трафик и нагрузку, ибо среда дев/демо Взял официальный EFK addon https://github.com/kubernetes/kubernetes/tree/master/cluster/addons/fluentd-elasticsearch, сделал из него хелм-чарт, задеплоил в неймспейс logging с размером хранилища в 100гб. Места хватает где то на сутки-двое, потом происходит DiskPressure на ноде и под с эластиком "эвиктиться". Не пойму одного - это реально 100гб логов набегает за пару суток или я что то сделал не так. Только вот не пойму, что. Подскажите, люди добрые.

посмотри /_cat/indices сколько весят логи то) может набегает) может шардирование жирное выставленно и там реплик куча. Надо конфиги elk смотреть

кажется речь вообще про один инстанс

Всем привет. В продолжении темы эластика, может кто сталкивался, подскажет. Имеем: - кластер на амазоне - ~80 подов - минимальный трафик и нагрузку, ибо среда дев/демо Взял официальный EFK addon https://github.com/kubernetes/kubernetes/tree/master/cluster/addons/fluentd-elasticsearch, сделал из него хелм-чарт, задеплоил в неймспейс logging с размером хранилища в 100гб. Места хватает где то на сутки-двое, потом происходит DiskPressure на ноде и под с эластиком "эвиктиться". Не пойму одного - это реально 100гб логов набегает за пару суток или я что то сделал не так. Только вот не пойму, что. Подскажите, люди добрые.

в issues это есть https://github.com/kubernetes/kubernetes/issues/66961

в issues это есть https://github.com/kubernetes/kubernetes/issues/66961

спасибо, не догадался как то, что проблема именно у кубера

кажется речь вообще про один инстанс

да, инстанс один

> node get DiskPressure when disk space is still plenty #66961 > /dev/mapper/euleros-root 35G 31G 3.1G 91% /

то что DiskPressure срабатывает на те разделы на которые куберу пофигу - другая проблема имхо

> node get DiskPressure when disk space is still plenty #66961 > /dev/mapper/euleros-root 35G 31G 3.1G 91% /

открой шелл на поде, глянь чем он забивает раздел

это из тикета цитата, не моё

Вот еще вопрос - пользуюсь stern чтоб смотреть логи, но после редеплоя он не подхватывает новые deployments. Команда stern -lproject=faces-nor --all-namespaces --tail 10

что такое stern?

помню была такая марка велосипедов российско-китайская

что такое stern?

"звезда"

на каком языке?

упрощатор запуска kubectl команд, насколько я помню/понимаю

на каком языке?

на немецком. Или вопрос, на каком написано? Не знаю.

https://en.wikipedia.org/wiki/Stern

привет всем.

https://github.com/wercker/stern

Multi pod and container log tailing for Kubernetes

упрощатор запуска kubectl команд, насколько я помню/понимаю

а ну тогда понятно

подскажите как настроить нетворк полиси apiVersion: networking.k8s.io/v1 kind: NetworkPolicy metadata: name: weave-deny spec: podSelector: {} policyTypes: - Ingress все равно есть доступ

Я так одно время держал ингресс контролеры на входных узлах. Через ds и селекторы.

Так, в принципе, и задумывалось. Выделяете ноды под ингресс, вешаете метки, потом в демонсете селектите запусткаься на них.

Так, в принципе, и задумывалось. Выделяете ноды под ингресс, вешаете метки, потом в демонсете селектите запусткаься на них.

Спасибо, я бы не догадался сам)

и ты прям можешь на IP пода попасть любого ?

Что бы это сделать, ничего изобретать не надо, делаешь 1 сервер гейтом, к сети сервисов и подов, это надо руками делать, ни калико, ни вейв, ни фланнел этого не умеют сами, далее у себя на роутера пишешь маршрут в эти сети через тот сервер, что сделал гейтом, profit

На крайняк через helm подними openvpn и ходи через него

ок, у elastic.co просто суперский генератор стаков ELK, сам все деплоит в облако, и платишь небольшой % в добавок к стоимости виртуалок

народ , а можно как то через УРЛ ингресса дергать сервисы которые он проксируeт , вместо создания днса. Вроде = ingress.aws.elb.com/some_service/health

народ , а можно как то через УРЛ ингресса дергать сервисы которые он проксируeт , вместо создания днса. Вроде = ingress.aws.elb.com/some_service/health

через правила роутинга, читай локейшены

Вот это посмотрите https://github.com/roffe/kube-gelf

У меня так и не получилось вылечить fluent от утечек памяти. В итоге использую fluent-beat

filebeat или fleuntbit ?

и еще тогда вопрос . path: в kind: Ingress должен быть разным для всех сервисов или - path: / норм

всем привет. кто-нибудь может объяснить, почему пинг не резолвит [13:12:20] root:kube-openvpn git:(master*) $ dig first.app.svc.cluster.local ; <<>> DiG 9.10.3-P4-Ubuntu <<>> first.app.svc.cluster.local ;; global options: +cmd ;; Got answer: ;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 36968 ;; flags: qr aa rd ra; QUERY: 1, ANSWER: 1, AUTHORITY: 0, ADDITIONAL: 1 ;; OPT PSEUDOSECTION: ; EDNS: version: 0, flags:; udp: 4096 ;; QUESTION SECTION: ;first.app.svc.cluster.local. IN A ;; ANSWER SECTION: first.app.svc.cluster.local. 5 IN A 10.96.249.235 ;; Query time: 44 msec ;; SERVER: 10.96.0.10#53(10.96.0.10) ;; WHEN: Wed Aug 22 13:12:21 MSK 2018 ;; MSG SIZE rcvd: 113 [13:12:21] root:kube-openvpn git:(master*) $ ping first.app.svc.cluster.local ping: unknown host first.app.svc.cluster.local

а если host first.app.svc.cluster.local?

или getent hosts first.app.svc.cluster.local

first.app.svc.cluster.local has address 10.96.249.235

и cat /etc/nsswitch.conf

если это важно, я через опенвпн пытаюсь

# /etc/nsswitch.conf # # Example configuration of GNU Name Service Switch functionality. # If you have the `glibc-doc-reference' and `info' packages installed, try: # `info libc "Name Service Switch"' for information about this file. passwd: compat group: compat shadow: compat gshadow: files hosts: files mdns4_minimal [NOTFOUND=return] dns networks: files protocols: db files services: db files ethers: db files rpc: db files netgroup: nis

еще можно попробовать ping first.app.svc.cluster.local. (с точкой в конце)

если работает, то чет не так с search domain

не, с точкой не хочет

# /etc/nsswitch.conf # # Example configuration of GNU Name Service Switch functionality. # If you have the `glibc-doc-reference' and `info' packages installed, try: # `info libc "Name Service Switch"' for information about this file. passwd: compat group: compat shadow: compat gshadow: files hosts: files mdns4_minimal [NOTFOUND=return] dns networks: files protocols: db files services: db files ethers: db files rpc: db files netgroup: nis

попробуй hosts: files dns

И правильно что не хочет

кстати, сервис и не будет пинговаться

телнет на порт тоже не хочет :(

не резолвит

Пинг и резолв это разные вещи

"mdns4_minimal [NOTFOUND=return]"

проблема в этой строчке

сейчас попробую

проблема в этой строчке

действительно, спасибо ! пойду читать про что это вообще))