Внешний урл Api сервера

И читай сислог)

Пока что диагноз: Api server мертв

Пока что диагноз: Api server мертв

Жив. В браузере отвечает.

Жив. В браузере отвечает.

Сеть?

Сеть?

flannel

Всмысле сеть от контейнера до апи

Firewall

Всмысле сеть от контейнера до апи

Пинги не идут. Файрвола нет.

Вот и ответ

Вот и ответ

Настораживает то, что всё остальное работает. Надо как-то определённо настраивать сеть для аписервера?

Нет

У тебя нет icmp от контейнера жл апи. Это сетевая проблема. Рой что там в flannel и на l3 сети

Админ!

коллеги а когда хочется оркестрации докера на 2х машинках, уже пора брать k8s или есть полегче альтернативы ?

полегче, docker swarm

+ Nomad rancher

может кто подскажет как у ранчера с поддержкой k8s дела? просто вот с полгода назад пробовал - работало, недавно еще раз попробовал и только со второго раза зароботал, но без dashboard. Там у них есть некая таблица совместимости с версиями докера и k8s, но на сколько ей верить не понятно http://docs.rancher.com/rancher/v1.6/en/hosts/#supported-docker-versions Ну и не видно чтобы как то кардинально документация по работе с k8s там улучшалась. Есть такое ощущение, что там их Cattle хорошо поддерживается а все остальное чтобы было. или все же надо просто аккуратно подобрать окружение в котором запускается?

коллеги а когда хочется оркестрации докера на 2х машинках, уже пора брать k8s или есть полегче альтернативы ?

либо pacemaker бггг

если helm свои пакеты не удаляет, то ручками надо всё тереть?(

вот такая ситуация: у меня бд в кластере, в нее могут стукаться мои сервисы из кластера, в инет ничего не смотрит, но мне еще нужно отдавать данные аналитикам и пускать их read-only запросы, я могу как-то поднять микросервис который это будет проксировать(какой?) или мне ставть external endpoint на эту бд? ?

вот такая ситуация: у меня бд в кластере, в нее могут стукаться мои сервисы из кластера, в инет ничего не смотрит, но мне еще нужно отдавать данные аналитикам и пускать их read-only запросы, я могу как-то поднять микросервис который это будет проксировать(какой?) или мне ставть external endpoint на эту бд? ?

haproxy?

это хорошо так делать? я просто новенький тут у вас, не знаю еще что норм а что нет

haproxy/nginx, бд какая?

постгрес

`upstream postgres_cluster { server postgresdb0:5432; server postgresdb1:5432; zone tcp_mem 64k; } server { listen 5432; proxy_pass postgres_cluster; }` грубый конфиг для nginx'a

добра тебе мил-человек! ❤️

У тебя нет icmp от контейнера жл апи. Это сетевая проблема. Рой что там в flannel и на l3 сети

Поставил canal вместо flannel. Всё заработало.

Поставил canal вместо flannel. Всё заработало.

ну где-то не правильно был натсроен flannled

ну где-то не правильно был натсроен flannled

Он стандартный. Разворачивается при помощи kubectl apply -f ...

я flanneld поднима как демон системы, а не demonsset кубера

вот такая ситуация: у меня бд в кластере, в нее могут стукаться мои сервисы из кластера, в инет ничего не смотрит, но мне еще нужно отдавать данные аналитикам и пускать их read-only запросы, я могу как-то поднять микросервис который это будет проксировать(какой?) или мне ставть external endpoint на эту бд? ?

pgbouncer? если для постгре

я flanneld поднима как демон системы, а не demonsset кубера

Это нужно на каждой ноде делать?

ага

когда делаешь ерез cluster addon то кубер сосздаёт demonset и поднимает привелигерованный контейнер на каждой ноде

Ладно. Попользуюсь пока canal'ом.

настройки фланела в etcd хранятся

настройки фланела в etcd хранятся

Он тоже, как контейнер запускается.

Дык это не так важно)))

Мне вот ещё, что интересно. Какие порты нужны ноде для взаимодействия с мастером? Хочу закрыть все порты и оставить нужные.

Мне вот ещё, что интересно. Какие порты нужны ноде для взаимодействия с мастером? Хочу закрыть все порты и оставить нужные.

это путь к большой боли

это путь к большой боли

А как быть? Поставить железку перед кластером?

iptables-save |wc -l 581

https://coreos.com/kubernetes/docs/latest/kubernetes-networking.html Практически все порты тут перечислены

там свой фаервол

в чатике докера что-то тишина по этому поводу, попробую спросить тут, т.к. ситуация налогичная и в кубере внутри подов

nslookup api.telegram.org nslookup: can't resolve '(null)': Name does not resolve Name: api.telegram.org Address 1: 149.154.167.200 Address 2: 149.154.167.199 Address 3: 149.154.167.198 Address 4: 149.154.167.197 Address 5: 2001:67c:4e8:f004::9

как пофиксить то, что не сразу резолвит имя

т.е. нслукап вроде отрабатывает, но если какое нибудь приложение пытается достучаться, то иногда не может отрезолвить

https://forums.docker.com/t/docker-dns-issues-with-getaddrinfo/22907

один в один как тут

есть какие то воркэраунды как это можно обойти?

Была именно такая же проблема на docker 1.11.* Обновление до 1.12 все исправило

сейчас стоит Docker version 17.03.1-ce, build c6d412e

а воз и ныне там(

bridge или user-defined?

у нас была и ушла проблема в user-defined

в bridge

в чатике докера что-то тишина по этому поводу, попробую спросить тут, т.к. ситуация налогичная и в кубере внутри подов

А куда ресолв смотрит? на kube-dns?

ага

это в gke

по дефолту

Странное поведение. Поставил nginx-ingress-controller с куберовского гитхаба. И к нему идёт очень много подключений со всего мира. Понять не могу - что это?

Поставил canal вместо flannel. Всё заработало.

Вместо? :) Canal = flannel + calico

ERROR: S client not available

Вместо? :) Canal = flannel + calico

Именно))

Значит flannel никуда не делся

Заработало почему-то. Может у него свои какие-то настройки, которые деплоятся.

Видимо заработал как CNI plugin, просто один flannel - это всего лишь оверлейная сеть

Кстати, что характерно, я пробовал пинговать 8.8.8.8 с установленным фланнелем - у подов не было интернета. А у canal всё нормально.

Calico там правит iptables не по детски :) Как-то насчитал под 200 rules

Но есть там ньюанс, без феликса закрыт трафик из пода на порты хоста

если мне в mongodb нужно несколько юзеров с разными правами, то это нужно в конфиге при деплое прописывать же?

есть специальный способ выполнить команду при старте, поищи в доках. Не могу сейчас вспомнить, как называется

init containers?

еще проблемка у меня при апдейте образа создается новый replicaset, а старый не удаляется :c

> kubectl set image deployment image:vN.B.C

еще проблемка у меня при апдейте образа создается новый replicaset, а старый не удаляется :c

https://kubernetes.io/docs/concepts/workloads/controllers/deployment/

>clean up policy

Есть данные (код приложения и статика), которые (почти никогда) не изменяются. Сейчас это хранится прямо в образе. Но есть проблема: это хранится сразу в двух образах: php и nginx. Вопрос вот какой: есть какой-то способ, типа волюма, чтобы подключить его и туда, и туда? Или лучше какой-то контейнер, который будет заниматься только копированием файлов в это хранилище, и не висеть, как запущенный процесс. Просто сами волюмы, вроде как, говорят, не очень правильно для этого использовать.

Есть данные (код приложения и статика), которые (почти никогда) не изменяются. Сейчас это хранится прямо в образе. Но есть проблема: это хранится сразу в двух образах: php и nginx. Вопрос вот какой: есть какой-то способ, типа волюма, чтобы подключить его и туда, и туда? Или лучше какой-то контейнер, который будет заниматься только копированием файлов в это хранилище, и не висеть, как запущенный процесс. Просто сами волюмы, вроде как, говорят, не очень правильно для этого использовать.

Я цепляю ридонли диски, но процесс их обновления так себе. Пришлось обвязку написать, чтоб из сторадж бакета копировать в диски, которые потом к подам цепляются

еще проблемка у меня при апдейте образа создается новый replicaset, а старый не удаляется :c

revisionHistoryLimit: X в спеку деплоймента и будет чисто

Привет! Собрал кластер по мануалу (только на своих виртуалках CentOS 7.3) https://github.com/kelseyhightower/kubernetes-the-hard-way На шаге https://github.com/kelseyhightower/kubernetes-the-hard-way/blob/master/docs/08-network.md поставилл Flannel на воркеры (через systemd), подсеть такая же как podCIDR. Запустил nginx (https://github.com/kelseyhightower/kubernetes-the-hard-way/blob/master/docs/10-smoke-test.md) После некоторых плясок с настройкой докера, все взлетело. Решил поставить dashboard > kubectl create -f https://rawgit.com/kubernetes/dashboard/master/src/deploy/kubernetes-dashboard.yaml > kubectl get pods --namespace=kube-system NAME READY STATUS RESTARTS AGE kube-dns-321336704-qp4tj 4/4 Running 0 11h kubernetes-dashboard-2039414953-kcp15 1/1 Running 0 9h Поднял kubectl proxy Кидаю GET http://127.0.0.1:8001/ui отвечает Error: 'dial tcp 10.200.0.10:9090: getsockopt: no route to host' Trying to reach: 'http://10.200.0.10:9090/' В чем может быть проблема? (10.200.0.0/16 это подсеть подов)

Есть ощущение что flannel не используется как надо, как жто проверить?

Надо ли как то дружить flannel и cni ?

Надо ли как то дружить flannel и cni ?

Я вчера тоже мучился с flannel. В итоге поставил canal)

ну все таки хочется понять что не работает ) а не тыкаться в разные решения

Я вчера тоже мучился с flannel. В итоге поставил canal)

а поставил через daemonset или нативно?

а поставил через daemonset или нативно?

Через ds

немного оффтопа: если вкратце как посоветуете чарты через helm создавать для баз данных? стейтфулсеты вроде как правильнее но проблема с обновлениями, деплойменты проще обновляются но падают от любого ветра, демонсеты сложно разруливать

@notxcain Привет. ты вроде писал, что пробовал ранчер - интересно ты там тоже k8s пускал и завелось ли оно?

@strobegen я понял что хочу понимать как это все работает и решил с нуля поставить и настроить

ранчер у меня кстати не завелся

даже etcd не стартанул

это да, там просто вагон всего скрывается

магия хорошо, когда знаешь как она делается