Выше ответили, куб смотрит только на requests при шедуленге
то есть я заведомо должен указывать лимиты подам?
Grisha
Grisha
меня пугает распределение NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
airflow-postgresql-75bf7d8774-q7x6l 1/1 Running 1 4d16h 10.244.4.50 k8s-worker-3 <none> <none>
airflow-redis-master-0 1/1 Running 1 4d16h 10.244.4.48 k8s-worker-3 <none> <none>
airflow-scheduler-5fb9d4464-2mbzn 1/1 Running 1 2d22h 10.244.4.47 k8s-worker-3 <none> <none>
airflow-web-b7649655d-sxb8c 1/1 Running 1 2d22h 10.244.4.46 k8s-worker-3 <none> <none>
airflow-worker-0 1/1 Running 4 4d16h 10.244.4.49 k8s-worker-3 <none> <none>
top-rated-02a69898 1/1 Running 0 13m 10.244.5.23 k8s-worker-1 <none> <none>
top-rated-ac63d650 0/1 Error 0 66m 10.244.5.16 k8s-worker-1 <none> <none>
top-rated-f72a24aa 0/1 Error 0 64m 10.244.5.20 k8s-worker-1 <none> <none>
user-bought-02a6b9f4 1/1 Running 0 13m 10.244.5.24 k8s-worker-1 <none> <none>
user-bought-ad35ef64 0/1 Completed 0 66m 10.244.5.17 k8s-worker-1 <none> <none>
user-bought-b335ef8c 1/1 Running 0 111s 10.244.5.28 k8s-worker-1 <none> <none>
user-fav-41c1c8ca 0/1 Error 0 69m 10.244.5.14 k8s-worker-1 <none> <none>
user-fav-5bf83c66 1/1 Running 0 4m17s 10.244.5.27 k8s-worker-1 <none> <none>
user-fav-9dbf49ee 0/1 Error 0 23m 10.244.5.21 k8s-worker-1 <none> <none>
user-fav-cffc4da4 0/1 Completed 0 65m 10.244.5.19 k8s-worker-1 <none> <none>
user-fav-d9e0f3f0 0/1 Error 0 22m 10.244.5.22 k8s-worker-1 <none> <none>
user-rated-03b0509e 1/1 Running 0 13m 10.244.5.25 k8s-worker-1 <none> <none>
user-rated-ab304b1a 0/1 Error 0 66m 10.244.5.15 k8s-worker-1 <none> <none>
user-rated-f1495afc 0/1 ContainerCreating 0 7s <none> k8s-worker-1 <none> <none>
video-saver-v2-06dbb4c0 1/1 Running 0 13m 10.244.5.26 k8s-worker-1 <none> <none>
video-saver-v2-cd9283ee 0/1 Completed 0 65m 10.244.5.18 k8s-worker-1 <none> <none>
video-saver-v2-fb70f6de 0/1 Completed 0 71m 10.244.5.13 k8s-worker-1 <none> <none>
𝚔𝚟𝚊𝚙𝚜
У меня stolon не работает с одним кипером из трех
@maksm90 @rossmohax похоже я обманул вас, подтверждаю с одной живой нодой в stolon работает как чтение так и запись
cent
IPV6, в итоге, портил картину.
В-целом, setup-ha-etcd-with-kubeadm немного страдает с ясностью документации)
ipv6 портил картину своим отсутствием или присутствием?
cent
А есть где-то описание того, какие зависимости у кубера?
- ipv6
- edns
и прочее
𝚔𝚟𝚊𝚙𝚜
@maksm90 @rossmohax похоже я обманул вас, подтверждаю с одной живой нодой в stolon работает как чтение так и запись
А все потому, что stolon использует не собственный кворум, а хранит стейт в кворумном хранилище, то есть etcd
When a stolon component is not able to read (
quorum consistent read) or write to a quorate partition of the store (the stolon component is partitioned, the store is partitioned, the store is down etc...) it will just retry talking with it.
Lucky SB
А все потому, что stolon использует не собственный кворум, а хранит стейт в кворумном хранилище, то есть etcd
When a stolon component is not able to read (
quorum consistent read) or write to a quorate partition of the store (the stolon component is partitioned, the store is partitioned, the store is down etc...) it will just retry talking with it.
а если живой мастер в столоне потеряет свзь с етсд ? он перейдет в ридонли ? вообще перестанет обслуживать подключения клиентов ?
Edouard
ipv6 портил картину своим отсутствием или присутствием?
Присутствием, и, точнее, неработоспособностью. Он был, на каждой ноде был белый ipv6-адрес и маршрут, но он не работал. Если бы белого ip6 не было вообще, эта проблема и не появилась ( кмк ).
cent
Присутствием, и, точнее, неработоспособностью. Он был, на каждой ноде был белый ipv6-адрес и маршрут, но он не работал. Если бы белого ip6 не было вообще, эта проблема и не появилась ( кмк ).
А только etcd не работал?
У меня какие-то проблемы с сетью и я уже в общей сумме месяц бьюсь над тем, что у меня coredns не поднимается
Alexander
Илья поздравил
Maksim
а если живой мастер в столоне потеряет свзь с етсд ? он перейдет в ридонли ? вообще перестанет обслуживать подключения клиентов ?
его зафенсят прокси, т.е. не будет никакого переключения, а просто весь трафик от проксей перенаправится на новый мастер
Yuf
Там общие
Yuf
https://books.google.az/books?id=xrkrDwAAQBAJ&printsec=frontcover&hl=ru&source=gbs_ge_summary_r&cad=0#v=onepage&q&f=false
Alexander
Edouard
А только etcd не работал?
У меня какие-то проблемы с сетью и я уже в общей сумме месяц бьюсь над тем, что у меня coredns не поднимается
Нет) убунту радостно хотела пользоваться ipv6 раз уж он "типа есть", но маршрута не было ( не на том интерфейсе был ) А стал он не там где надо так как в плейбуке своем не тот инт указал
ip -6 route
2001:xxxx:xxxx:bf3::/64 dev enp6s0.20
default via fe80::a8bb:ccff:fe00:2020 dev enp6s0.20
Перевесил на нужный, ipv6 заработал, etcd встал на место. Но если бы ipv6 просто не было, то и этой ситуации тоже бы не случилось.
𝚔𝚟𝚊𝚙𝚜
а если живой мастер в столоне потеряет свзь с етсд ? он перейдет в ридонли ? вообще перестанет обслуживать подключения клиентов ?
Ну там как таковых нет мастеров, там несколько компонентов и мастер - это просто keeper, куда proxy пересылает запросы
G72K
А все потому, что stolon использует не собственный кворум, а хранит стейт в кворумном хранилище, то есть etcd
When a stolon component is not able to read (
quorum consistent read) or write to a quorate partition of the store (the stolon component is partitioned, the store is partitioned, the store is down etc...) it will just retry talking with it.
Патрони тоже хранит его в хранилище, но решили, что ридонли безопаснее
G72K
его зафенсят прокси, т.е. не будет никакого переключения, а просто весь трафик от проксей перенаправится на новый мастер
Вопрос в том, что случится когда кворумное хранилище ломается и никому не отвечает.
Maksim
Вопрос в том, что случится когда кворумное хранилище ломается и никому не отвечает.
прокси порвут все клиентские соединения, будет даунтайм кластера
Maksim
прокси порвут все клиентские соединения, будет даунтайм кластера
... если конечно не подключиться к пг окольными путями)
Grisha
Ребзя, хелп в осознании, создаю роль
apiVersion: rbac.authorization.k8s.io/v1
kind: Role
metadata:
creationTimestamp: "2019-03-04T11:08:52Z"
name: airflow-role
namespace: airflow
resourceVersion: "7446549"
selfLink: /apis/rbac.authorization.k8s.io/v1/namespaces/airflow/roles/airflow-role
uid: e4fd2aef-3e6d-11e9-956a-566f1af9000a
rules:
- apiGroups:
- ""
resources:
- pods
- deployments
- secrets
verbs:
- get
- list
- watch
- create
- update
- patch
- delete
Grisha
это иднственная роль которая биндится для SA airflow-service-account
Grisha
но когда я юзаю токен этого юзера, я имею доступ во все неймспейсы, а не только в namespace: airflow
Grisha
2746 человек, а с RBAC проблем никто не имел?
Huan
привет всем, кто сталкивался с olm-operators, подскажите куда копать?
E0304 11:31:17.158568 1 queueinformer_operator.go:155] Sync "olm" failed: no catalog sources available
time="2019-03-04T11:31:17Z" level=info msg="building connection to registry" currentSource="{operatorhubio-catalog olm}" id=AxyLP source=operatorhubio-catalog
time="2019-03-04T11:31:17Z" level=info msg="client hasn't yet become healthy, attempt a health check" currentSource="{operatorhubio-catalog olm}" id=AxyLP source=operatorhubio-catalog
спасибо!
Andrei
Ребят, подскажите, пожалуйста, не появился ли какой способ запаузить под?
Sergey
но когда я юзаю токен этого юзера, я имею доступ во все неймспейсы, а не только в namespace: airflow
Не видел подобных проблем, уверены что токен не перепутали?
Sergey
Ребят, подскажите, пожалуйста, не появился ли какой способ запаузить под?
Насколько мне известно нет, и не планируется. Емнип архитектурная особенность контейнеризации.
G72K
прокси порвут все клиентские соединения, будет даунтайм кластера
Я столон не видел, но @kvaps говорит, что все работает без DCS
Alexey
Ребят, кто нить flannel использовал ?
Что то не пойму, почему для сервиса externalIP не взлетает, в описании же рекомендуют использовать —net=host, что есть наркомания в последней стадии. Как быть, перешел на фланнел с вивнета.
Добавлю - пока балансера нету, кубер развернут в железе, не авс и прочие клауды
Михаил
Grisha
в роли все верно, смотрите в биндинг
apiVersion: rbac.authorization.k8s.io/v1
kind: RoleBinding
metadata:
creationTimestamp: "2019-03-04T11:09:06Z"
name: airflow-role-binding
namespace: airflow
resourceVersion: "7446578"
selfLink: /apis/rbac.authorization.k8s.io/v1/namespaces/airflow/rolebindings/airflow-role-binding
uid: ed5bacb0-3e6d-11e9-83e1-566f1af90008
roleRef:
apiGroup: rbac.authorization.k8s.io
kind: Role
name: airflow-role
subjects:
- kind: ServiceAccount
name: airflow-service-account
namespace: airflow
Grisha
тоже вроде все хорошо
Bear
kind: ServiceAccount
так вы сделали RBAC для сервиса а проверяете пользователем?
Grisha
поче для сервиса?
Grisha
сервис аккаунта
Grisha
или sa!=user?
Maksim
Я столон не видел, но @kvaps говорит, что все работает без DCS
сам постгрес остаётся работать, но прокси (точка доступа к пг мастеру) по таймауту (по умолчанию 15 сек) сбрасывает текущие коннекты и, как минимум, не принимает новые https://github.com/sorintlab/stolon/blob/master/cmd/proxy/cmd/proxy.go#L261
Stefan
efs provisioner кто-то сетапил?
проблем с коннектом к efs не было?
bama^boy
efs provisioner кто-то сетапил?
проблем с коннектом к efs не было?
мы монтируем efs на каждый instance и оттуда пробрасываем в контейнеры как local volume
Grisha
Ребзя, а у вас бывало такое что на одной ноде запускаешь поды, а он подтягивает старую configmap?
Grisha
я проверил на всех серверах, configmap одинаковая новой версси, но в под маунтится старая версия
Сергей
кто юзал rancher 2 и знает как при установки из каталога указать на какие ноды ставить приложение?
Stefan
мы монтируем efs на каждый instance и оттуда пробрасываем в контейнеры как local volume
та у меня проблема что доменное имя не резолвится
в default VPC пока для теста хотел сделать, параметры есть для DNS
Vladimir
привет. а можно ли использовать ingress-nginx в качестве реверс прокси для сайтов которые не в кластере?
Rainbow
Vladimir
спасибо, покопаю
bama^boy
та у меня проблема что доменное имя не резолвится
в default VPC пока для теста хотел сделать, параметры есть для DNS
внутри контейнера или из instance?
Rainbow
кто юзал rancher 2 и знает как при установки из каталога указать на какие ноды ставить приложение?
не юзал, но логично что поставить, а потом докинуть nodeSelector
Stefan
внутри контейнера или из instance?
ну, получается что из контейнера, поскольку этот провиженер сетапиться через деплоймент и некоторые параметры для подключения к efs юзает
Stefan
внутри контейнера или из instance?
https://www.juandebravo.com/2018/09/28/aws-efs-kubernetes/ вот это вот
bama^boy
Доменное имя у нас вида eu-west-1b.fs-78037db1.efs.eu-west-1.amazonaws.com
Сергей
не юзал, но логично что поставить, а потом докинуть nodeSelector
я ставлю, а потом нет доступа чтобы yaml отредактировать. если из каталога ставить, то он не даёт изменить
bama^boy
Stefan
а какой dns внутри контейнеров?
в логах пода вот это и всё
mount.nfs: Failed to resolve server fs_id.efs.eu-central-1.amazonaws.com: Name or service not known
Warning FailedMount 40s kubelet, ip-172-20-32-103.eu-central-1.compute.internal MountVolume.SetUp failed for volume "pv-volume" : mount failed: exit status 32
Stefan
то есть тут похоже даже кубелет сам пытается замаунтить
bama^boy
в логах пода вот это и всё
mount.nfs: Failed to resolve server fs_id.efs.eu-central-1.amazonaws.com: Name or service not known
Warning FailedMount 40s kubelet, ip-172-20-32-103.eu-central-1.compute.internal MountVolume.SetUp failed for volume "pv-volume" : mount failed: exit status 32
fs_id.efs.eu-central-1.amazonaws.com точно правильный адрес? 😄
Stefan
я вот если с сервака, с которого сетаплю все эти дела, попробую замаунтить вручную, то подключается
а вот если вот так через деплоймент, то не хочет
секьюрити группа открыта для всех, странно
bama^boy
неправильный DNS внутри подов, скорей всего
bama^boy
должен быть такой же. как у инстансов, чтоб резолвить вунтренние адреса EFS
bama^boy
я вот если с сервака, с которого сетаплю все эти дела, попробую замаунтить вручную, то подключается
а вот если вот так через деплоймент, то не хочет
секьюрити группа открыта для всех, странно
можешь сделать для efs фиксированный ip в subnet и монтируй по ip
Stefan
можешь сделать для efs фиксированный ip в subnet и монтируй по ip
та вот и по айпишнику не хочет
connection time out...
Yaroslav
посмотри в установленных
bama^boy
та вот и по айпишнику не хочет
connection time out...
значит поды в какой-то изолированной от vpc сети
Maxim
та вот и по айпишнику не хочет
connection time out...
а каким образом кубер деплоили?
в Security group для воркеров NFS порт дополнительно открыт для подсети, в которой находится EFS?
Сергей
подскажите как правильно это написать?
master.affinity Master affinity (in addition to master.antiAffinity when set) {}
Stefan
значит поды в какой-то изолированной от vpc сети
да, изолированость таки, создал в VPC кубера и приатачил групу нод кластера и прошло, но теперь ошибка:
no mount entry found for my_id.efs.eu-central-1.amazonaws.com among entries overlay
😆
bama^boy
bama^boy
я бы не аттачил efs внутрь подов, как-то оно криво все работает, efs сама по себе тормозная, лучше ebs напрямую использовать