Rainbow

у него плагины для авторизации

я понимаю, смотрел на него. Но так сходу что выбрать можно из плагинов, чтобы запускалось с пол пинка?

Andrey

не скажу, я его немного для другого типа авторизации использовал - защищал апи токенами

Andrey

есть ещё buzzfeed - его можно использовать как прокси с SSO авторизацией - у меня он через гугловые аккаунты пропускает https://github.com/buzzfeed/sso

𝚔𝚟𝚊𝚙𝚜

а какие у него гарантии по HA? ну допустим хочу три машины в разных ДЦ, как он переживет split brain? можно ли несколько IP для FreeIPA серверов указать, чтобы не городить всякое с BGP Anycast? если да, то как freeipa clients переживут если будут видеть все 3 ip, а при этом 1 freeipa-server тупо бдет выключен?

FreeIPA умеет почти все тоже самое что и AD, можно поднять несколько контроллеров домена и выстроить их в иерархию как вам больше нравится, в качестве HA - там есть репликация из коробки

Andrey

но все эти решения с авторизацией на проксе плохи тем что за прокси сервис остаётся открытым

Andrey

по-хорошему, сервис сам должен опеспечивать авторизацию (либо внутри, либо через плагин)

Валентин

Если внутри freeipa используется openldap, то с надежностью проблем не будет - можно readonly реплик напихать рядом со всеми клиентами без проблем

𝚔𝚟𝚊𝚙𝚜

но все эти решения с авторизацией на проксе плохи тем что за прокси сервис остаётся открытым

ну сервис можно защитить политиками, или прокси сайдкаром завести - тоже вариант

𝚔𝚟𝚊𝚙𝚜

Если внутри freeipa используется openldap, то с надежностью проблем не будет - можно readonly реплик напихать рядом со всеми клиентами без проблем

Там 389ds но да

Vadim

но все эти решения с авторизацией на проксе плохи тем что за прокси сервис остаётся открытым

сервис слушает только локалхост + прокси?

Andrey

ну сервис можно защитить политиками, или прокси сайдкаром завести - тоже вариант

да, тогда остаётся вопрос с ролями на уровне сервиса, с помощью прокси такое решить можно только частично и то не всегда (типа давать доступ до /admin только определённой группе)

Slach

а есть кстати какие то тулы уже нормальные для k8s чтобы текущую RBAC схему нормально просматривать? или предлагается ручками в yaml глядеть?

𝚔𝚟𝚊𝚙𝚜

да, тогда остаётся вопрос с ролями на уровне сервиса, с помощью прокси такое решить можно только частично и то не всегда (типа давать доступ до /admin только определённой группе)

Еще можно на уровне запросов разруливать: например GET - разрешить, POST, PUT, DELETE - запретить

Andrey

ну вот да, я про это

Pavel

а где можно найти вменяемый ман для интеграции кубика с АД?

https://blog.inkubate.io/access-your-kubernetes-cluster-with-your-active-directory-credentials/ вот неплохая пошаговая инструкция

Roman

https://blog.inkubate.io/access-your-kubernetes-cluster-with-your-active-directory-credentials/ вот неплохая пошаговая инструкция

Спасибо!)

Pavel

Спасибо!)

Ещё недавно кучу ссылок кидал @vrutkovs можно в поиске по группе найти, но они не все были ориентированы именно на AD

Slach

https://github.com/kubernetes/dashboard/blob/master/docs/design/access-control.md а вот как понять, этот Proposal уже реализован или нет?

𝚔𝚟𝚊𝚙𝚜

https://github.com/kubernetes/dashboard/blob/master/docs/design/access-control.md а вот как понять, этот Proposal уже реализован или нет?

насколько я могу видеть в своем дашборде - нет, не реализован

Slach

насколько я могу видеть в своем дашборде - нет, не реализован

спасибо, избавили от необходимости ставить dashboard ;) а что все таки посоветуете для управления RBAC вменяемое? ну или хотя бы репортинг для текущего состояния кластера чтобы видеть в виде чуть более компактном чем yaml ?

Slach

https://docs.docker.com/ee/ucp/admin/configure/configure-rbac-kube/ ;) блин для докера все вкусное только в EE версии ;)

Alex

В продакшн рано.

Для кубернетеса альфа - значит продакшн

Sergey

Для кубернетеса альфа - значит продакшн

Не могу понять, это слишком тонко или толсто

Alex

Бывает

Slach

Народ, а вот еще вопрос, PKI сертификаты для etcd, api-server, CA и т.п. вы как между нодами растаскиваете? Ну допустим это все в bare metal кластере... тупо по scp копируете с master ?

Mikhail [azalio]

Народ, а вот еще вопрос, PKI сертификаты для etcd, api-server, CA и т.п. вы как между нодами растаскиваете? Ну допустим это все в bare metal кластере... тупо по scp копируете с master ?

Выписываю через волт.

Mikhail [azalio]

СА да, привожу с помощью паппета

𝚔𝚟𝚊𝚙𝚜

спасибо, избавили от необходимости ставить dashboard ;) а что все таки посоветуете для управления RBAC вменяемое? ну или хотя бы репортинг для текущего состояния кластера чтобы видеть в виде чуть более компактном чем yaml ?

Хз, я через ksonnet управляю, там jsonnet, сложно придумать что-то более компактное чем jsonnet

bama^boy

Может, кому-то пригодится https://k9ss.io/

Terry

Может, кому-то пригодится https://k9ss.io/

баян

Gabriel

Не туда, прошу прощения.

Andrey

Хз, я через ksonnet управляю, там jsonnet, сложно придумать что-то более компактное чем jsonnet

Выбрал замену или ждёшь форка?

𝚔𝚟𝚊𝚙𝚜

Выбрал замену или ждёшь форка?

Я решил пока не кипешивать особо - работает не трогай, альтернатив нет пока что

𝚔𝚟𝚊𝚙𝚜

да и поклоников немало у него - форк точно будет, может ребята из vmware еще одумаются

Andrey

Это правильный подход.

Alex

Подскажите, в чем причина, после обновления с 1.12.2 на 1.12.3 статус ready, schedulingDisabled?

Artem

Подскажите, в чем причина, после обновления с 1.12.2 на 1.12.3 статус ready, schedulingDisabled?

сделайте uncordon на ноды, которые schedulingDisabled

Alex

Ok,спасибо

Дмитрий

Ok,спасибо

А помогло?

Alex

Ещё не успел проверить

Дмитрий

А сейчас? )

Anton

полагаю, что если автоматизация, которая делала обновление (kubespray?) сама не разкордонила ноды, то какой-то шаг(шаги) закончился не совсем успешно

Danila

Если я каким-то образом грохну storage provisioner на нодах, то контейнеры, использующие storage class, привязанный к этому provisioner`у не запустятся?

𝚔𝚟𝚊𝚙𝚜

Если я каким-то образом грохну storage provisioner на нодах, то контейнеры, использующие storage class, привязанный к этому provisioner`у не запустятся?

Зависит от стораджа

Danila

Зависит от стораджа

Ceph RBD

𝚔𝚟𝚊𝚙𝚜

Но обычно провижионер - это отдельная сущность, аттачем и детачем уже controller-manager или storage driver занимается

Danila

Storage driver монтирует блочное устройство к хосту и прокидывает его в контейнер?

Kanat

Не туда

𝚔𝚟𝚊𝚙𝚜

Storage driver монтирует блочное устройство к хосту и прокидывает его в контейнер?

Ага

Danila

Ага

И при перезапуске физической ноды сам монтирует все блочные устройства к хосту?

𝚔𝚟𝚊𝚙𝚜

Емнип аттач/детач для цефа контроллер менеджер выполняет, там in-tree реализация

𝚔𝚟𝚊𝚙𝚜

Как в случае с CSI - не знаю, но скорее всего там отдельный контроллер для этого

𝚔𝚟𝚊𝚙𝚜

И при перезапуске физической ноды сам монтирует все блочные устройства к хосту?

Там есть два варианта как это происходить может

𝚔𝚟𝚊𝚙𝚜

Но обычно это всегда сначала attach на контроллере, затем waitforattach на ноде

𝚔𝚟𝚊𝚙𝚜

В случае с ceph не подскажу, надо смотреть реализацию саму, но provisioner не занимается аттачем/детачем rbd - это точно

𝚔𝚟𝚊𝚙𝚜

Он только их создаёт и удаляет

Danila

Просто я не нашёл записи в /etc/fstab у себя на сервере, которые монтируют нужные ceph rbd диски. Т.е. что-то на сервере занимается запуском команды mount для всех ceph rbd устройств при запуске ноды

𝚔𝚟𝚊𝚙𝚜

А ты какой драйвер используешь?

𝚔𝚟𝚊𝚙𝚜

Монтированием уже сторадж драйвер занимается - это тоже инфасотка

𝚔𝚟𝚊𝚙𝚜

А ты какой драйвер используешь?

Если не CSI, то это сам кубелет делает

𝚔𝚟𝚊𝚙𝚜

Но монтирование произойдет только после attach (в твоём случае rbd map)

Danila

И kubelet в случае рестарта ноды монтирует rbdшки куда надо

Slach

Всем привет, а не встречал ли кто нибудь случайно вменяемую реализацию которая делает etcd watch и если что то поменялось, то может запустить команду в которую передаст изменения пока нарыл только что функциональность webhooks в etcd отсутствует https://github.com/etcd-io/etcd/issues/509 и то что "слишком много watchers это плохо"

Vadim

Всем привет, а не встречал ли кто нибудь случайно вменяемую реализацию которая делает etcd watch и если что то поменялось, то может запустить команду в которую передаст изменения пока нарыл только что функциональность webhooks в etcd отсутствует https://github.com/etcd-io/etcd/issues/509 и то что "слишком много watchers это плохо"

А зачем лезть руками в etcd, если есть аписервер?

Slach

А зачем лезть руками в etcd, если есть аписервер?

=) ну конкретно в этом etcd данные не для кубика вообще

Vladimir

Всем привет, а не встречал ли кто нибудь случайно вменяемую реализацию которая делает etcd watch и если что то поменялось, то может запустить команду в которую передаст изменения пока нарыл только что функциональность webhooks в etcd отсутствует https://github.com/etcd-io/etcd/issues/509 и то что "слишком много watchers это плохо"

confd см template resources в них есть check_cmd и reload_cmd

Slach

confd см template resources в них есть check_cmd и reload_cmd

да я это видел, видимо его и попробую заюзать, только там к сожалению нельзя получить что именно изменилось в etcd ...

Vladimir

да я это видел, видимо его и попробую заюзать, только там к сожалению нельзя получить что именно изменилось в etcd ...

"нельзя получить что именно изменилось" - делай по templat'у на каждый интересующий тебя ключ в зависимости от ключа разные действия

Slach

"нельзя получить что именно изменилось" - делай по templat'у на каждый интересующий тебя ключ в зависимости от ключа разные действия

;) я не знаю какие именно ключи поменялись, знаю только префикс... /directory/ вот такое еще нашел, https://github.com/abhirockzz/etcd-watch-go-client/blob/master/etcd_watch_go_client.go его конечно дотачивать надо будет, сильно

Mark ☢️

Подскажите плиз. Тут есть горе-кластер цефа (не мой). Используется как сторадж для кубернетиса. Судя по беглому оналезу — там много трешака (pvc). Как удалить всё ненужное связанное с кубером ? (аналог docker system prune)

Mark ☢️

старые снапшоты, не знаю, снимки, лейеры или ещё что-то

Mark ☢️

я не знаю как именно кубер использует цеф