опенстек как сервис

Крутяк.Как мэйлру прям)

привет у меня есть вопрос, периодически у меня в кластере перезвгружаются ноды, и когда это происходит, то не все сервисы нормально поднимаются обратно: - у монги меняется мастер - у ребита какието ошибки и его надо вручную переставлять утонибудь сталкивался? как хотя бы монгу починить? что ж это за отказоустойчивость такая

привет у меня есть вопрос, периодически у меня в кластере перезвгружаются ноды, и когда это происходит, то не все сервисы нормально поднимаются обратно: - у монги меняется мастер - у ребита какието ошибки и его надо вручную переставлять утонибудь сталкивался? как хотя бы монгу починить? что ж это за отказоустойчивость такая

Мониторинг настроен?

привет у меня есть вопрос, периодически у меня в кластере перезвгружаются ноды, и когда это происходит, то не все сервисы нормально поднимаются обратно: - у монги меняется мастер - у ребита какието ошибки и его надо вручную переставлять утонибудь сталкивался? как хотя бы монгу починить? что ж это за отказоустойчивость такая

statefulSet?

привет у меня есть вопрос, периодически у меня в кластере перезвгружаются ноды, и когда это происходит, то не все сервисы нормально поднимаются обратно: - у монги меняется мастер - у ребита какието ошибки и его надо вручную переставлять утонибудь сталкивался? как хотя бы монгу починить? что ж это за отказоустойчивость такая

Выкинуть

Народ кто kubespray делоил k8s?

Сеть для подов и для сервисов дефолтная?

по умолчанию

привет у меня есть вопрос, периодически у меня в кластере перезвгружаются ноды, и когда это происходит, то не все сервисы нормально поднимаются обратно: - у монги меняется мастер - у ребита какието ошибки и его надо вручную переставлять утонибудь сталкивался? как хотя бы монгу починить? что ж это за отказоустойчивость такая

а как сделан сервис который на мастер монги указывает? судя по всему, что-то не допилено

с ребитом похоже аналогично - нет self healing

хотел сам поставить k8s через kubeadm и выяснит, а тут вон че

https://download.docker.com/linux/dists/stretch/stable/binary-amd64/Packages

Сеть для подов и для сервисов дефолтная?

Калико по дефолту вроде, плюс еще куча на выбор

Калико по дефолту вроде, плюс еще куча на выбор

я про саму нумерацию подсетей

# Kubernetes internal network for services, unused block of space. #kube_service_addresses: 10.233.0.0/18 kube_service_addresses: 10.254.0.0/16 # internal network. When used, it will assign IP # addresses from this range to individual pods. # This network must be unused in your network infrastructure! #kube_pods_subnet: 10.233.64.0/18 kube_pods_subnet: 10.254.0.0/16 # internal network node size allocation (optional). This is the size allocated # to each node on your network. With these defaults you should have # room for 4096 nodes with 254 pods per node.

Где закоментировано, это дефолтные значения. Но с ними у меня 2 сервиса не могли подружится. Сделал поды и сервисы в одной подсети ради эксперемента и все заработало

Народ помогите с дашбордой. Задеплоил кластер, борда открывается по токену без проблем, но нужен Basic Auth. Создал ингресс, секрет, прописал в деплое борды basic, но по логину.паролю из секрета не пускает. Кто нить заморачивался с бэйсиком в кубе?

Через нжинкс заверни )))

Не заморачивался, просто работало :-)

пароль и логин в секрете в base64?

канеш

и пароль сначала в хеш завернут, а потом в b64?

пароль просто в b64

echo -n '1f2d1e2e67df' | base64 MWYyZDFlMmU2N2Rm

типа так

Всем ку, чем грозит совмещение мастера и ноды? Были у кого-нибудь такой опыт, были проблеммы?

Всем ку, чем грозит совмещение мастера и ноды? Были у кого-нибудь такой опыт, были проблеммы?

взлом ноды – компрометация мастера. перегрузка ноды – может лечь etcd, он сильно не любит соседей. А так все отлично

если нагрузка копеечная и взлом маловероятен – дерзайте

Ну вроде этот процес обратим, выставлчем запрет мастеру быть нодой

Просто хочется убить двух зайцев, увеличить количество мастеров, и лучше задействовать ресурсы

Просто хочется убить двух зайцев, увеличить количество мастеров, и лучше задействовать ресурсы

Зачем тебе много мастеров? Если дествительно охота - запусти на двух аппаратках, просто одну из них распили пополам виртуализацией. И велкам, одна свободная тачка

Зачем тебе много мастеров? Если дествительно охота - запусти на двух аппаратках, просто одну из них распили пополам виртуализацией. И велкам, одна свободная тачка

Сейчас 3 мастера хочется увеличить до 5, чтобы пережить отваливание 2

Выбирай - или ХА, или ресурсы

Зачем тебе много мастеров? Если дествительно охота - запусти на двух аппаратках, просто одну из них распили пополам виртуализацией. И велкам, одна свободная тачка

Проблема с апараткой и сразу 2 мастера отвалятся

Выбирай - или ХА, или ресурсы

.

Твоя позиция не стоит совмещать?

В зависимости от задачи. Если на 10 ядрах скажут запилить, и согласны на даунтаймы в случае чего, то я легко их отоверселю, в том числе "грязным" совмещением всё со всем

Если согласны на трату денег, то запилю хх мастеров, в двух дц

P.S.: я бы ещё etcd резервил отдельно, в каком-нить третьем дц.

Народ помогите с дашбордой. Задеплоил кластер, борда открывается по токену без проблем, но нужен Basic Auth. Создал ингресс, секрет, прописал в деплое борды basic, но по логину.паролю из секрета не пускает. Кто нить заморачивался с бэйсиком в кубе?

basic с rbac вроде не работает (или работает, но с ржавыми костылями). Так что, да, nginx перед бордой.

Всем привет, скажите куда копнуть. не запускается 2 nginx-ingress-controller (DaemonSet) одновеременно. Поды первого запустились, а у второго DESIRED = 0. hostNetwork не используется, ресурсы есть, в евентах чисто, в логах шедулера все ок.

Народ, будут у кого какие идеи почему у DaemonSet desired = 0

всем хелов

Кто то пробовал rook ?

что скажите?

Кто то пробовал rook ?

обходить десятой дорогой. Этот вопрос всплывает тут настолько часто, что впору пришпилить его.

:)

обходить десятой дорогой. Этот вопрос всплывает тут настолько часто, что впору пришпилить его.

А в чем там проблемма? Или оно сырое еще ?

А в чем там проблемма? Или оно сырое еще ?

в архитектуре. Рук принципиально невозможно заставить работать нормально. Не тратьте свое время

в архитектуре. Рук принципиально невозможно заставить работать нормально. Не тратьте свое время

Благодарствую.

А что посоветуете?

нормальный CEPH

нормальный CEPH

Для ансибла нормальный плейбук подскажите?

не подскажу. вообще у ceph-а есть инструментарий для деплоймента, он описан в документации и развернуть его до стадии "чтоб работало" – сравнительно несложно

Для ансибла нормальный плейбук подскажите?

https://www.youtube.com/watch?v=hvEyqutiwZs

https://www.youtube.com/watch?v=hvEyqutiwZs

Благодарствую!

А с гластером был опыт у когото ? Что можете сказать?

Мы как то тестили его лет 5 назад

Работало медленновато

А с гластером был опыт у когото ? Что можете сказать?

Забуть про гластер. Мега глючная хрень у интерпраиз версии, неговоря уже про open source версию

Обсуждалось тут уже это несколько раз

Забуть про гластер. Мега глючная хрень у интерпраиз версии, неговоря уже про open source версию

за 5 лет ничего не поменялось :(

за 5 лет ничего не поменялось :(

Дак им особенно и не занимаются

Всем благодарка! Будем пробовать Цепф.

в архитектуре. Рук принципиально невозможно заставить работать нормально. Не тратьте свое время

поясните вашу боль

поясните вашу боль

никакой боли. Рук - халтурный способ реализовать хорошую идею абсолютно неподходящим для этого методом. Он ущербен архитектурно и исправить это невозможно.

у гластера проблемы в реализации. У рука - в концепции

никакой боли. Рук - халтурный способ реализовать хорошую идею абсолютно неподходящим для этого методом. Он ущербен архитектурно и исправить это невозможно.

где бы про это прочитать? или это ваше оригинальное иследование?

где бы про это прочитать? или это ваше оригинальное иследование?

все это следует из элементарного описания архитектуры рука

все это следует из элементарного описания архитектуры рука

https://rook.io/docs/rook/master/media/kubernetes.png

вы не могли бы на этой картинке показать где все плохо?

https://rook.io/docs/rook/master/media/kubernetes.png

начиная с части, отчерченой дэшами

начиная с части, отчерченой дэшами

я с ceph дела не имел, конечно, но ничего подозрительного не вижу. объясните подробнее.

вы запускаете исключительно требовательный к ресурсам, требующий максимально прямого доступа к железу сервис в непредсказуемом по месту запуска контейнере. Вас в этой формулировке ничего не смущает?

я с ceph дела не имел, конечно, но ничего подозрительного не вижу. объясните подробнее.

Я так понимаю вся боль в том что сам сторадж внутри кубера.

А, все, понял, в глаза долблюсь

вы запускаете исключительно требовательный к ресурсам, требующий максимально прямого доступа к железу сервис в непредсказуемом по месту запуска контейнере. Вас в этой формулировке ничего не смущает?

Правильно ли я понимаю что если бы вместо k8s запустить руук докер контейнерами руками на нодах и прибить их гвоздями, это изменит ситуацию?

Правильно ли я понимаю что если бы вместо k8s запустить руук докер контейнерами руками на нодах и прибить их гвоздями, это изменит ситуацию?

нет. Вы запускаете сервис с прямым доступом к железу в контейнерах. Вы запускаете сервис, который должен быть максимально долгоживущим и стабильным – в конейнерах.

нет. Вы запускаете сервис с прямым доступом к железу в контейнерах. Вы запускаете сервис, который должен быть максимально долгоживущим и стабильным – в конейнерах.

понятно, у вас два поинта: 1. прямой доступ к железу 2. контейнеры не продакшн я правильно уловил?

понятно, у вас два поинта: 1. прямой доступ к железу 2. контейнеры не продакшн я правильно уловил?

нет. 1. прямой доступ к железу 2. конейтер по определению эфемерен и может быть в любой момент убит и перезапущен на любой машине.

нет. 1. прямой доступ к железу 2. конейтер по определению эфемерен и может быть в любой момент убит и перезапущен на любой машине.

Ну слышал что есть кто запускает мониторы ceph как daemonset на каждой ноде к примеру.