Выбирай - или ХА, или ресурсы

Зачем тебе много мастеров? Если дествительно охота - запусти на двух аппаратках, просто одну из них распили пополам виртуализацией. И велкам, одна свободная тачка

Проблема с апараткой и сразу 2 мастера отвалятся

Выбирай - или ХА, или ресурсы

.

Твоя позиция не стоит совмещать?

В зависимости от задачи. Если на 10 ядрах скажут запилить, и согласны на даунтаймы в случае чего, то я легко их отоверселю, в том числе "грязным" совмещением всё со всем

Если согласны на трату денег, то запилю хх мастеров, в двух дц

P.S.: я бы ещё etcd резервил отдельно, в каком-нить третьем дц.

Народ помогите с дашбордой. Задеплоил кластер, борда открывается по токену без проблем, но нужен Basic Auth. Создал ингресс, секрет, прописал в деплое борды basic, но по логину.паролю из секрета не пускает. Кто нить заморачивался с бэйсиком в кубе?

basic с rbac вроде не работает (или работает, но с ржавыми костылями). Так что, да, nginx перед бордой.

Всем привет, скажите куда копнуть. не запускается 2 nginx-ingress-controller (DaemonSet) одновеременно. Поды первого запустились, а у второго DESIRED = 0. hostNetwork не используется, ресурсы есть, в евентах чисто, в логах шедулера все ок.

Народ, будут у кого какие идеи почему у DaemonSet desired = 0

всем хелов

Кто то пробовал rook ?

что скажите?

Кто то пробовал rook ?

обходить десятой дорогой. Этот вопрос всплывает тут настолько часто, что впору пришпилить его.

:)

обходить десятой дорогой. Этот вопрос всплывает тут настолько часто, что впору пришпилить его.

А в чем там проблемма? Или оно сырое еще ?

А в чем там проблемма? Или оно сырое еще ?

в архитектуре. Рук принципиально невозможно заставить работать нормально. Не тратьте свое время

в архитектуре. Рук принципиально невозможно заставить работать нормально. Не тратьте свое время

Благодарствую.

А что посоветуете?

нормальный CEPH

нормальный CEPH

Для ансибла нормальный плейбук подскажите?

не подскажу. вообще у ceph-а есть инструментарий для деплоймента, он описан в документации и развернуть его до стадии "чтоб работало" – сравнительно несложно

Для ансибла нормальный плейбук подскажите?

https://www.youtube.com/watch?v=hvEyqutiwZs

https://www.youtube.com/watch?v=hvEyqutiwZs

Благодарствую!

А с гластером был опыт у когото ? Что можете сказать?

Мы как то тестили его лет 5 назад

Работало медленновато

А с гластером был опыт у когото ? Что можете сказать?

Забуть про гластер. Мега глючная хрень у интерпраиз версии, неговоря уже про open source версию

Обсуждалось тут уже это несколько раз

Забуть про гластер. Мега глючная хрень у интерпраиз версии, неговоря уже про open source версию

за 5 лет ничего не поменялось :(

за 5 лет ничего не поменялось :(

Дак им особенно и не занимаются

Всем благодарка! Будем пробовать Цепф.

в архитектуре. Рук принципиально невозможно заставить работать нормально. Не тратьте свое время

поясните вашу боль

поясните вашу боль

никакой боли. Рук - халтурный способ реализовать хорошую идею абсолютно неподходящим для этого методом. Он ущербен архитектурно и исправить это невозможно.

у гластера проблемы в реализации. У рука - в концепции

никакой боли. Рук - халтурный способ реализовать хорошую идею абсолютно неподходящим для этого методом. Он ущербен архитектурно и исправить это невозможно.

где бы про это прочитать? или это ваше оригинальное иследование?

где бы про это прочитать? или это ваше оригинальное иследование?

все это следует из элементарного описания архитектуры рука

все это следует из элементарного описания архитектуры рука

https://rook.io/docs/rook/master/media/kubernetes.png

вы не могли бы на этой картинке показать где все плохо?

https://rook.io/docs/rook/master/media/kubernetes.png

начиная с части, отчерченой дэшами

начиная с части, отчерченой дэшами

я с ceph дела не имел, конечно, но ничего подозрительного не вижу. объясните подробнее.

вы запускаете исключительно требовательный к ресурсам, требующий максимально прямого доступа к железу сервис в непредсказуемом по месту запуска контейнере. Вас в этой формулировке ничего не смущает?

я с ceph дела не имел, конечно, но ничего подозрительного не вижу. объясните подробнее.

Я так понимаю вся боль в том что сам сторадж внутри кубера.

А, все, понял, в глаза долблюсь

вы запускаете исключительно требовательный к ресурсам, требующий максимально прямого доступа к железу сервис в непредсказуемом по месту запуска контейнере. Вас в этой формулировке ничего не смущает?

Правильно ли я понимаю что если бы вместо k8s запустить руук докер контейнерами руками на нодах и прибить их гвоздями, это изменит ситуацию?

Правильно ли я понимаю что если бы вместо k8s запустить руук докер контейнерами руками на нодах и прибить их гвоздями, это изменит ситуацию?

нет. Вы запускаете сервис с прямым доступом к железу в контейнерах. Вы запускаете сервис, который должен быть максимально долгоживущим и стабильным – в конейнерах.

нет. Вы запускаете сервис с прямым доступом к железу в контейнерах. Вы запускаете сервис, который должен быть максимально долгоживущим и стабильным – в конейнерах.

понятно, у вас два поинта: 1. прямой доступ к железу 2. контейнеры не продакшн я правильно уловил?

понятно, у вас два поинта: 1. прямой доступ к железу 2. контейнеры не продакшн я правильно уловил?

нет. 1. прямой доступ к железу 2. конейтер по определению эфемерен и может быть в любой момент убит и перезапущен на любой машине.

нет. 1. прямой доступ к железу 2. конейтер по определению эфемерен и может быть в любой момент убит и перезапущен на любой машине.

Ну слышал что есть кто запускает мониторы ceph как daemonset на каждой ноде к примеру.

Ну слышал что есть кто запускает мониторы ceph как daemonset на каждой ноде к примеру.

это попытка приделать к бульдозеру крылья и думать, что он полетит.

Подскажите есть ли альтернатива ELK для централизованого сбора логов?

Подскажите есть ли альтернатива ELK для централизованого сбора логов?

graylog

Подскажите есть ли альтернатива ELK для централизованого сбора логов?

fluentd

Подскажите есть ли альтернатива ELK для централизованого сбора логов?

https://www.graylog.org/overview

но только вот пока что к k8s его не прикрцучивал лично

graylog

Хранилище всеравно еластик?

Хранилище всеравно еластик?

да

нет. 1. прямой доступ к железу 2. конейтер по определению эфемерен и может быть в любой момент убит и перезапущен на любой машине.

у вас есть понимание в отличие доступа к железу "напрямую" и из "контейнера"?

Хранилище всеравно еластик?

А свои настройки он монге хранит

Подскажите есть ли альтернатива ELK для централизованого сбора логов?

Не тот чат.

Ну сори за офтоп, а если бы я спросил кто чем логи сервисов в кубере собирает?)

Но ты не спросил.

у вас есть понимание в отличие доступа к железу "напрямую" и из "контейнера"?

А есть какое то отличие? :)

А есть какое то отличие? :)

вот и мне интересно, видимо это скорее вопрос для @docker_ru

А насколько вообще ceph надежен?

https://t.me/ceph_ru

Подскажите есть ли альтернатива ELK для централизованого сбора логов?

Loghouse

Loghouse

Устриц ели?)

Планирую. Clickhouse будет полегче для логов, чем ELK

Подскажите есть ли альтернатива ELK для централизованого сбора логов?

Splunk (https://www.splunk.com, cloud/on-premise); Loggly (https://www.loggly.com, cloud); Datadog (https://www.datadoghq.com, cloud)

Splunk (https://www.splunk.com, cloud/on-premise); Loggly (https://www.loggly.com, cloud); Datadog (https://www.datadoghq.com, cloud)

кстати, пробовали что-нибудь из вышеперечисленного?

Splunk и Loggly активно, Datadog только тур и демо, сейчас почти всё в ELK

Splunk и Loggly активно, Datadog только тур и демо, сейчас почти всё в ELK

а не расскажите ваши юз-кейсы. вы по логам какие-нибудь интересные графики делаете? типа гео локейшен? или для алертов

а не расскажите ваши юз-кейсы. вы по логам какие-нибудь интересные графики делаете? типа гео локейшен? или для алертов

Графики активности, алерты, всё более-менее стандартно

В splunk on-premise стало нехватать места по лицензии, в loggly иногда не доходят логи. А ELK перевели часть x-pack в open source https://www.elastic.co/products/x-pack/open

LogHouse сырой, с замечанием про устриц согласен... Я ниасилил

Планирую. Clickhouse будет полегче для логов, чем ELK

ClickHouse != LogHouse ?

У него под капотом именно он

У него под капотом именно он

ClickHouse - db, LogHouse - ui через clickhouse-client. А сбор через fluentd

Ответ ELK

Кто то пробовал rook ?

Я пробовал. Если на ноде удалить все с /var/lib/docker/, то у вас будет минус одна нода ceph, при этом автоматом когда вы запустить kubelet он контейнеры вернет, но ceph в строй не вернется автоматом и у вас будет кластер с 2 работающими нодами ceph

Потом попробовал без рука ceph поставить, сломать у меня его не получилось :)

ClickHouse - db, LogHouse - ui через clickhouse-client. А сбор через fluentd

Вы сейчас написали очевидные вещи. Можно вопрос зачем? Вас смутило что я сравнил стэк с чисто базой?

я позавчера смотрел презентацию rook на кубконе https://www.youtube.com/watch?v=To1ldyb_9NA&list=PLj6h78yzYM2N8GdbjmhVU65KYm_68qBmo&index=31 и если честно не понимаю юзкейса

Вы сейчас написали очевидные вещи. Можно вопрос зачем? Вас смутило что я сравнил стэк с чисто базой?

Смутило, да. Сравнивать так стек со стеком

т.е. rook этот создаст мне кластер ceph прямо на моих нодах куба, каким-то боком там на моих нодах размажет вольюмы

и тут мне не ясно, сколько же мне стораджа надо на каждой ноде иметь чтобы все это работало?

пока у меня ощущение что это для детских поделок с вольюмами на 10 гиг

а если у меня ноды разные и по цпу с памятью и по диску (а то еще и hdd будут) - это что вообще будет? в итоге я так понимаю выйдет приколачивание подов с руком на нужных нодах - и чем это лучше отдельно стоящего ceph кластера?