Господа, вы когда с несколькими кластерами живете, то cluster.local суффикс переопределяете? Хочу чтобы они могли друг с другом говорить, вот думаю переопределить, тогда и сервис с ручными endpoints развесить можно и в сертификатах все правильно пропишется. Ну это в теории , как на практике?

Для этого есть kubefed

В клиенском кластере сделать сервис и в него вручную endpoints прописать навроде того как родной kubernetes.default.svc.cluster.local работает

endpoints тычат в lb\ingress на другом кластере?

Для этого есть kubefed

всегда же хочется на коленке костылей сделайть, что ты сразу начинаешь федерацию предлагать. к тому же не всегда тебе нужна именно федерация

Господа, вы когда с несколькими кластерами живете, то cluster.local суффикс переопределяете? Хочу чтобы они могли друг с другом говорить, вот думаю переопределить, тогда и сервис с ручными endpoints развесить можно и в сертификатах все правильно пропишется. Ну это в теории , как на практике?

у себя решили запросы всегда через внешние адреса гонять. пофиг становится, находятся сервисы в одном кластере или далеко друг от друга

Можно healthcheck из докерфайла выдернуть , ну а вообще сложно с одним докерфайлом жить, надо ж знать сколько ресурсов, сколько подов, крон джобы всякие, секреты, диски нужны/ненужны и проч

Почти всё авто или из переменных ci/cd. Да понятно это всё. Но никто вникать не будет, а нужно задеплоить вчерновую и без меня

если создавать софт для деплоя в кубер без участия разработчиков, то можно получить кучу гемора :(

если создавать софт для деплоя в кубер без участия разработчиков, то можно получить кучу гемора :(

Если разрабы рукожопы)

Лучше делать чтобы разрабы без участие админа все деплоили

/report

Лучше делать чтобы разрабы без участие админа все деплоили

Для этого они должны что-то понимать в этом. Всё всё равно не автоматизируешь

...но стремиться к этому стоит

если создавать софт для деплоя в кубер без участия разработчиков, то можно получить кучу гемора :(

Ну хз, работает и хорошо)

Взял идею у gitlab autodevops, сделал своё. А то у них прям сильно не то. Ещё и под каждую репу свой namespace?

Господа, вы когда с несколькими кластерами живете, то cluster.local суффикс переопределяете? Хочу чтобы они могли друг с другом говорить, вот думаю переопределить, тогда и сервис с ручными endpoints развесить можно и в сертификатах все правильно пропишется. Ну это в теории , как на практике?

Мы не смогли придумать как dns имена сервисов автоматом раздавать по всей инфраструктуре и как сделать сетевую связность в сервисные ip. Поэтому от этой идеи пришлось отказаться. В итоге сделали metallb с LoadBalancer сервисами и вручную пишем dns имена для таких сервисов, т.к. их очень мало.

кто использовал GPU в кластере от Гугла? В инструкции написано что нужно запрашивать ресурсы вот так: resources: limits: nvidia.com/gpu: 2 Но куб ругается что контейнеры становятся нескалируемыми с ошибками о невозможности предоставить достаточно ресурсов com.gpu, nvidia (sic), cpu.

Мы используем, все верно resources: requests: nvidia.com/gpu: 1 limits: nvidia.com/gpu: 1

Посоны, кто-нибудь дружил сервисы с gRPC и Кубой (ингрессом)?

Посоны, кто-нибудь дружил сервисы с gRPC и Кубой (ингрессом)?

Умеет, в доке есть про это

вот только пример под старую версию, не обновили ^_^

/report

/report

А есть самые рабочие схемы по деплою в куберя?

/report

А есть самые рабочие схемы по деплою в куберя?

Что за куберя? Или это опечатка?

Правильно в кубеня. Отправить приложения в кубеня. Отлично.

Спасибо, сохранил

у нас где в некоторых аппах сделали на ready даже проверку что все внешние зависимости живы

я тоже так делаю, а как иначе то?

когда тебе тимлид говорит - сложна, то не хочется ничего втыкать

так напиши сам cli readiness probe - ты же знаешь когда приложение готов (проверить что процесс нужный запущен, ещё что-то - все что можно сделать в баше)

Посоны, кто-нибудь дружил сервисы с gRPC и Кубой (ингрессом)?

Странно. Я вот так вот сделал: spec: tolerations: - key: "nvidia.com/gpu" operator: "Exists" effect: "NoSchedule" nodeSelector: cloud.google.com/gke-preemptible: "true" imagePullSecrets: - name: registry.gitlab.com containers: - name: server-container imagePullPolicy: Always image: [redacted] envFrom: - configMapRef: name: settings resources: requests: nvidia.com/gpu: 1 limits: nvidia.com/gpu: 1 Но все равно не деплоит, с ошибкой:

я отдельный gpu pool создал, в нем 3 ноды забитые этими же подами

/report

Какая-то херь с GCE, уже 2 дня не могу через их ГУИ изменять кластер. Особенно бесит что пулы с нодами добавлять приходится через консоль.

зацените какой файл в копсе нашел: https://github.com/kubernetes/kops/blob/master/docs/apireference/build/node_modules/highlight.js/lib/languages/1c.js

зацените какой файл в копсе нашел: https://github.com/kubernetes/kops/blob/master/docs/apireference/build/node_modules/highlight.js/lib/languages/1c.js

хаха

нода притянула хайлайтер https://highlightjs.org/ што такого?

https://github.com/kubernetes/kops/blob/master/docs/apireference/build/package.json#L18

нода притянула хайлайтер https://highlightjs.org/ што такого?

да в целом понятно откуда оно, просто забавно наткнуться в таком проекте как kops на комментарий: у объектов есть конструктор, экземпляры создаются методом НОВЫЙ

как методичка по бейсику в школе

поделитесь плз если у кого есть книжка "The DevOps 2.3 Toolkit: Kubernetes: Deploying and managing highly-available and fault-tolerant applications at scale"

@SinTeZoiD

нет бы по делу призывали

лучше скажите, как сделать отказоустойчивый nfs без drbd и других общих хранилищ типа HP EVA...

Отказоустойчивый от каких угроз?:)

лучше скажите, как сделать отказоустойчивый nfs без drbd и других общих хранилищ типа HP EVA...

Не брать nfs?)

Отказоустойчивый от каких угроз?:)

Падение железа.

Падение железа.

Арендовал железа в хетцнер и теперь пытаешься взлететь?)

Господа, может кто поделиться знаниями, есть ли способ заставить java идеть реальное количество ядер которое выделено для пода с приложением? У нас java читаем количество ядер на машине в кластере

Со всем этим

ERROR: S client not available

Арендовал железа в хетцнер и теперь пытаешься взлететь?)

Своё железо, не свой датацентр.

Падение железа.

Локальное? Стоечное? Гермозоны в ДЦ, городское, региональное, континентальное?

Своё железо, не свой датацентр.

Openebs/longhorn

Есть такая формулировка: модель угроз

Ceph

Модель угроз - придёт монтажник от хозяев датацентра и вырубит не тот сервер :-)

Господа, может кто поделиться знаниями, есть ли способ заставить java идеть реальное количество ядер которое выделено для пода с приложением? У нас java читаем количество ядер на машине в кластере

присоединяюсь к вопросу

В целом да, сверху кубера: Openebs/rook/longhorn : всего три)

Мне и сбоку подойдёт...

Модель угроз - придёт монтажник от хозяев датацентра и вырубит не тот сервер :-)

Тогда три сервера в разных гермозонах одного дц, на них любой вариант вышеперечисленного)

Про три сервера я уже догадался. Мне ключевые слова нужны были...

Кстати, благодарю.

Мне и сбоку подойдёт...

Сбоку: ceph/ gluster

На gluster я уже наступил, спасибо. Даже при нативных драйверах оно как-то странно работает даже на хосте - чуть ли не на каждый файл ругается на stale lock.

На gluster я уже наступил, спасибо. Даже при нативных драйверах оно как-то странно работает даже на хосте - чуть ли не на каждый файл ругается на stale lock.

У меня выделенная пара виртуалок сервером ФС лет 5 уже молотит без проблем. Правда я не основлял гластер там

Воот... А у меня что версии из стабильного дебиана, что из официальных источников - почти одинаково.

На gluster я уже наступил, спасибо. Даже при нативных драйверах оно как-то странно работает даже на хосте - чуть ли не на каждый файл ругается на stale lock.

ОС какая? И какой конфиг был?

реплика на троих, ось - debian 9

Для теста один том сделал и потом подмонтировал его на паре клиентов.

Для теста один том сделал и потом подмонтировал его на паре клиентов.

Монтировал через nfs (multipath)?

и так и нативно

Потому как родной клиент гластер вроде никогда прямо не работал

поведение в целом не менялось - при повторной распаковке большого архива таки дохрена локов.

Очень странно. Тогда пробуйте CEPH)

После отпуска попробую, если ещё чего не навалят...