Не беспокойтесь, я миллион раз подумал а нужен ли мне куб для игровых кластеров

Вы эту историю уже по третьему кругу тут гоняете

подскажите пожалуйста: не могу понять как опубликовать grafana, которая из kube-prometheus на ingress https://github.com/coreos/prometheus-operator/blob/master/contrib/kube-prometheus/docs/exposing-prometheus-alertmanager-grafana-ingress.md

Много полезностей но и закат солнца вручную тоже

Node affinity, tolerations, taints

Без Deploy/RS? так себе идея

Лучше расскажите чем деплоите ваши ворклоады @Maxpain177

Без Deploy/RS? так себе идея

Только stateful приложения тут

Только stateful приложения тут

И?

И?

Что и?) я ответил что у меня кроме stateful ничего нет в кластере

Что мешает их забиндить на ноду, прокинуть hostPath

Ты писал что поды ручками запускаешь

Лучше расскажите чем деплоите ваши ворклоады @Maxpain177

Что подразумевается над workloads?

Ты писал что поды ручками запускаешь

Где я писал что ручками я что-то запускаю?)

если почти всю функциональность порезать, то от кубера останется только дискавери подов и встроенный цадвизор

Кстати там ничего и не потеряется особо из функционала, с hostNetwork поды получают айпишник ноды, кубе-сервисы по прежнему работают для них, в остальном все тоже

Что подразумевается над workloads?

Ваши игровые сервера и прочее

Кстати там ничего и не потеряется особо из функционала, с hostNetwork поды получают айпишник ноды, кубе-сервисы по прежнему работают для них, в остальном все тоже

Единственное что не очень безопасно в таком случае, если insecure port есть у апи, поды могут получить беспрепятсвенный доступ к нему

Где я писал что ручками я что-то запускаю?)

Ну всмысле без деплоементов

Многие используют hostNetwork и сторонний service discovery как-раз потому что в этом случае ты ничего не теряешь на оверлейных сетях

Ваши игровые сервера и прочее

Да куча легаси кода на node.js и без докера, и такая архитектура не очень удобна, когда разнообразие игр растет

Ваши игровые сервера и прочее

тоже интерсно, может он через cronjob запускает у него там что то по 40 минут было =)

запретит паралельный запуск, ограничит время работы

Да куча легаси кода на node.js и без докера, и такая архитектура не очень удобна, когда разнообразие игр растет

вы меня не совсем поняли. я так понял что у вам надо запускать поды для создания мачмейкинга. где-то торчит апи, к которому приходит оркестратор и говорит создай игру, далее что происходит? темлпейтор + kubectl apply ?

вы меня не совсем поняли. я так понял что у вам надо запускать поды для создания мачмейкинга. где-то торчит апи, к которому приходит оркестратор и говорит создай игру, далее что происходит? темлпейтор + kubectl apply ?

Да, так и есть

Да, так и есть

? расскажите где у вас болит, кроме лайв миграции?

вы меня не совсем поняли. я так понял что у вам надо запускать поды для создания мачмейкинга. где-то торчит апи, к которому приходит оркестратор и говорит создай игру, далее что происходит? темлпейтор + kubectl apply ?

надо предложить operator + crd =)

К этому апи обращаются различные проекты, которым необходимо сделать allocate игрового сервера определенного типа в определенном регионе на некоторое время (обычно они живут в среднем час)

надо предложить operator + crd =)

да, скоро будет пора ?

? расскажите где у вас болит, кроме лайв миграции?

Лайв миграция это так, мысли вслух, если нам понадобится когда-нибудь разместить долгоживущие игровые сервера) баловство)

надо предложить operator + crd =)

Да в crd нет надобности)

Функционала пода вполне хватает

Да в crd нет надобности)

Как это? удобно же - написал crd для определенного типа игры, базовый набор парамсов, и вуаля - оператор захерачит =)

Добрый день. Есть проблема, установил prometheus c grafana через rancher. После перезагрузки пода с grafana все установленные dasboards слетают. Где у dashboard-ов названия что бы я бог добавить их в шаблон?

К этому апи обращаются различные проекты, которым необходимо сделать allocate игрового сервера определенного типа в определенном регионе на некоторое время (обычно они живут в среднем час)

Это типа под каждую игровую сессию?

Это типа под каждую игровую сессию?

Да

Добрый день. Есть проблема, установил prometheus c grafana через rancher. После перезагрузки пода с grafana все установленные dasboards слетают. Где у dashboard-ов названия что бы я бог добавить их в шаблон?

ну так все что создано в поде - грохается с ним - подмонтируй volume

Добрый день. Есть проблема, установил prometheus c grafana через rancher. После перезагрузки пода с grafana все установленные dasboards слетают. Где у dashboard-ов названия что бы я бог добавить их в шаблон?

ему надо персистентное хранилище подцепить

Как это? удобно же - написал crd для определенного типа игры, базовый набор парамсов, и вуаля - оператор захерачит =)

Хм) пока не сильно стал заморачиваться по этому поводу.

Добрый день. Есть проблема, установил prometheus c grafana через rancher. После перезагрузки пода с grafana все установленные dasboards слетают. Где у dashboard-ов названия что бы я бог добавить их в шаблон?

графана у тебя небось в локальном sqlite всё хранит?

ему надо персистентное хранилище подцепить

Хранилище подцеплено

Это типа под каждую игровую сессию?

Прикольно, а как с GPU вопрос решили?

Да такой же

? расскажите где у вас болит, кроме лайв миграции?

А вообще болит не из-за нехватки куба (с ним просто удобнее, и мне лень писать код скедулинга), а из-за нехватки докера) потому что сборок игровых серверов много, какие-то основаны на базовых images других серверов, да и безопасней, когда игровой сервер изолирован от других

графана у тебя небось в локальном sqlite всё хранит?

Да создается файл grafana.db

Прикольно, а как с GPU вопрос решили?

Игровые сервера не требуют GPU

А вообще болит не из-за нехватки куба (с ним просто удобнее, и мне лень писать код скедулинга), а из-за нехватки докера) потому что сборок игровых серверов много, какие-то основаны на базовых images других серверов, да и безопасней, когда игровой сервер изолирован от других

давайте запилим istio вам, будет шиткурити

не будет :)

давайте запилим istio вам, будет шиткурити

Ну не на столько)

короче, я так понял, что вы нашли свою платформу которая за вас разруливает оркестрацию запуска докер контейнеров.

короче, я так понял, что вы нашли свою платформу которая за вас разруливает оркестрацию запуска докер контейнеров.

Ага

? это отчасти для чего k8s и был придуман

давайте запилим istio вам, будет шиткурити

еще анимашки трафика прикольные и трейсинг можно прикрутить через jaeger =)

короче, я так понял, что вы нашли свою платформу которая за вас разруливает оркестрацию запуска докер контейнеров.

правда оркестрация вручную, ага

правда оркестрация вручную, ага

чтоууу

ну рассказывал же что все ноды покрыты taint'ами и запуск подов без контроллеров

ну рассказывал же что все ноды покрыты taint'ами и запуск подов без контроллеров

У меня собственный контроллер

Просто без crd

Который делает создание и удаление подов)

при чём тут вообще crd

ты писал что поды запускаешь, а не деплойменты-репликасеты-етц

И?)

Ребят, а кто сталкивался с такой штукой? Поставил nginx-ingress 0.20.0, как демон сет. 16 рабочих нод. Но он на одну не поставился. Пишет что 15/15. Сама нода такая же как и остальные. Более того, предыдущий nginx-ingress нормально на все ставился...

Ребят, а кто сталкивался с такой штукой? Поставил nginx-ingress 0.20.0, как демон сет. 16 рабочих нод. Но он на одну не поставился. Пишет что 15/15. Сама нода такая же как и остальные. Более того, предыдущий nginx-ingress нормально на все ставился...

посмотри афинити

15 ингресс контроллеров, во первых это прекрасно

get ds -o yaml

при чём тут вообще crd

Я хотел сказать что у меня контроллер не в классическом понимании контроллеров куба, а как отдельный процесс, который обращается к апи и запускает поды самостоятельно, а не реагируя на ивенты в кубе

15 ингресс контроллеров, во первых это прекрасно

Судя потому что в чарте поддерживается такой режим - достаточно популярный кейс, я так думаю для нод в разных дц

а в телеграме есть черный список? =)

а в телеграме есть черный список? =)

черный список чего

ну например добавить туда определенного чела чтобы в конфе не видеть его сообщения?

ну например добавить туда определенного чела чтобы в конфе не видеть его сообщения?

вот это хз, есть в настройка приватности акаунт блокированные юзеры

но так что бы не видеть что пишет в чате - это нет

жаль

spec: containers: - image: nginx:1.9.4 imagePullPolicy: IfNotPresent lifecycle: preStop: exec: command: - sleep 60 Запилил вот так, но когда запускаю апдейт например релиза nginx , контейнер перезагружается сразу же

Попробуйте с /bin/sleep

пробовал)

и /bin/sleep и bash -c /bin/sleep

и по разному, игнорит

и /bin/sleep и bash -c /bin/sleep

а он есть в этом образе?

ест

я екзечился в контейнер, проверял

а terminationGracePeriodSeconds не помог?

Может сегодня повезет, ребзя подскажите, как при rolling update в deployments сделать так чтобы перед обновлением пода он дождался когда все службы внутри пода заерщаться?

Ждите все что нужно в preStop

и по разному, игнорит

Не может быть, своими глазами видел что работает :)

он по умолчанию равен 30 сек, а у меня контейнеры апдейтятся почти сразу же

grace это через сколько sigkill слать

grace это через сколько sigkill слать

ну у него слип 60 - grace по дефолту 30 - мож он грохает раньше, ну как вариант

короче, нашёл почему на одной ноде не создавался под. там с предыдущей версии остался под в статусе Terminating. есть какой-то баг, когда они остаются. там на ноде бывают ошибки в kubelet что не может отмонтировать volume с токеном. прибил руками под, рестартнул kubelet на ноде, раскатал демонсет заново, создались поды на всех нодах

а версия у тебя какая?

прото прибил б под

1.11.2

this

Хотя он должен был показывать 15/16

просто прибитие не помогает в таких случаях, только с форсом: kubectl delete pod NAME --grace-period=0 --force

ну и после такого прибития mountpoint остаётся на него, что плохо. после рестарта kubelet он его подчищает

просто прибитие не помогает в таких случаях, только с форсом: kubectl delete pod NAME --grace-period=0 --force

ну я это и имел ввиду - а ds новый бы раскатал

this

Так и не поставили как лого канала =)

вот находил ссылку на баг, похоже это он самый. правда непонятно, он не у всех стреляет похоже... https://github.com/kubernetes/kubernetes/issues/51835

вот находил ссылку на баг, похоже это он самый. правда непонятно, он не у всех стреляет похоже... https://github.com/kubernetes/kubernetes/issues/51835

у меня что то такое было, на 1.10 кажись

кто чем деплоит в кубер?

Приложение (деплоиться)