Victor
не пойму где вообще ветка разработки этого говна
Отделение Bereke Bank
А какой у вас rps в dns то?
Отделение Bereke Bank
Aleksei
Небольшой, 500-600
Victor
у нас в районе 40к
Victor
на кластер, в смысле
Aleksei
Я тоже на кластер сказал) Пришлось поставить локальный из-за бага 5 секунд, ну наверное вы в курсе
Отделение Bereke Bank
у меня 20-30 rps в каждый nodel-local. container_memory_working_set_bytes не выше 15 Мб
Отделение Bereke Bank
Lucky SB
k8s.gcr.io/k8s-dns-node-cache:1.15.4 течет как сучка
gcr.io/google-containers/k8s-dns-node-cache:1.15.5 работает и не течет
Victor
у нас за гиг памяти улетает и OOM по limits
Victor
gcr.io/google-containers/k8s-dns-node-cache:1.15.5 работает и не течет
а почему именно такая ссылка? В официальном yaml и в kubespray ссылки вида k8s./gcr.io/k8s-dns-node-cache:1.15.8
Victor
там же coredns внутри
ну это понятно. Хочется видеть исходники
Lucky SB
а почему именно такая ссылка? В официальном yaml и в kubespray ссылки вида k8s./gcr.io/k8s-dns-node-cache:1.15.8
ну не знаю. в актуальном кубспрее именно такие ссылки на образы
Lucky SB
# gcr and kubernetes image repo define gcr_image_repo: "gcr.io" kube_image_repo: "{{ gcr_image_repo }}/google-containers" nodelocaldns_version: "1.15.8" nodelocaldns_image_repo: "{{ kube_image_repo }}/k8s-dns-node-cache" nodelocaldns_image_tag: "{{ nodelocaldns_version }}"
Victor
я пару недель назад тут интересовался как он собирается именно по причине вот такого поведения с течкой памяти. Руки не дошли подебажить Го-шку
Отделение Bereke Bank
ну это понятно. Хочется видеть исходники
глянул. там оказывается свой бинарник 😑
Дмитрий
доброго вечера. подскажите плиз для развертывания бд из скрипта в кубере лучше всего использовать initContainer или есть еще варианты?
George
От задачи зависит
Дмитрий
От задачи зависит
разово развернуть базу из бэкапа и создать пользователя в субд
Дмитрий
все
George
Больше похоже на "давайте захачим энтрипойнт", но можно и в инит контейнере, ога
Дмитрий
понятно, как обычно стеб и не более. спасибо
Denis
Там кстать Helm 3.1.0 релизнулся. Вроде как должны пофиксить некоторые неприятные баги
Denis
В gcloud начал уже работать?
Вот к сожалению этого не знаю. Сейчас нет кластеров в GKE
Andrey
В gcloud начал уже работать?
а что, переставал?
🇷🇺 Vladimir
мдее
🇷🇺 Vladimir
оракле - тухлое говно мамонта
🇷🇺 Vladimir
E0213 18:06:48.865262 1 reflector.go:205] github.com/oracle/mysql-operator/vendor/k8s.io/client-go/informers/factory.go:87: Failed to list *v1beta1.StatefulSet: the server could not find the requested resource I0213 18:06:49.865474 1 reflector.go:240] Listing and watching *v1beta1.StatefulSet from github.com/oracle/mysql-operator/vendor/k8s.io/client-go/informers/factory.go:87
🇷🇺 Vladimir
Prerequisites A Kubernetes v1.8.0+ cluster.
🇷🇺 Vladimir
что в общем-то нихера не правда уже
🇷🇺 Vladimir
а посоветуйте хороший mysql-operator
🇷🇺 Vladimir
оракле и presslabs не предлагать )
Victor
Мне еще свое говно тоже придется научиться собирать под 1.17+
🇷🇺 Vladimir
в 1.17 чет поменялось сильно? я не следил
Ilya
а есть ли какие-то инструменты или практики по управлению пользователями в k8s? у нас сотни разработчиков имеют доступ к тестовому окружению, каждому выделяется персональный неймспейс + коммандный неймспейс. И всё это добавляется полуавтоматически, что сильно задалбывает
George
Можно лдап, но это решает только одну проблему - заведение пользователей. А вот накидывать роли все равно самому
Stanislav
скажите, а почему кубер не рекомендует больше 100 подов на ноде? с чем связано, во что упирается?
Serhii
Как по мне это просто рекомендация
Serhii
Можешь не придерживаться
Mikhail [azalio]
Авито из-за этого делали несколько квм на сервере и запускали в них по 100
Mikhail [azalio]
Из-за чего конкретно они не разобрались/или не разобрались на момент рассказа про это
Stanislav
ща в доке на 1.17 эти же цифры стоят
Ilya
https://github.com/liggitt/audit2rbac https://github.com/corneliusweig/rakkess
спасибо, полезно, но нужна скорее автогенерация rbac для пользователей по шаблону. я на https://github.com/kiosk-sh/kiosk смотрю, но он вроде тоже не автоматизирован, нужно руками заводить всех
Stanislav
я хочу запустить где то 150-170, видимо надо просто тестить, т.к. из-за этого поднимать виртуалки оч глупо
Serhii
Да возьми какой-нибудь деплоймент и сделай 150 реплик
Serhii
В микикубе даже
George
Из-за чего конкретно они не разобрались/или не разобрались на момент рассказа про это
Ты попробуй в компоузе запустить 200 контейнеров и расскажи о впечатлениях )
Lucky SB
400
George
От конфигурации сильно зависит, кмк
Stanislav
ну миникуб не показатель. я ж не знаю во что упирается. мб в цпу на мастерах из-за шедулера, а мб и правада докер
Lucky SB
sandbox+app
Serhii
Пока не попробуешь - не узнаешь
Stanislav
Тогда в окружении таком же как и прод
такое же окружения, что бы выдержать 200 подов не бесплатно же 🙂
Stanislav
да, буду пробовать. думал вдруг есть уже инфа об этом подробная
Vadim
в 1.16 у нас 250 стандартно и тестилось до 500, крио держит
Serhii
Не обязательно юзать тяжелые контейнеры
Serhii
Можно тачку по-слабее
V 🏴‍☠️
Но то cri-o
George
Ну, вообще по-чесноку - 100 подов - эквивалент от 100 до 300 контейнеров
V 🏴‍☠️
Больше 450 упирается в сети уже
George
Но то cri-o
Во-во. И ноды, наверное, мощные, а не 2 ЦПУ 2 гига
Stanislav
Ну да, 64 ОЗУ, 8 ядер
у меня нода 32 вЦПУ и 128 оперативы