Я бы поднял какой-нибудь под с убунтой
как показала практика alpine вполне достаточно :)
𝚔𝚟𝚊𝚙𝚜
Andor
Прикольно вам с л2
Andor
И чо, все ноды в одном большом л2?
𝚔𝚟𝚊𝚙𝚜
ага
𝚔𝚟𝚊𝚙𝚜
в двух) один под фс, один под все остальное
Anonymous
G72K
а в чем "by design" часть? "дать подержать" поду секрет, который он не может читать?
В том что RBAC оно только про API calls, а маунт секрета в под идет по-другому. Вобщем они согласны что надо это решать, но это не баг. issue 4957 для любопытных
G72K
Коллеги, тут у меня возник конфликт интересов с нашим тимлидом программистов,
запустил, значит на кластере его приложение, и один из компонентов этого приложения крутится по 1 экземпляру на всех нодах.
Так вот, я хз что оно там внутри делает, но ему нужно много памяти, причём желательно всей, что есть на нодах.
Допустим условно есть 10 нод по 8 гигов. Он в курсе конфигурации, так вот - он их использует из расчёта, что все 8 гигов доступны его приложению. И периодически из-за OOM вылетают другие поды на этих нодах, или поды самого этого компонента. Но его поды очень даже стейтфул, так что им вылетать не нужно.
Он предлагает включить своп на нодах,
Сам кубелет по-умолчанию не любит свап и не запускается без спец опции
Вы явно запускаете без requests и limits, безотносительно того, можно ли приложению жрать всю память ноды или нет, потребление ресурсов должно быть учтено и ограничено ради всеобщего счастья
G72K
посоветуйте, плз, качественное чтиво по nginx ingress
Дока у него неплохая для опенсорсного проекта без владельца
Alexey
Вы явно запускаете без requests и limits, безотносительно того, можно ли приложению жрать всю память ноды или нет, потребление ресурсов должно быть учтено и ограничено ради всеобщего счастья
нет, с реквестами, но без лимита для этого приложения... лимит же будет его убивать просто как OOM,
Vadim
В том что RBAC оно только про API calls, а маунт секрета в под идет по-другому. Вобщем они согласны что надо это решать, но это не баг. issue 4957 для любопытных
> We talked about having a default role slightly below "Edit" that was "EditWithSecrets" that allowed you to read secrets but not write them, or a "ViewSecrets" that was "View" with the added ability to see secrets.
ну это makes sense, хотя видимо все закончилось на "засуньте их по разным нейспейсам"
G72K
нет, с реквестами, но без лимита для этого приложения... лимит же будет его убивать просто как OOM,
Для памяти надо ставитт requests == limits, т.к. память не резиновая , в отличии от процессора
Alexander
Дока у него неплохая для опенсорсного проекта без владельца
возможно посоветуете какой лучше ingress использовать?
Alexey
Для памяти надо ставитт requests == limits, т.к. память не резиновая , в отличии от процессора
ну и? суть вопроса в том, что человеку хочется всю свободную память, что есть на ноде. У него нет внутреннего софтового лимита. Если я поставлю определённое количество - приложение по достижению этого числа будет тупо дропаться.
Anonymous
Alexey
нода_жс с тайпскриптом
G72K
ну и? суть вопроса в том, что человеку хочется всю свободную память, что есть на ноде. У него нет внутреннего софтового лимита. Если я поставлю определённое количество - приложение по достижению этого числа будет тупо дропаться.
Лимит есть всегда. Размер физ памяти или cgroup memory limit разницы нет - по превышении смерть
Alexey
блин, я не личность его обсуждать, а спросить за свап, мол может я ошибался и он не так страшен.
Anonymous
и тут хотелось бы опять разогреть свапосрач, но не буду
Anonymous
а можно ведь подам урезать доступ к диску?
Anonymous
т.е. оставить ему какую-то часть проца, квоту доступа к дискам и пусть сидит со 100% утилизацией, наслаждается бесконечной памятью
Alexey
возможно посоветуете какой лучше ingress использовать?
я ха-прокси использую, каких-то проблем не видел.
Anonymous
либо отдельный диск выделить, пусть свапает на него
Alexander
я ха-прокси использую, каких-то проблем не видел.
ну вот тут хотелось бы спросить как ha чувствует себя при деплои helm чартами
используете ли ha при такой конструкции?
Anton
кто-то создавал k8s кластер в ibm cloud? после этого по ssh на ноды вообще реально попасть, или можно даже не пытаться?
Alexey
эм, если честно, я никак не пойму смысла в хелме... чтоб какой-то сервис по заданным темплейтам строил конфиги и их деплоил...
А так, проблем каких-то возникнуть не должно - HA и Nginx вроде ingress конфиги совместимы, может быть только немного разный набор аннотаций у них.
Alexander
эм, если честно, я никак не пойму смысла в хелме... чтоб какой-то сервис по заданным темплейтам строил конфиги и их деплоил...
А так, проблем каких-то возникнуть не должно - HA и Nginx вроде ingress конфиги совместимы, может быть только немного разный набор аннотаций у них.
в этом деле я пока новичек и стараюсь строить все по , вроде как, рабочим практикам. Возможно, после того как заведу все это дело, мое мнение по компонентам изменится
Sergey
эм, если честно, я никак не пойму смысла в хелме... чтоб какой-то сервис по заданным темплейтам строил конфиги и их деплоил...
А так, проблем каких-то возникнуть не должно - HA и Nginx вроде ingress конфиги совместимы, может быть только немного разный набор аннотаций у них.
а какой смысл вам требуется?
берете проект, описываете его в чарты с темплейтами
задеплоили, что то изменилось, версия чарта поменялась, потом можно rollaback-и делать, ляпота же
Alexey
всё тоже самое делается и с kubectl
Sergey
а версионирование есть там? я не помню =_=
Sergey
да, можно kubectl папочку кинуть он все выполнит
Sergey
просто вопрос выглядит как "зачем нам kubernetes мы будем через ansible в LXC проекты деплоить"
Denis
Sergey
:)
Andor
просто вопрос выглядит как "зачем нам kubernetes мы будем через ansible в LXC проекты деплоить"
вообще нет, хельм при наличии кубера даёт вообще не очень ясно что
Andor
а без кубера хельм вообще не нужен, но это очевидно
Михаил
Anonymous
переменные и values.yaml даёт с перегрузкой
Andor
для меня, как чувака с опытом puppet'а это выглядит как "hiera для бедных"
Anonymous
не нужно всё в одном файлике расписывать, можно раскидать по файлам и деплоить “папку”
Anonymous
ну и откатывать по нейму тоже сильно удобнее, чем разбирать по кускам
Andor
мне вообще кажется что лучше всего и удобнее - писать CRD и юзать исплючительно их для внутренних штук
Anonymous
да и гитлаб какой-нибудь задеплоить, чтобы просто пощупать, проще с готового чарта
Andor
а если надо что-то готовое деплоить - использовать то что использует девелопер этой штуки
Denis
Сейчас kubespray кластер расширяю. И вот выдает такую ошибку
Denis
You can relax this check by set docker_dns_servers_strict=no and we will only use the first 3.
Denis
ansible-playbook -i my_inventory/sample/hosts.ini scale.yml
Denis
я разобрался как эту ошибку устранить, но не совсем понимаю что она значит
Denis
сеть calico
Sergey
я разобрался как эту ошибку устранить, но не совсем понимаю что она значит
обычно одно без другого не идет:)
Denis
обычно одно без другого не идет:)
Идет)
https://www.wanglibing.com/kubernetes/book/%E5%B8%B8%E8%A7%81%E9%97%AE%E9%A2%98/Too%20many%20nameservers.html
Sergey
я и говорю "обычно":)
Vadim
старые glibc могут работать только с 3мя неймсерверами, пропуская остальные
Vadim
вот оно тебя и спрашивает использовать ли только первые 3
Denis
старые glibc могут работать только с 3мя неймсерверами, пропуская остальные
сервера имен имеются в виду внешние?
Anton
я, наверное, уже спрашивал, попробую еще разок. Кому-то удавалось вывесить наружу сервис, который и UDP и TCP (на одном и том же порту) и чтобы HA? Проблема в том, что нельзя создать LoadBalancer на оба протокола.
Anonymous
Sergey
если нельзя значит нельзя
в чем вопрос
Anton
т.е. не заработало? -)
что именно? NodePort или ClusterIP TCP/UDP нормально работает, но это внутри кластера, теперь нужно вывесить это наружу
Anton
если нельзя значит нельзя
в чем вопрос
вопрос в том, какие могут быть варианты кроме LoadBalancer
Sergey
а почему конкретно HA, NGINX как я читаю может UDP+TCP
Anton
под HA я имею ввиду HA в целом, а не HA-Proxy конкретно
Anton
я не совсем понимаю как nginx'ом заменить облачный loadbalancer. То есть примерно понятно, как это один раз настроить вручную для одного сервиса, но можно ли делать expose service type=LoadBalancer, чтобы балансер создавался на базе nginx?
Sergey
могу ошибаться но стоит смотреть в сторону helm и шаблонизировать NGINX LB если я вас правильно понял
Andor
Металлб должен быть ок, но он альфа
Vlad
У меня тут гитлаб и хочу внутри кластера запустить раннер. Только вот не знаю как этот раннер сконектить с гитлабом
Нужно использовать helm chart: https://gitlab.com/charts/charts.gitlab.io/tree/master/charts/gitlab-runner
Denis
Нужно использовать helm chart: https://gitlab.com/charts/charts.gitlab.io/tree/master/charts/gitlab-runner
Я знаю про хелм чарт. Но мне нужно руками для начала попробовать. Задание такое)
Vlad
Чарт всего-лишь генерит шаблон и следит за состоянием того что он создает. Можно руками отрендерить шаблон того что нужно создать.
https://gitlab.com/charts/charts.gitlab.io/blob/master/charts/gitlab-runner/templates/deployment.yaml
Mikhail [azalio]
Кто-нибудь использует federated cluster? Если у меня приложение должно переехать в другой DC при падении одного из ДЦ, оно это сделает?
Andor
Интересно как оно будет детектить отвал дц и чо будет делать после возвращения
Mikhail [azalio]
я хз, я же не в гугле работаю!
Alexey
Интересно как оно будет детектить отвал дц и чо будет делать после возвращения
а по моему он никак не детектит ничей отвал.
Это просто 2 кластера, которые видят простанства имён друг-друга и возможно имеют сетевое взаимодействие
Alexey
ну один под не переедет на другой кластер - 100%
Фередрэйшн это только о взаимодействии
Sergey
а причем тут федерейшн, ты просто делаешь мультимастер кластер и все
пока etcd живой у тебя все норм
Vitaliy
товарищи, ни у кого небыло проблемы что докер завистает так, что даже docker ps не отвечает (возможно никогда). в логах ничего особого нет, k8s == 1.7.15
Lex
Vitaliy
поды/контейнеры крутятся, ничего сделать не могу, докер не отвечает. по сети приложения отвечают. пока
Anonymous
ну, пока...