@kubernetes_ru

Страница 523 из 958
 
kvaps
18.04.2018
10:02:37
Я бы поднял какой-нибудь под с убунтой
как показала практика alpine вполне достаточно :)

 
Andor
18.04.2018
10:02:41
Прикольно вам с л2

 
И чо, все ноды в одном большом л2?

 
kvaps
18.04.2018
10:03:17
ага

Google
 
kvaps
18.04.2018
10:03:33
в двух) один под фс, один под все остальное

 
Valentin
18.04.2018
10:03:36
Я ему отдавал nodeport и регистрация проходила. После этого создаю под с раннером . Пробовал регистратору отдать ложный url и он написал что не может сделать сделать конект и ушел в error
а реальному поду с раннером отдаёшь nodeport?

 
Let Eat
18.04.2018
10:04:19
а в чем "by design" часть? "дать подержать" поду секрет, который он не может читать?
В том что RBAC оно только про API calls, а маунт секрета в под идет по-другому. Вобщем они согласны что надо это решать, но это не баг. issue 4957 для любопытных

 
Коллеги, тут у меня возник конфликт интересов с нашим тимлидом программистов, запустил, значит на кластере его приложение, и один из компонентов этого приложения крутится по 1 экземпляру на всех нодах. Так вот, я хз что оно там внутри делает, но ему нужно много памяти, причём желательно всей, что есть на нодах. Допустим условно есть 10 нод по 8 гигов. Он в курсе конфигурации, так вот - он их использует из расчёта, что все 8 гигов доступны его приложению. И периодически из-за OOM вылетают другие поды на этих нодах, или поды самого этого компонента. Но его поды очень даже стейтфул, так что им вылетать не нужно. Он предлагает включить своп на нодах, Сам кубелет по-умолчанию не любит свап и не запускается без спец опции
Вы явно запускаете без requests и limits, безотносительно того, можно ли приложению жрать всю память ноды или нет, потребление ресурсов должно быть учтено и ограничено ради всеобщего счастья

 
посоветуйте, плз, качественное чтиво по nginx ingress
Дока у него неплохая для опенсорсного проекта без владельца

 
Alexey
18.04.2018
10:09:11
Вы явно запускаете без requests и limits, безотносительно того, можно ли приложению жрать всю память ноды или нет, потребление ресурсов должно быть учтено и ограничено ради всеобщего счастья
нет, с реквестами, но без лимита для этого приложения... лимит же будет его убивать просто как OOM,

 
Vadim
18.04.2018
10:10:21
В том что RBAC оно только про API calls, а маунт секрета в под идет по-другому. Вобщем они согласны что надо это решать, но это не баг. issue 4957 для любопытных
> We talked about having a default role slightly below "Edit" that was "EditWithSecrets" that allowed you to read secrets but not write them, or a "ViewSecrets" that was "View" with the added ability to see secrets. ну это makes sense, хотя видимо все закончилось на "засуньте их по разным нейспейсам"

 
Let Eat
18.04.2018
10:10:37
нет, с реквестами, но без лимита для этого приложения... лимит же будет его убивать просто как OOM,
Для памяти надо ставитт requests == limits, т.к. память не резиновая , в отличии от процессора

 
Alexander
18.04.2018
10:10:57
Дока у него неплохая для опенсорсного проекта без владельца
возможно посоветуете какой лучше ingress использовать?

 
Alexey
18.04.2018
10:13:32
Для памяти надо ставитт requests == limits, т.к. память не резиновая , в отличии от процессора
ну и? суть вопроса в том, что человеку хочется всю свободную память, что есть на ноде. У него нет внутреннего софтового лимита. Если я поставлю определённое количество - приложение по достижению этого числа будет тупо дропаться.

 
Valentin
18.04.2018
10:15:50
ну и? суть вопроса в том, что человеку хочется всю свободную память, что есть на ноде. У него нет внутреннего софтового лимита. Если я поставлю определённое количество - приложение по достижению этого числа будет тупо дропаться.
а он какого языка прогромист?

 
Alexey
18.04.2018
10:16:18
нода_жс с тайпскриптом

 
Let Eat
18.04.2018
10:16:42
ну и? суть вопроса в том, что человеку хочется всю свободную память, что есть на ноде. У него нет внутреннего софтового лимита. Если я поставлю определённое количество - приложение по достижению этого числа будет тупо дропаться.
Лимит есть всегда. Размер физ памяти или cgroup memory limit разницы нет - по превышении смерть

Google
 
Alexey
18.04.2018
10:17:30
блин, я не личность его обсуждать, а спросить за свап, мол может я ошибался и он не так страшен.

 
Valentin
18.04.2018
10:19:16
и тут хотелось бы опять разогреть свапосрач, но не буду

 
а можно ведь подам урезать доступ к диску?

 
т.е. оставить ему какую-то часть проца, квоту доступа к дискам и пусть сидит со 100% утилизацией, наслаждается бесконечной памятью

 
Alexey
18.04.2018
10:21:40
возможно посоветуете какой лучше ingress использовать?
я ха-прокси использую, каких-то проблем не видел.

 
Valentin
18.04.2018
10:22:45
либо отдельный диск выделить, пусть свапает на него

 
Alexander
18.04.2018
10:23:13
я ха-прокси использую, каких-то проблем не видел.
ну вот тут хотелось бы спросить как ha чувствует себя при деплои helm чартами используете ли ha при такой конструкции?

 
Anton
18.04.2018
10:26:45
кто-то создавал k8s кластер в ibm cloud? после этого по ssh на ноды вообще реально попасть, или можно даже не пытаться?

 
Banschikov
18.04.2018
10:26:54
а реальному поду с раннером отдаёшь nodeport?
Нет. Вроде завелось)

 
Alexey
18.04.2018
10:29:18
эм, если честно, я никак не пойму смысла в хелме... чтоб какой-то сервис по заданным темплейтам строил конфиги и их деплоил... А так, проблем каких-то возникнуть не должно - HA и Nginx вроде ingress конфиги совместимы, может быть только немного разный набор аннотаций у них.

 
Alexander
18.04.2018
10:39:23
эм, если честно, я никак не пойму смысла в хелме... чтоб какой-то сервис по заданным темплейтам строил конфиги и их деплоил... А так, проблем каких-то возникнуть не должно - HA и Nginx вроде ingress конфиги совместимы, может быть только немного разный набор аннотаций у них.
в этом деле я пока новичек и стараюсь строить все по , вроде как, рабочим практикам. Возможно, после того как заведу все это дело, мое мнение по компонентам изменится

 
Sergey
18.04.2018
10:46:24
эм, если честно, я никак не пойму смысла в хелме... чтоб какой-то сервис по заданным темплейтам строил конфиги и их деплоил... А так, проблем каких-то возникнуть не должно - HA и Nginx вроде ingress конфиги совместимы, может быть только немного разный набор аннотаций у них.
а какой смысл вам требуется? берете проект, описываете его в чарты с темплейтами задеплоили, что то изменилось, версия чарта поменялась, потом можно rollaback-и делать, ляпота же

 
Alexey
18.04.2018
10:48:45
всё тоже самое делается и с kubectl

 
Sergey
18.04.2018
10:51:04
а версионирование есть там? я не помню =_=

 
да, можно kubectl папочку кинуть он все выполнит

 
просто вопрос выглядит как "зачем нам kubernetes мы будем через ansible в LXC проекты деплоить"

 
Banschikov
18.04.2018
10:53:49
просто вопрос выглядит как "зачем нам kubernetes мы будем через ansible в LXC проекты деплоить"
а че так кто то делает?

 
Sergey
18.04.2018
10:54:41
:)

 
Andor
18.04.2018
10:56:27
просто вопрос выглядит как "зачем нам kubernetes мы будем через ansible в LXC проекты деплоить"
вообще нет, хельм при наличии кубера даёт вообще не очень ясно что

 
а без кубера хельм вообще не нужен, но это очевидно

Google
 
Михаил
18.04.2018
10:58:11
а без кубера хельм вообще не нужен, но это очевидно
смело

 
Valentin
18.04.2018
10:58:18
переменные и values.yaml даёт с перегрузкой

 
Andor
18.04.2018
10:59:00
для меня, как чувака с опытом puppet'а это выглядит как "hiera для бедных"

 
Valentin
18.04.2018
11:00:01
не нужно всё в одном файлике расписывать, можно раскидать по файлам и деплоить “папку”

 
ну и откатывать по нейму тоже сильно удобнее, чем разбирать по кускам

 
Andor
18.04.2018
11:01:21
мне вообще кажется что лучше всего и удобнее - писать CRD и юзать исплючительно их для внутренних штук

 
Valentin
18.04.2018
11:01:31
да и гитлаб какой-нибудь задеплоить, чтобы просто пощупать, проще с готового чарта

 
Andor
18.04.2018
11:01:45
а если надо что-то готовое деплоить - использовать то что использует девелопер этой штуки

 
Banschikov
18.04.2018
11:48:25
Сейчас kubespray кластер расширяю. И вот выдает такую ошибку

 
You can relax this check by set docker_dns_servers_strict=no and we will only use the first 3.

 
ansible-playbook -i my_inventory/sample/hosts.ini scale.yml

 
я разобрался как эту ошибку устранить, но не совсем понимаю что она значит

 
сеть calico

 
Sergey
18.04.2018
11:54:22
я разобрался как эту ошибку устранить, но не совсем понимаю что она значит
обычно одно без другого не идет:)

 
Banschikov
18.04.2018
11:54:48
обычно одно без другого не идет:)
Идет) https://www.wanglibing.com/kubernetes/book/%E5%B8%B8%E8%A7%81%E9%97%AE%E9%A2%98/Too%20many%20nameservers.html

 
Sergey
18.04.2018
11:55:10
я и говорю "обычно":)

 
Vadim
18.04.2018
11:55:42
старые glibc могут работать только с 3мя неймсерверами, пропуская остальные

 
вот оно тебя и спрашивает использовать ли только первые 3

 
Banschikov
18.04.2018
11:57:12
старые glibc могут работать только с 3мя неймсерверами, пропуская остальные
сервера имен имеются в виду внешние?

 
вот оно тебя и спрашивает использовать ли только первые 3
спасибо

Google
 
Anton
18.04.2018
12:52:17
я, наверное, уже спрашивал, попробую еще разок. Кому-то удавалось вывесить наружу сервис, который и UDP и TCP (на одном и том же порту) и чтобы HA? Проблема в том, что нельзя создать LoadBalancer на оба протокола.

 
Valentin
18.04.2018
12:53:03
я, наверное, уже спрашивал, попробую еще разок. Кому-то удавалось вывесить наружу сервис, который и UDP и TCP (на одном и том же порту) и чтобы HA? Проблема в том, что нельзя создать LoadBalancer на оба протокола.
т.е. не заработало? -)

 
Sergey
18.04.2018
12:53:56
если нельзя значит нельзя в чем вопрос

 
Anton
18.04.2018
12:54:22
т.е. не заработало? -)
что именно? NodePort или ClusterIP TCP/UDP нормально работает, но это внутри кластера, теперь нужно вывесить это наружу

 
если нельзя значит нельзя в чем вопрос
вопрос в том, какие могут быть варианты кроме LoadBalancer

 
Sergey
18.04.2018
12:57:40
а почему конкретно HA, NGINX как я читаю может UDP+TCP

 
Anton
18.04.2018
13:03:22
под HA я имею ввиду HA в целом, а не HA-Proxy конкретно

 
я не совсем понимаю как nginx'ом заменить облачный loadbalancer. То есть примерно понятно, как это один раз настроить вручную для одного сервиса, но можно ли делать expose service type=LoadBalancer, чтобы балансер создавался на базе nginx?

 
Sergey
18.04.2018
13:07:38
могу ошибаться но стоит смотреть в сторону helm и шаблонизировать NGINX LB если я вас правильно понял

 
Andor
18.04.2018
13:27:09
Металлб должен быть ок, но он альфа

 
Vlad
18.04.2018
14:42:33
У меня тут гитлаб и хочу внутри кластера запустить раннер. Только вот не знаю как этот раннер сконектить с гитлабом
Нужно использовать helm chart: https://gitlab.com/charts/charts.gitlab.io/tree/master/charts/gitlab-runner

 
Banschikov
18.04.2018
14:43:37
Нужно использовать helm chart: https://gitlab.com/charts/charts.gitlab.io/tree/master/charts/gitlab-runner
Я знаю про хелм чарт. Но мне нужно руками для начала попробовать. Задание такое)

 
Vlad
18.04.2018
14:45:53
Чарт всего-лишь генерит шаблон и следит за состоянием того что он создает. Можно руками отрендерить шаблон того что нужно создать. https://gitlab.com/charts/charts.gitlab.io/blob/master/charts/gitlab-runner/templates/deployment.yaml

 
Mikhail
18.04.2018
16:47:30
Кто-нибудь использует federated cluster? Если у меня приложение должно переехать в другой DC при падении одного из ДЦ, оно это сделает?

 
Andor
18.04.2018
16:54:03
Интересно как оно будет детектить отвал дц и чо будет делать после возвращения

 
Mikhail
18.04.2018
16:56:15
я хз, я же не в гугле работаю!

 
Alexey
18.04.2018
17:04:53
Интересно как оно будет детектить отвал дц и чо будет делать после возвращения
а по моему он никак не детектит ничей отвал. Это просто 2 кластера, которые видят простанства имён друг-друга и возможно имеют сетевое взаимодействие

 
ну один под не переедет на другой кластер - 100% Фередрэйшн это только о взаимодействии

 
Sergey
18.04.2018
17:10:11
а причем тут федерейшн, ты просто делаешь мультимастер кластер и все пока etcd живой у тебя все норм

 
Vitaliy
18.04.2018
17:15:40
товарищи, ни у кого небыло проблемы что докер завистает так, что даже docker ps не отвечает (возможно никогда). в логах ничего особого нет, k8s == 1.7.15

Google
 
Lex
18.04.2018
17:19:47
товарищи, ни у кого небыло проблемы что докер завистает так, что даже docker ps не отвечает (возможно никогда). в логах ничего особого нет, k8s == 1.7.15
демон докера жив/завис?

 
Vitaliy
18.04.2018
17:20:37
поды/контейнеры крутятся, ничего сделать не могу, докер не отвечает. по сети приложения отвечают. пока

 
Valentin
18.04.2018
17:29:27
ну, пока...

 
:) простите, не выдержал

 
Vitaliy
18.04.2018
17:33:26
да, смешно.

 
Valentin
18.04.2018
17:36:33
зайти в консоль пода можешь?

 
Let Eat
18.04.2018
17:38:42
товарищи, ни у кого небыло проблемы что докер завистает так, что даже docker ps не отвечает (возможно никогда). в логах ничего особого нет, k8s == 1.7.15
В dmesg нет ничего? Докер процесс распух?

 
Vitaliy
18.04.2018
17:39:17
в dmesg ничего подозрительно не заметил, ничего про ожидание освобождения eth0 и тп

 
про распухший докер не понял, не обратил внимание, ноду ребутнул. помогло, н оне решение же

 
Lex
18.04.2018
17:45:45
поды/контейнеры крутятся, ничего сделать не могу, докер не отвечает. по сети приложения отвечают. пока
начало пдохого конца, да )

 
Let Eat
18.04.2018
17:47:56
Вобщем гошечка не умела vfork , а без него если памяти на ноде мало, то форк не работал без кручения vm.overcommit_memory в сторону "разрешать всегда" (кажется =2), докеру для ps (и вообще почти любых команд) нужно форкаться, т.к. гошечка не умеет горутины к тредам прибивать, в итоге минус на минус дают жопу с зависшим докером. Но может у вас и не это было :)

 
Vitaliy
18.04.2018
17:56:24
хм... спасибо, попробуем

Страница 523 из 958