@kubernetes_ru

Страница 496 из 958
Let Eat
28.03.2018
08:05:04
что же вы от него еще хотите?
Я там описал чего хочу ) хочу чтоб на базе rescheduler запускалась симуляция "а что будет если" и находилось максимальное количество нод (и их список) которые можно вот прям сейчас зааапдейтить.

Andrey
28.03.2018
08:06:32
смена доменного имени помогла (на тех нодах, где резолвинг вообще работал)

благодарю

Ihor
28.03.2018
08:06:42
а напомните, как скедулер работает в последних 1.8.х 1.9.х - скедулит на lesser loaded ноды или на most loaded?

Google
Andrey
28.03.2018
08:06:56
Ihor
28.03.2018
08:07:43
я же так понимаю, вы хотите, чтобы апдейтились наименее нагруженные ноды. не очень давно скедуллер как раз пытался раскидать равномерно загрузку и это вообще было невозможно сделать. вроде как они это поменяли

Denis
28.03.2018
08:26:02
Народ кто нить Rancher юзает с K8S , как он , стоит пробовать ?

terry
28.03.2018
08:29:14
нет?

Vladislav
28.03.2018
08:29:35
Anton
28.03.2018
10:11:04
вакансии же нельзя здесь постить, да?

Anton
28.03.2018
10:11:22
Инфу о группе смотреть пробовал?

Anton
28.03.2018
10:12:58
конечно, там не написано, что нельзя, просто дана ссылка где инфа про работу

баш скриптом слепливаю
то есть всё вручную? можно делать: KUBECONFIG=config-file1:config-file2:...:config-fileN kubeconfig config view --flatten > configно есть один минус: если сертификат был указан как путь к файлу, то теперь он будет вставлен текстом.

Google
Игорь
28.03.2018
11:50:48
Всем привет. У меня вопрос касательно архитектуры. Планируется на кубере организовать хостинг. Каждый проект из хостинга может потреблять неограниченное кол-во дискового пространства. Что лучше использовать в таком случае для стораджа? Сейчас смотрю в сторону проекта gluster-kubernetes с heketi. Основная проблема в том, что внутри проекта не используется lvm thin provision. Т.е. отрезатся реальный объем доступного пространства, хотя по факту его могут использовать всего на 10%. Поэтому не очень подходит. Может уже кто-то что-то подобное организовал? Есть идеи?

Andor
28.03.2018
12:10:49
а как бы вы делали "неограниченное дисковое пространство" без кубернетиса?

Михаил
28.03.2018
12:11:27
о, школоло хостинг выходит на новый уровень?)

66271
28.03.2018
12:13:05
heketi... хостинг...

У меня болит k8s, поэтому скажу на примере k8s. Для человека должно быть не проблемой: 1) Переписать роли в kube-spray так, чтобы сеть (например calico) интегрировалась с IP фабрикой датацентра по произвольным схемам (ASperRack, ASperNoder) 2) Написать out-of-tree flex volume driver для какого-нибудь вендорского SDS 3) Форкнуть metallb и докрутить 3rd party контроллером пропихивание кастомных конфигов в произвольный bgp speaker 4) Набросать схему деплоймента в паблик кладуе, чтобы availability было например 4 девятки для заданного набора микросервисов

советую вот эти упражнения сначала выполнить) потом думать про "организовать хостинг"

bebebe
28.03.2018
12:20:03
публичный хостиг + хекети / 0

Andrey
28.03.2018
12:20:40
разрешил внутри подсети весь трафик и calico на всех нодах заработал нормально. до этого я разрешил IPIP, IPv4, UDP, TCP. Какого еще ему не хватало?

66271
28.03.2018
12:21:46
BGP

Andrey
28.03.2018
12:23:18
BGP
так он же поверх IP работает, не?

Andrey
28.03.2018
12:23:45
TCP даже, если верить википедии

66271
28.03.2018
12:24:01
ну на azure BGP запрещен, хотя TCP разрешен

зачем ты вообще UDP / TCP открываешь если IPv4 уже открыто))

Andrey
28.03.2018
12:24:40
я про aws и bgp в списке нет, хотя некоторые пункты - это просто номера без названия протокола

Anton
28.03.2018
12:24:41
66271
28.03.2018
12:25:41
А зачем переписывать kube-spray если проще написать свой плейбук?
что бы вернуть в коммунити, а то все как дебилы пишут сами, куча работы повторяется :(

Михаил
28.03.2018
12:26:01
что бы вернуть в коммунити, а то все как дебилы пишут сами, куча работы повторяется :(
у меня есть ощущение по этому чату, что сами пишут меньшинство всё же

Google
66271
28.03.2018
12:26:07
там не переписывать, там дописывать)

Михаил
28.03.2018
12:26:20
и зачастую если у вас кастомная инфра, то не факт что оно надо будет в комьюнити

66271
28.03.2018
12:27:26
я знаю что друг одного парня написал под свой сетап башскрипт который пиринги после kubespray переделывает ))

Stas
28.03.2018
12:29:04
и зачастую если у вас кастомная инфра, то не факт что оно надо будет в комьюнити
У calico прям в доках написано, что если вы заимплемнтите другие топологии с RR, то напишите нам пожалуйста - нам интересно обсудить

66271
28.03.2018
12:29:07
ну он так прототипирует) а потом у него прототип отбирают и пихают в прод)

Михаил
28.03.2018
12:30:57
У calico прям в доках написано, что если вы заимплемнтите другие топологии с RR, то напишите нам пожалуйста - нам интересно обсудить
ну с точки зрения сообщества это правильно. если бизнес готов к такому подходу, то чего бы и нет

66271
28.03.2018
12:32:21
к стати у кого-нибудь руки дошли до - https://github.com/projectcalico/app-policy ?

Stas
28.03.2018
12:34:45
ну с точки зрения сообщества это правильно. если бизнес готов к такому подходу, то чего бы и нет
В рамках задачи на собесе - это проверяет майндсет просто: я не хочу нанимать людей, которые будут на каждый чих писать пачку питон скриптов, потому что им лень делать RnD на предмет того, что в мире уже сделано

Михаил
28.03.2018
12:44:50
В рамках задачи на собесе - это проверяет майндсет просто: я не хочу нанимать людей, которые будут на каждый чих писать пачку питон скриптов, потому что им лень делать RnD на предмет того, что в мире уже сделано
Спорно. Прекрасно когда "уже сделанное" отлично работает. Но в моей реальности это не всегда. Поэтому нужно уметь оценивать входимость "уже сделанного" в конкретную инфраструктуру.

Stas
28.03.2018
12:48:28
Спорно. Прекрасно когда "уже сделанное" отлично работает. Но в моей реальности это не всегда. Поэтому нужно уметь оценивать входимость "уже сделанного" в конкретную инфраструктуру.
»нужно уметь оценивать входимость« - ключевой момент. Просто умопомрачительное количество людей начинают писать костыли без предварительного анализа.

Михаил
28.03.2018
12:49:51
»нужно уметь оценивать входимость« - ключевой момент. Просто умопомрачительное количество людей начинают писать костыли без предварительного анализа.
Такое же умопомрачитальное количество людей нажимают условное "далее далее" в kube-spray и полуают некий blackbox и ад в эксплуатации)

No1
28.03.2018
12:51:58
Чат боли))))

Stas
28.03.2018
12:52:45
Чат боли))))
И это мы пока еще не обсудили митапы и панельные дискуссии по кубу локальные

bebebe
28.03.2018
12:52:48
devops_ru плавненько перетекает сюда, скоро будем заббикс вкорячивать в k8s

66271
28.03.2018
12:52:58
а некоторые клонят офф репы, и из них образа с hyperkube сами себе собирают, и черепикают себе комиты под свои нужды ;)

Михаил
28.03.2018
12:53:14
Stas
28.03.2018
12:53:53
А чего обсуждать митапы? На них надо обсуждать)
меня уже ночью разбуди - я вспомню сколько нод у Avito

Михаил
28.03.2018
12:54:00
Google
bebebe
28.03.2018
12:54:15
зачем вы мне это объясняете?

Михаил
28.03.2018
12:54:30
зачем вы мне это объясняете?
я не объясняю - я удивляюсь тому, что вы удивляетесь)

bebebe
28.03.2018
12:55:00
смелые выводы, ну да ладно

Михаил
28.03.2018
12:55:25
меня уже ночью разбуди - я вспомню сколько нод у Avito
Про то, что одно и то же? Ну вот у меня в заготовке лежит доклад о некотрой боли с этими "сетаперами" - вроде более свежая тема, но пока с организацией митапа проблемы.

Let Eat
28.03.2018
13:06:48
осталось понять, откуда им было взяться в coreos
systemd-resolver умеет mDNS, может включено по умолчанию и конфликтует как-то? (не должно бы, но вдруг)

Andrey
28.03.2018
13:07:24
я уже проверил, не включено

впрочем, я думаю, это все было из-за кривой настройки VPC на AWS

Denis
28.03.2018
13:15:39
Можете подсказать, есть pod с java, отваливается по timeout java.net.ConnectException: Connection timed out (Connection timed out) куб в связке с flannel, по всей видимости pod не может достучаться до внешнего ресурса.. как можно решить проблему?

No1
28.03.2018
13:28:39
timed out - там что то слушает, но кажется закрыто фаерволлом

или под нагрузкой

Denis
28.03.2018
14:01:48
фаервол возможно, можно ли через фланнел полный доступ открыть поду? нагрузки нету, под стартанул выполняется скрипт, команда из скрипта java -jar /opt/forgerock/openam/configurator/openam-configurator-tool-13.0.0.jar --file /etc/openam/conf/OpenAM-Base.conf отваливается с ошибкой java.net.ConnectException: Connection timed out (Connection timed out)

Алексей
28.03.2018
14:37:35
Кто может подсказать, поднял прометей в кубернете. Метрики собирает в виде kube_pod_container_* По идее должен собирать метрики типа container_*, но их нет. Подскажите куда копнуть нужно

Andor
28.03.2018
14:39:09
В сторону метрик из cadvisor

kube_.* - метрики из kube-state-metrics

Алексей
28.03.2018
14:40:12
Понял, спасибо

Andor
28.03.2018
14:41:01
cadvisor ставить отдельно не надо, он в кубелетах есть, в новых версиях кубера надо его отпроксировать через кубепрокси

Но вообще рекомендую посмотреть на prometheus-operator от coreos

Там уже всё сделано

Алексей
28.03.2018
14:41:28
Я вот его и поднял

Google
Andor
28.03.2018
14:41:34
Хм

Тогда посмотреть на их доки

Я сам пока до него не добрался, но думал, что там всё уже сделано

Алексей
28.03.2018
14:43:09
ок, понял, спасибо

Я сам пока до него не добрался, но думал, что там всё уже сделано
https://github.com/coreos/prometheus-operator/issues/633 I've dug into the actual kubelet configuration and you're right: the default kubeadm configuration disables the cAdvisor port (with the --cadvisor-port=0 flag). Порт cadvisor отключён по умолчанию.

Andor
28.03.2018
14:47:11
Он не слушается, но через кубепрокси доступен (вроде)

Не помню честно говоря

Anton
28.03.2018
14:49:18
это правильно что --cadvisor-port=0

оно всеравно доступно

Алексей
28.03.2018
14:50:00
да, дальше тред читаю. Конфиг у меня актуальный, всё по идее должно быть доступно, но нифига.

Anton
28.03.2018
14:50:17
https://github.com/kubernetes/charts/blob/master/stable/prometheus/values.yaml#L804

Andor
28.03.2018
14:52:14
С телефона могу только послать в нужном направлении, гуглить самому неудобно

Александр
28.03.2018
15:02:53
@demeliorator кстати https://metallb.universe.tf/

Алексей
28.03.2018
15:03:57
https://github.com/kubernetes/charts/blob/master/stable/prometheus/values.yaml#L804
Да, похоже это то, что нужно. В дефолтном конфиге прометея из helm repo coreos нет этой джобы

Александр
28.03.2018
15:06:11
Чат боли))))
вся боль от того, что никто не хочет читать документацию ну и то, что все сидят на bare-metal в облаках боли на порядки меньше

Vasilyev
28.03.2018
15:21:04
в тех где нас нет

Алексей
28.03.2018
15:22:02
Завёл. Короче по умолчанию в кубелете включена только --authorization-mode=Webhook чтобы заработало нужно добавить --authentication-token-webhook=true

Страница 496 из 958