что же вы от него еще хотите?

Я там описал чего хочу ) хочу чтоб на базе rescheduler запускалась симуляция "а что будет если" и находилось максимальное количество нод (и их список) которые можно вот прям сейчас зааапдейтить.

смена доменного имени помогла (на тех нодах, где резолвинг вообще работал)

благодарю

а напомните, как скедулер работает в последних 1.8.х 1.9.х - скедулит на lesser loaded ноды или на most loaded?

так это как направление для подумать почему может возникнуть проблема с .локал

осталось понять, откуда им было взяться в coreos

я же так понимаю, вы хотите, чтобы апдейтились наименее нагруженные ноды. не очень давно скедуллер как раз пытался раскидать равномерно загрузку и это вообще было невозможно сделать. вроде как они это поменяли

» .local is effectively reserved by RFC 6762

смена доменного имени помогла (на тех нодах, где резолвинг вообще работал)

ненадолго

Народ кто нить Rancher юзает с K8S , как он , стоит пробовать ?

Народ кто нить Rancher юзает с K8S , как он , стоит пробовать ?

ну он же еще в бете вроде

нет?

ну он же еще в бете вроде

который год

Если в resolv.conf прописать адреса kube-dns подов вместо сервиса kube-dns станет лучше?

кажется, стало вообще никак

вакансии же нельзя здесь постить, да?

Инфу о группе смотреть пробовал?

конечно, там не написано, что нельзя, просто дана ссылка где инфа про работу

баш скриптом слепливаю

то есть всё вручную? можно делать: KUBECONFIG=config-file1:config-file2:...:config-fileN kubeconfig config view --flatten > configно есть один минус: если сертификат был указан как путь к файлу, то теперь он будет вставлен текстом.

Всем привет. У меня вопрос касательно архитектуры. Планируется на кубере организовать хостинг. Каждый проект из хостинга может потреблять неограниченное кол-во дискового пространства. Что лучше использовать в таком случае для стораджа? Сейчас смотрю в сторону проекта gluster-kubernetes с heketi. Основная проблема в том, что внутри проекта не используется lvm thin provision. Т.е. отрезатся реальный объем доступного пространства, хотя по факту его могут использовать всего на 10%. Поэтому не очень подходит. Может уже кто-то что-то подобное организовал? Есть идеи?

а как бы вы делали "неограниченное дисковое пространство" без кубернетиса?

о, школоло хостинг выходит на новый уровень?)

heketi... хостинг...

У меня болит k8s, поэтому скажу на примере k8s. Для человека должно быть не проблемой: 1) Переписать роли в kube-spray так, чтобы сеть (например calico) интегрировалась с IP фабрикой датацентра по произвольным схемам (ASperRack, ASperNoder) 2) Написать out-of-tree flex volume driver для какого-нибудь вендорского SDS 3) Форкнуть metallb и докрутить 3rd party контроллером пропихивание кастомных конфигов в произвольный bgp speaker 4) Набросать схему деплоймента в паблик кладуе, чтобы availability было например 4 девятки для заданного набора микросервисов

советую вот эти упражнения сначала выполнить) потом думать про "организовать хостинг"

советую вот эти упражнения сначала выполнить) потом думать про "организовать хостинг"

Да норм. Хоть поржем.

публичный хостиг + хекети / 0

разрешил внутри подсети весь трафик и calico на всех нодах заработал нормально. до этого я разрешил IPIP, IPv4, UDP, TCP. Какого еще ему не хватало?

BGP

советую вот эти упражнения сначала выполнить) потом думать про "организовать хостинг"

Рад что пригодилось)

BGP

так он же поверх IP работает, не?

У меня болит k8s, поэтому скажу на примере k8s. Для человека должно быть не проблемой: 1) Переписать роли в kube-spray так, чтобы сеть (например calico) интегрировалась с IP фабрикой датацентра по произвольным схемам (ASperRack, ASperNoder) 2) Написать out-of-tree flex volume driver для какого-нибудь вендорского SDS 3) Форкнуть metallb и докрутить 3rd party контроллером пропихивание кастомных конфигов в произвольный bgp speaker 4) Набросать схему деплоймента в паблик кладуе, чтобы availability было например 4 девятки для заданного набора микросервисов

А зачем переписывать kube-spray если проще написать свой плейбук?

TCP даже, если верить википедии

ну на azure BGP запрещен, хотя TCP разрешен

зачем ты вообще UDP / TCP открываешь если IPv4 уже открыто))

я про aws и bgp в списке нет, хотя некоторые пункты - это просто номера без названия протокола

так он же поверх IP работает, не?

Нет, поверх TCP.

А зачем переписывать kube-spray если проще написать свой плейбук?

что бы вернуть в коммунити, а то все как дебилы пишут сами, куча работы повторяется :(

что бы вернуть в коммунити, а то все как дебилы пишут сами, куча работы повторяется :(

у меня есть ощущение по этому чату, что сами пишут меньшинство всё же

там не переписывать, там дописывать)

и зачастую если у вас кастомная инфра, то не факт что оно надо будет в комьюнити

я знаю что друг одного парня написал под свой сетап башскрипт который пиринги после kubespray переделывает ))

я знаю что друг одного парня написал под свой сетап башскрипт который пиринги после kubespray переделывает ))

Одна моя подруга, да?)))

и зачастую если у вас кастомная инфра, то не факт что оно надо будет в комьюнити

У calico прям в доках написано, что если вы заимплемнтите другие топологии с RR, то напишите нам пожалуйста - нам интересно обсудить

ну он так прототипирует) а потом у него прототип отбирают и пихают в прод)

У calico прям в доках написано, что если вы заимплемнтите другие топологии с RR, то напишите нам пожалуйста - нам интересно обсудить

ну с точки зрения сообщества это правильно. если бизнес готов к такому подходу, то чего бы и нет

ну он так прототипирует) а потом у него прототип отбирают и пихают в прод)

Просто обычно бывает так)

к стати у кого-нибудь руки дошли до - https://github.com/projectcalico/app-policy ?

ну с точки зрения сообщества это правильно. если бизнес готов к такому подходу, то чего бы и нет

В рамках задачи на собесе - это проверяет майндсет просто: я не хочу нанимать людей, которые будут на каждый чих писать пачку питон скриптов, потому что им лень делать RnD на предмет того, что в мире уже сделано

В рамках задачи на собесе - это проверяет майндсет просто: я не хочу нанимать людей, которые будут на каждый чих писать пачку питон скриптов, потому что им лень делать RnD на предмет того, что в мире уже сделано

Спорно. Прекрасно когда "уже сделанное" отлично работает. Но в моей реальности это не всегда. Поэтому нужно уметь оценивать входимость "уже сделанного" в конкретную инфраструктуру.

Спорно. Прекрасно когда "уже сделанное" отлично работает. Но в моей реальности это не всегда. Поэтому нужно уметь оценивать входимость "уже сделанного" в конкретную инфраструктуру.

»нужно уметь оценивать входимость« - ключевой момент. Просто умопомрачительное количество людей начинают писать костыли без предварительного анализа.

»нужно уметь оценивать входимость« - ключевой момент. Просто умопомрачительное количество людей начинают писать костыли без предварительного анализа.

Такое же умопомрачитальное количество людей нажимают условное "далее далее" в kube-spray и полуают некий blackbox и ад в эксплуатации)

Чат боли))))

Чат боли))))

И это мы пока еще не обсудили митапы и панельные дискуссии по кубу локальные

devops_ru плавненько перетекает сюда, скоро будем заббикс вкорячивать в k8s

а некоторые клонят офф репы, и из них образа с hyperkube сами себе собирают, и черепикают себе комиты под свои нужды ;)

И это мы пока еще не обсудили митапы и панельные дискуссии по кубу локальные

А чего обсуждать митапы? На них надо обсуждать)

А чего обсуждать митапы? На них надо обсуждать)

меня уже ночью разбуди - я вспомню сколько нод у Avito

devops_ru плавненько перетекает сюда, скоро будем заббикс вкорячивать в k8s

а что вы таки хотели? куб на хайпе

зачем вы мне это объясняете?

зачем вы мне это объясняете?

я не объясняю - я удивляюсь тому, что вы удивляетесь)

смелые выводы, ну да ладно

меня уже ночью разбуди - я вспомню сколько нод у Avito

Про то, что одно и то же? Ну вот у меня в заготовке лежит доклад о некотрой боли с этими "сетаперами" - вроде более свежая тема, но пока с организацией митапа проблемы.

Про то, что одно и то же? Ну вот у меня в заготовке лежит доклад о некотрой боли с этими "сетаперами" - вроде более свежая тема, но пока с организацией митапа проблемы.

да, про одно и то же или уровень погружения какой-то такой, что даже менеджеру становится скучно

осталось понять, откуда им было взяться в coreos

systemd-resolver умеет mDNS, может включено по умолчанию и конфликтует как-то? (не должно бы, но вдруг)

я уже проверил, не включено

впрочем, я думаю, это все было из-за кривой настройки VPC на AWS

Можете подсказать, есть pod с java, отваливается по timeout java.net.ConnectException: Connection timed out (Connection timed out) куб в связке с flannel, по всей видимости pod не может достучаться до внешнего ресурса.. как можно решить проблему?

timed out - там что то слушает, но кажется закрыто фаерволлом

или под нагрузкой

фаервол возможно, можно ли через фланнел полный доступ открыть поду? нагрузки нету, под стартанул выполняется скрипт, команда из скрипта java -jar /opt/forgerock/openam/configurator/openam-configurator-tool-13.0.0.jar --file /etc/openam/conf/OpenAM-Base.conf отваливается с ошибкой java.net.ConnectException: Connection timed out (Connection timed out)

Кто может подсказать, поднял прометей в кубернете. Метрики собирает в виде kube_pod_container_* По идее должен собирать метрики типа container_*, но их нет. Подскажите куда копнуть нужно

В сторону метрик из cadvisor

kube_.* - метрики из kube-state-metrics

Понял, спасибо

cadvisor ставить отдельно не надо, он в кубелетах есть, в новых версиях кубера надо его отпроксировать через кубепрокси

Но вообще рекомендую посмотреть на prometheus-operator от coreos

Там уже всё сделано

Я вот его и поднял

Хм

Тогда посмотреть на их доки

Я сам пока до него не добрался, но думал, что там всё уже сделано

ок, понял, спасибо

Я сам пока до него не добрался, но думал, что там всё уже сделано

https://github.com/coreos/prometheus-operator/issues/633 I've dug into the actual kubelet configuration and you're right: the default kubeadm configuration disables the cAdvisor port (with the --cadvisor-port=0 flag). Порт cadvisor отключён по умолчанию.

Он не слушается, но через кубепрокси доступен (вроде)

Не помню честно говоря

это правильно что --cadvisor-port=0

оно всеравно доступно

да, дальше тред читаю. Конфиг у меня актуальный, всё по идее должно быть доступно, но нифига.

https://github.com/kubernetes/charts/blob/master/stable/prometheus/values.yaml#L804

С телефона могу только послать в нужном направлении, гуглить самому неудобно

@demeliorator кстати https://metallb.universe.tf/

https://github.com/kubernetes/charts/blob/master/stable/prometheus/values.yaml#L804

Да, похоже это то, что нужно. В дефолтном конфиге прометея из helm repo coreos нет этой джобы

Чат боли))))

вся боль от того, что никто не хочет читать документацию ну и то, что все сидят на bare-metal в облаках боли на порядки меньше

вся боль от того, что никто не хочет читать документацию ну и то, что все сидят на bare-metal в облаках боли на порядки меньше

Уточни в чьих облаках

в тех где нас нет

Завёл. Короче по умолчанию в кубелете включена только --authorization-mode=Webhook чтобы заработало нужно добавить --authentication-token-webhook=true