все, прочел, спасибо) имена сервисов, получается, лучше тоже передать через переменные среды, верно?

не конкретные IP, а названия сервисов, типа 'nats'

https://www.coursera.org/learn/cloud-networking/home/welcome - первый и единственный курс, за который заплатил на курсере. Минус - "преподы" халявят и много на самостоятельное изучение, сами они больше воду в видосах льют

@kay_rus а есть walkthrough по исходникам kubernetes?

@kay_rus а есть walkthrough по исходникам kubernetes?

это как?

"Вот папка server - тут методы, которые отвечают за cluster-info. Мы заюзали шаблон проектирования директирование."

что-что, прости?

В идеале - типа такого http://backbonejs.org/docs/backbone.html

не встречал. мой метод прост. grep, vim, grep, vim

А где лежит код, который работает с etcd на тему "у нас кластер"

но если что-то серьезное нужно анализировать, то голова начинает пухнуть, т.к. слишком много переменных нужно в голове держать. наверняка должны быть какие-то утилиты с автоматическими jump'ами по функциям, историей и т.п.

но т.к. это не основной род моих занятий, то я просто vim-grep'аю

Ясно. Я всё хочу раскурить как там кластер работает. Решил через исходники пойти.

кластер?

что в твоем понимании кластер? api federation?

Две машины, для начала

Без вагранта и пре-подготовленных образов чтобы собрать две машины и они бы показали что две ноды доступно.

запускается etcd (не важно где), затем apiserver на master. apiserver работает с etcd. на worker'ах запускается kubelet, в котором указано где живет apiserver и с каким паролем с ним нужно общаться. а дальше уже идет общение kubelet<->apiserver. etcd используется только как persistent хранилище.

вот чего я точно не встречал и что пригодилось бы многим - как поднять безопасный kubernetes кластер

по умолчанию kubernetes всё наружу выставляет как дешевая проститутка.

вот чего я точно не встречал и что пригодилось бы многим - как поднять безопасный kubernetes кластер

там есть же обзорный мануал про сертификаты и все такое

этого не достаточно

там про admission мало информации

admission - это более высокий уровень. я же говорю про низкоуровневые фишки.

а про аутентификацию пользователей в сервисах и про аутентификацию сервисов друг у друга есть

@spuzirev ^ опять не то. см. выше.

куда уж ниже уровень?

ниже сеть

firewall

и дефолтные настройки

фаервол для контейнеров или для охраны хостов?

я уже сутки голову ломаю над решением проблемы открытых портов на системах, где всего один публичный интерфейс

второе не задача k8s

а должно быть

@kay_rus thanks за описание

я уже сутки голову ломаю над решением проблемы открытых портов на системах, где всего один публичный интерфейс

а подробности можно? стало интересно

я подозревал, что многие будут утверждать что это не проблема k8s

но практика показывает, что либо костыли городить -либо всё встроить в kube-proxy

ну скажем есть vm или baremetal который подключен к интернету без firewall.

ограничивать контейнеры друг от друга, ограничивать контейнеры от мира, от сервисов - это задача k8s. делать фаервол хоста - явно нет.

и у него всего один интерфейс

предположим k8s работает с дефолтными настройками.

у нас есть мониторинг и все дела

и тут получается, что наружу смотрит следующее: * http://host:10252/configz * http://host:10252/debug/pprof/heap * http://host:10251/configz * http://host:10251/debug/pprof/heap * http://host:10255/metrics * http://host:4194 * ну и самая мякотка https://host:10250 о которой я давно писал https://github.com/kayrus/kubelet-exploit и вот дилемма. если какие-то сервисы безболезненно завернуть в firewall, то другие, например мониторинг, просто так не завернешь - тебе придется знать ip нод, на которых живет prometheus. если 10250 повесить на localhost, и запилить ssh, то перестанут работать kubectl exec и kubectl logs. и что самое страшное - о всех этих проблемах известно давно еще с 2015 года. и никто не хочет это фиксить. а если предложить решение, то оно превращается во флейм.

потому наиболее правильное решение внедрить логику firewall'а в kube-proxy

т.к. он работает с api и знает всё обо всех

имхо конечно

"делать фаервол хоста - явно нет." - а best practices? Судя по @kay_rus best practices - идите в Google Cloud.

вот вот. иногда мне кажется они специально ничего не предпринимают, чтобы клиентов у google cloud больше было

Вы устанавливайте поиграться, но если нужна сетка и секурити - welcome to наш cloud

Если поместить фронт в gke то как общаться с бэком? там есть возможность создать впн канал к бэкенду?

Чтобы не ssl ить каждый запрос

Ты там можешь играться с узлами, как хочешь, но это не выглядит хорошей затеей в целом

а k8s не собираются завязываться на HEALTHCHECK самих образов?

т.е.?

в докер-изображении можно указать свой healthcheck

есть хелсчеки в dockerfile

есть хелсчеки в k8s

нет ли где-то предложений завязаться в том числе и на хэлсчеки из коробки

@agadelshin а кто мешает впилить из в /docker-intrypoint.sh?

если что не так, то килляются дочерние процессы

@agadelshin а кто мешает впилить из в /docker-intrypoint.sh?

то есть? напиши подробнее? у меня проблем нет не использовать чеки из докерфайла

я просто образы готовлю и вот, думаю, включать их или нет

пишешь sh функцию: healthz () { # wait for app sleep 10 curl localhost:123/healthz || kill 1 } healthz & /my/hippster/app/nodejs

ааааа, не, я ж совсем не про это

сам-то я могу что угодно впилить, меня в том числе и хэлсчеки кубернетиса устраивают

нет ли где-то предложений завязаться в том числе и на хэлсчеки из коробки

а это тогда чего касалось?

к тому, что может быть есть issue на гитхабе или разговоры среди разработчиков об использовании HEALTHCHECK из образа

https://github.com/kubernetes/kubernetes/issues/30039

https://twitter.com/kelseyhightower/status/791732370785263616

а космеческий weave-scope без своего лана не покажет подов?

а космеческий weave-scope без своего лана не покажет подов?

без вива как сети работает ок

от только контейнеры показыват, ну и про хосты там всякое. А вот элементов кубера нет

Не могу сказать, чтоб я его как-то специально настраивал.. kubectl create, kubectl expose и все работало..

Запилил нотификации при аномалиях в логах https://github.com/kayrus/elk-kubernetes

👍

А что так тихо? У всех всё хорошо?

хз, я кубернетес еще не разглядывал

оно вообще стоит того?

оно вообще стоит того?

иначе мы бы тут не сидели)