разве они не в одно место в итоге в etcd попадают?

apiserver сам ничего не хранит же

в итоге да, но в разных форматах же. через apiserver в etcd приходят config maps (кажется)

вобщем, самый простой вариант - запускайте kubelet на мастерах, им же можете и apiservers запускать и controller-manager

вот как раз еще хотел спросить что вижу везде два подхода к созданию кластеров. 1. На все раскатать kubelet + на мастера запретить шедулинг, и поверх раскатать все остальные компоненты 2. Все ставить отдельно через systemd (например) и kubelet только на воркеры

видимо первый подход более однородный получается

в итоге да, но в разных форматах же. через apiserver в etcd приходят config maps (кажется)

а как в таком случае объяснить, что мастера пингуются с воркеров, но не наоборот?

ну яндекс тоже пингуется с воркеров наверное?

да но мастеры то пингуются по адресу который на интерфейсе flannel

или я чего то не понимаю, что очень может быть

если flannel виден всем и отовсюду, то он у вас везде напрямую в etcd ходит, значит flannel ок

вот, я и думаю может это связано с тем что calico не знает промастеры?

и входящие пакеты с них режет?

остается calico , смотрите его доку

остается calico , смотрите его доку

спасибо, поищу что нибудь, если не получится поставлю kubelet на мастеры

вот как раз еще хотел спросить что вижу везде два подхода к созданию кластеров. 1. На все раскатать kubelet + на мастера запретить шедулинг, и поверх раскатать все остальные компоненты 2. Все ставить отдельно через systemd (например) и kubelet только на воркеры

скажу за себя: пользуюсь kube-aws ( и помогаю развивать), там первый подход. хочется его еще расширить и совсем ничего вне куба не запускать, но пока не все задуманное сделано

Если этот подход юзать, то что сейчас лучше запускать вне куба?

я на будущее спрашиваю )

сам kubelet, etcd

все остальное можно внутри как daemonset , включая apiserver, scheduller, controller-manager, kube-proxy, flannel, calico

etcd тоже можно внутри,но бутстрап хитрый нужен

сам kubelet, etcd

ну это вроде как нормально же

понял )

Нашел тут в доках > The calico/node docker container must be run on the Kubernetes master and each Kubernetes node in your cluster, as it contains the BGP agent necessary for Calico routing to occur.

это если оно в режиме bgp

в canal оно только iptables правилами рулит

ок, спасибо

я никак не пойму, вы руками k8s разворачиваете чтоли?

да, на своих виртуалках

это плохо? )

ну если вы хотите получить экспертизу в траблшутинге - то даже очень хорошо если вам нужен работающий k8s через 10 минут, то наверное плохо

второе без первого мне кажется это выстрел в коленку )

надо знать как работает и что вообще происходит

далеко не всегда

согласен смотря чья ответственность

да и не в этом дело тоже

приведу вам простой пример. переодически мне нужно по быстрому развернуть wordpress, в детали этого поделия, мягко говоря я вдаваться не хочу, даже за деньги гуглю docker-compose и поднимаю, и так было не с одни продуктом как работает докер и докер-компос мне честно говоря до фени

да это понятно

приведу вам простой пример. переодически мне нужно по быстрому развернуть wordpress, в детали этого поделия, мягко говоря я вдаваться не хочу, даже за деньги гуглю docker-compose и поднимаю, и так было не с одни продуктом как работает докер и докер-компос мне честно говоря до фени

Это отлично когда нужды на этом заканчиваются) А вот когда тебе потом это администрировать и сопровождать?)

ну если вы хотите получить экспертизу в траблшутинге - то даже очень хорошо если вам нужен работающий k8s через 10 минут, то наверное плохо

Я здесь описал оба стула

работающий k8s через 10 минут без полученной экспертизы в траблшутинге - это стул с членами, но потом.

хороший ник

как и ожидалось все взлетело, после добавления kubelet на мастеры

@rossmohax еще раз спасибо

Я прав что --register-schedulable=false deprecated и надо писать --register-with-taints=node-role.kubernetes.io/master=true:NoSchedule ?

А как в идеале выглядит процесс автоматизированного деплоя в кубе? С момента как я собрал и пушнул образ в registry.

@notxcain Мы хелм используем для управления деплойментами. Смотрим в сторону spinnaker.

странно что вы heml и spinnaker в один ряд ставите

> А как в идеале выглядит процесс автоматизированного деплоя в кубе? С момента как я собрал и пушнул образ в registry. deis pull <path-to-image> :)

> А как в идеале выглядит процесс автоматизированного деплоя в кубе? С момента как я собрал и пушнул образ в registry. deis pull <path-to-image> :)

Плюсану

Деплоймент по идее этим занимается?:)

> А как в идеале выглядит процесс автоматизированного деплоя в кубе? С момента как я собрал и пушнул образ в registry. deis pull <path-to-image> :)

либо kubectl update/set или бо дёрнуть API

вот эта джоба работает: - job_name: 'kubernetes-apiservers' kubernetes_sd_configs: - role: endpoints scheme: https tls_config: ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt insecure_skip_verify: true bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token вот эта выдает server returned HTTP status 401 Unauthorized - job_name: 'kubernetes-nodes' scheme: https tls_config: ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt insecure_skip_verify: true bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token kubernetes_sd_configs: - role: node кто сможет объяснить почему у меня руки из задницы? :)

(я про prometheus)

есть по вмваре спецы?

смотря насколько спецы. VCP есть

Есть немношк

я хочу заспавнить вмку через ранчер с провайдером vsphere

govc из kubernetes anywhere in

тоже выдаёт эту ошибкк

деплоит админ акк с полными правами. все лицухи воткнуты

vsphere 6.5

ERROR: S client not available

что где не так?

коннект идет к всфере или к esxi напрямую?

Конект к vcenter ?

ovftool работает при этом. коннект к вцентр

а логи что говорят? со стороны ранчера?

напрямую в ESXi ок овошки залеьают через govm

логи говорят только эту ошибку.

там нет никаких галочек allow remote deploy нигде?

А на vcenter что в логах ?

а знать бы где смотреть)

я это второй день вижу

Для начала можно в vsphere клиенте на уровне vcenter посмотреть events

ну я нашёл лог конечно

оно думает что умнее меня, мне кажется

vim.fault.NotAuthenticated wtf

кто нибудь так делал уже с ранчером? с вмваре? kubernetes anywhere, photon-controller?

логов 3 гига, ошибок миллион. хрен чо найдёшь.

вцентр делает таки create и сразу delete

а какой правильный способ разворачивания к8s на убунту 16?

а какой правильный способ разворачивания к8s на убунту 16?

kubespray https://github.com/kubernetes-incubator/kubespray

а какой правильный способ разворачивания к8s на убунту 16?

тест или прод?

прод

официальная документация лучше не стала я смотрю ))

kargo или evil martians cookbook

1000 и 1 способ поставить

но ничего конкретного

если кто-то как я использует prometheus + node-exporter в gke и после 1.6 перестало собирать статистику с нод то тут есть описание проблемы и парочка рабочих решений: https://github.com/prometheus/prometheus/issues/2606

а по ранчеру кто подскажет?

я кстати понял в чем с helm проблема, если вкратце - он ничего не гарантирует с ним никогда не знаешь: или все задеплоится, или ошибка выпадет, или ошибка не выпадет но что-то там где-то не стрельнет в кластере а ты об этом не узнаешь то есть по факту это kubectl с возможностью подстановки переменных конечно, многое висит на авторах чартов: в репе официальной есть например офигительно продуманые чарты, а есть и откровенная лажа (с пулл-реквестами исправляющими лажу вообще отдельная тема) мне видится путь не империативный, а декларативный (типа хашикорповского терраформа, как вариант плагина к нему) то есть описываем желаемое состояние, и тулза сама к нему приводит или ругается если не может так сделать кто что думает по этому поводу?

Для чего-то типового чарты вполне себе, а когда кастом то, лучше ансибла и подобных сложно придумать

я кстати понял в чем с helm проблема, если вкратце - он ничего не гарантирует с ним никогда не знаешь: или все задеплоится, или ошибка выпадет, или ошибка не выпадет но что-то там где-то не стрельнет в кластере а ты об этом не узнаешь то есть по факту это kubectl с возможностью подстановки переменных конечно, многое висит на авторах чартов: в репе официальной есть например офигительно продуманые чарты, а есть и откровенная лажа (с пулл-реквестами исправляющими лажу вообще отдельная тема) мне видится путь не империативный, а декларативный (типа хашикорповского терраформа, как вариант плагина к нему) то есть описываем желаемое состояние, и тулза сама к нему приводит или ругается если не может так сделать кто что думает по этому поводу?

deis?