в репах есть 18+

он пытается поставить 17.03 но ее нет в репах

х.з. Все там должно быть если ту репу подрубаешь и прямо это делаешь

х.з. Все там должно быть если ту репу подрубаешь и прямо это делаешь

какую "ту"?

какую "ту"?

ору) Которая в мане по k8s

там одна репа

ору) Которая в мане по k8s

вот я только что скинул вывод последней команды из мана

он не находит 17.03

Я не вижу ничего? Ты тролишь что ли или как?)

Я не вижу ничего? Ты тролишь что ли или как?)

root@kube-master:~# apt-cache madison docker-ce docker-ce | 18.06.1~ce~3-0~ubuntu | https://download.docker.com/linux/ubuntu bionic/stable amd64 Packages docker-ce | 18.06.0~ce~3-0~ubuntu | https://download.docker.com/linux/ubuntu bionic/stable amd64 Packages docker-ce | 18.03.1~ce~3-0~ubuntu | https://download.docker.com/linux/ubuntu bionic/stable amd64 Packages

root@kube-master:~# apt-cache madison docker-ce docker-ce | 18.06.1~ce~3-0~ubuntu | https://download.docker.com/linux/ubuntu bionic/stable amd64 Packages docker-ce | 18.06.0~ce~3-0~ubuntu | https://download.docker.com/linux/ubuntu bionic/stable amd64 Packages docker-ce | 18.03.1~ce~3-0~ubuntu | https://download.docker.com/linux/ubuntu bionic/stable amd64 Packages

Давай ты нормально почитай инструкцию еще разок внимательней

root@kube-master:~# apt-cache madison docker-ce docker-ce | 18.06.1~ce~3-0~ubuntu | https://download.docker.com/linux/ubuntu bionic/stable amd64 Packages docker-ce | 18.06.0~ce~3-0~ubuntu | https://download.docker.com/linux/ubuntu bionic/stable amd64 Packages docker-ce | 18.03.1~ce~3-0~ubuntu | https://download.docker.com/linux/ubuntu bionic/stable amd64 Packages

apt-get update apt-get install -y apt-transport-https ca-certificates curl software-properties-common curl -fsSL https://download.docker.com/linux/ubuntu/gpg | apt-key add - add-apt-repository "deb https://download.docker.com/linux/$(. /etc/os-release; echo "$ID") $(lsb_release -cs) stable" apt-get update && apt-get install -y docker-ce=$(apt-cache madison docker-ce | grep 17.03 | head -1 | awk '{print $3}')

вот если не получается копируй отсюда и вставляй

root@kube-master:~# apt-cache madison docker-ce docker-ce | 18.06.1~ce~3-0~ubuntu | https://download.docker.com/linux/ubuntu bionic/stable amd64 Packages docker-ce | 18.06.0~ce~3-0~ubuntu | https://download.docker.com/linux/ubuntu bionic/stable amd64 Packages docker-ce | 18.03.1~ce~3-0~ubuntu | https://download.docker.com/linux/ubuntu bionic/stable amd64 Packages

Может все таки рановато в k8s, если установка докера вызывает проблемы, м?

можно я лог сюда скину? а то бот ссылки режет)

сделал все четко по инструкции

можно я лог сюда скину? а то бот ссылки режет)

https://pastebin.com/login

я кидаю ссылку на пастебин а она исчезает сразу же

qrSU2U6e

вот айди пасты

короч походу надо 16,04 ставить

ибо под bionic только 18й докер

вот айди пасты

apt-cache madison docker-ce покажи что выдает

ибо под bionic только 18й докер

если что можноиз xenial репы поставить

root@kube-master:~# apt-cache madison docker-ce docker-ce | 18.06.1~ce~3-0~ubuntu | https://download.docker.com/linux/ubuntu bionic/stable amd64 Packages docker-ce | 18.06.0~ce~3-0~ubuntu | https://download.docker.com/linux/ubuntu bionic/stable amd64 Packages docker-ce | 18.03.1~ce~3-0~ubuntu | https://download.docker.com/linux/ubuntu bionic/stable amd64 Packages

bionic на xenial замени

Хотя точно не скажу заработает или нет

root@kube-master:~# apt-cache madison docker-ce | grep 17.03 docker-ce | 17.03.3~ce-0~ubuntu-xenial | https://download.docker.com/linux/ubuntu xenial/stable amd64 Packages docker-ce | 17.03.2~ce-0~ubuntu-xenial | https://download.docker.com/linux/ubuntu xenial/stable amd64 Packages docker-ce | 17.03.1~ce-0~ubuntu-xenial | https://download.docker.com/linux/ubuntu xenial/stable amd64 Packages docker-ce | 17.03.0~ce-0~ubuntu-xenial | https://download.docker.com/linux/ubuntu xenial/stable amd64 Packages

bionic на xenial замени

завелось, спасибо

завелось, спасибо

?

[WARNING SystemVerification]: docker version is greater than the most recently validated version. Docker version: 17.06.2-ce. Max validated version: 17.03

root@kube-master:~# docker --version Docker version 17.03.3-ce, build e19b718

может у кубера какой то свой докер?

а docker version?

а docker version?

root@kube-master:~# docker version Client: Version: 17.03.3-ce API version: 1.27 Go version: go1.7.5 Git commit: e19b718 Built: Thu Aug 30 01:04:51 2018 OS/Arch: linux/amd64 Server: Version: 17.06.2-ce API version: 1.30 (minimum version 1.12) Go version: go1.8.3 Git commit: a04f55b Built: Thu Sep 21 20:36:57 2017 OS/Arch: linux/amd64 Experimental: false

ну вот же, положила

а откуда у меня сервер версии 17.06 если я из репов поставил 17.03?

ЯННП

наверное потому что ты перед этим ставил 17.06 и он остался запущен

не, я на снапшот откатывался

Лютая бесовщина :) замечательная группа

Чё за жесть. Посмотри ты уже параметры запуска кубовых сервисов и проверь переменные и бинари. А если не знаешь как, то не трогай куб, а лучше вообще ничего не трогай

у меня в репах е сть docker-ce | 18.06.1~ce~3-0~ubuntu docker-ce | 18.06.0~ce~3-0~ubuntu docker-ce | 18.03.1~ce~3-0~ubuntu

полагаю у тебя ubuntu 18.04?

@e_fedorov подключи в bionic убунту, xenial репо для docker-ce и поставь оттуда

@e_fedorov подключи в bionic убунту, xenial репо для docker-ce и поставь оттуда

зачем? есть же bionic репа?

Вообще версию докера уже до 18.06 подняли: https://github.com/kubernetes/kubernetes/pull/68495/files

в мастере кубспрея кстати уже всё хорошо с 18й убунтой

зачем? есть же bionic репа?

затем что в доках для kubeadm рекомендуемая версия докера - это 17.03

в мастере кубспрея кстати уже всё хорошо с 18й убунтой

главное systemd-resolved выпилить, и точно все норм будет :)

затем что в доках для kubeadm рекомендуемая версия докера - это 17.03

хм, и правда под бионик 17го нету

Unfortunately, an error has occurred: timed out waiting for the condition

Чтобы продебажить этот момент, во время инициализации проверьте docker ps -a на наличие контейнеров которые не могут запуститься, затем docker logs <container_id> чтобы понять в чем конкретно проблема

ну и логи kublet'а конечно же

Вопрос из сферы интеграции куба и VMWare. Используем только как storage provider, pv динамически нарезаются из темплейта, все ок. Что не работает? Куб не понимает datastore-cluster, точнее понимает, но только если указывать конкретный datastore из кластера. Например: ds cluster = ds1 + ds2. StorageClass сработает только если в parameters значением datastore будет либо ds1 либо ds2. В виду энтерпрайза это решение не подходит, так как есть риск переполнения одного из ds. Вопросы: может ли как то StorageClass работать с Vsphere datastore cluster? Можно ли каким то образом в рамках одного StatefulSet использовать несколько SorageClass? Может вообще есть какое либо другое решение

Вопрос из сферы интеграции куба и VMWare. Используем только как storage provider, pv динамически нарезаются из темплейта, все ок. Что не работает? Куб не понимает datastore-cluster, точнее понимает, но только если указывать конкретный datastore из кластера. Например: ds cluster = ds1 + ds2. StorageClass сработает только если в parameters значением datastore будет либо ds1 либо ds2. В виду энтерпрайза это решение не подходит, так как есть риск переполнения одного из ds. Вопросы: может ли как то StorageClass работать с Vsphere datastore cluster? Можно ли каким то образом в рамках одного StatefulSet использовать несколько SorageClass? Может вообще есть какое либо другое решение

Любой вольюм оне же в конкретно одном DS, не совсем понятно как это вы сразу в двух его хотите?

Товарищи-друзья, а есть у кого опыт кручения k8s на vsphere? Плюсы, минусы, подводные камни?

Нету зон пока

Товарищи-друзья, а есть у кого опыт кручения k8s на vsphere? Плюсы, минусы, подводные камни?

Подводный камень такой, что 1.11.3 зарелизили где напроч убили vmware: https://github.com/kubernetes/kubernetes/pull/67825#issuecomment-416152394 , но всем пофиг, что говорит о том насколько важен этот клаудпровайдер для проекта :)

Хожу по stackoverflow, мануалам и все чаще и чаще встречаются вопросы про traefik. Полярная стала штука. Но я как то пропустил его бум. Вопрос: есть какие то реальные фичи или аргументы его использования в Ingress вместо kubernetes'овского?

Есть, приватный ключ от сертификатов наружу выставлять :)

Любой вольюм оне же в конкретно одном DS, не совсем понятно как это вы сразу в двух его хотите?

Не в двух, в одном из двух. Для этого и сделали datastore-cluster. Вот только kubernetes его не понимает. Пока выглядит все так, что это возможно только в рамках одного ds. Вот я и обратился, может кто-нибудь в обход умудрился что то придумать. Документация VMWare - печаль. Чтобы определить список актуальных опций, которые не устарели, пришлось смотреть исходники kubernetes

Не, как я понял, они хотели сделать что бы все контейнеры запускаемые через CRI api, запускались в одном докер-неймспейсе (безо всяких там networking и iptables) и были бы не видны через обычный docker ps, а все контейнеры через docker api запускались бы в другом докер-неймспейсе и работали как обычно. Но я не уверен, т.к. пруфа не могу найти.

Было б круто если б они и куб неймспейсы запускали в разных containerd неймспейсах и оно бы образы не шарило между ними

Не в двух, в одном из двух. Для этого и сделали datastore-cluster. Вот только kubernetes его не понимает. Пока выглядит все так, что это возможно только в рамках одного ds. Вот я и обратился, может кто-нибудь в обход умудрился что то придумать. Документация VMWare - печаль. Чтобы определить список актуальных опций, которые не устарели, пришлось смотреть исходники kubernetes

Код самая актуальная документация, никогда не врёт и всегда корректна

Код самая актуальная документация, никогда не врёт и всегда корректна

и в тесты в первую очередь смотреть из этого кода

Не в двух, в одном из двух. Для этого и сделали datastore-cluster. Вот только kubernetes его не понимает. Пока выглядит все так, что это возможно только в рамках одного ds. Вот я и обратился, может кто-нибудь в обход умудрился что то придумать. Документация VMWare - печаль. Чтобы определить список актуальных опций, которые не устарели, пришлось смотреть исходники kubernetes

Разве там нельзя было 2 datastore задать и потом через выбор storageClass рулить где создавать

Разве там нельзя было 2 datastore задать и потом через выбор storageClass рулить где создавать

StorageClass в случае vshpere-volume принимает лишь одно значение в параметре datastore. Если вы говорите про cloud config, то да там это можно сделать, как и задать дефолтный, но это не решит проблему ручного распределения по datastore

Надо автоматически

В общем, видимо придется другой pv provider выбрать

На одной из конференций Devопсы из Rocket bank хватались, что они полностью интегрировали kube и vmware. Интересно было бы узнать как

Надо автоматически

По какому критерию? Можно крон джобу, которая меняет дефолтный storageClass по этому критерию :)

По какому критерию? Можно крон джобу, которая меняет дефолтный storageClass по этому критерию :)

Проблема в том, что vmdk между datastore то переедет. А вот pv созданный из под темплейта volumeclaim останется на том datastore, который указывался при и создании и тупо не будет найден

Вопрос из сферы интеграции куба и VMWare. Используем только как storage provider, pv динамически нарезаются из темплейта, все ок. Что не работает? Куб не понимает datastore-cluster, точнее понимает, но только если указывать конкретный datastore из кластера. Например: ds cluster = ds1 + ds2. StorageClass сработает только если в parameters значением datastore будет либо ds1 либо ds2. В виду энтерпрайза это решение не подходит, так как есть риск переполнения одного из ds. Вопросы: может ли как то StorageClass работать с Vsphere datastore cluster? Можно ли каким то образом в рамках одного StatefulSet использовать несколько SorageClass? Может вообще есть какое либо другое решение

Какой же размер датастора? Вообще DS Clusters не все поддерживают, даже из legacy решений

От переполнения мониторинг спасёт, тот же vROps покажет когда закончится место

Один datastore до 64 Тб поддерживается

Всем привет, кто то крутит кубер на windows? Если да то есть какие-то best practice ?

?‍♂️

?‍♂️

Это да, но вот у заказчика дотнет фреймворк и он хочет кубер

Мне не сильно нужно, раз вопрос зашел... Можно просто докинуть в кластер ноду win и все будет плюс минус ок? У меня пару програмок крутится win only и пока просто ssh тунель пробрасываю в pod а тот уже в кластер.

Это да, но вот у заказчика дотнет фреймворк и он хочет кубер

.net core? иначе внутри контейнера не побежит, там же линух

Неа именно framework https://hub.docker.com/r/microsoft/dotnet-framework-samples/

c .net core проблем нету

C дотнет фреймворк вам сначала надо выяснить, запустится ли он в windows mode контейнере. Или переписать приложение по dotnet core

плюс надо учесть, что microsoft очень любил выбрасывать внезапные not supported exception, когда вроде бы должно работать, но нет

Это касается, например, авторизации в active directory или импорта отчетов в excel. Мы nuget меняли для авторизации и доставляли библиотеки в dockerfile, чтобы работало

Какой же размер датастора? Вообще DS Clusters не все поддерживают, даже из legacy решений

Дело не только в месте. Аргумент энтерпрайза, что им может понадобиться проводить работы на datastore, его потребуется обслуживать итд

Мол что вы будете делать, если нам срочно потребуется это сделать, у ваших приложений будет downtime итд. Мониторинг мы уже реализовали как для кластера datastore, так и для его datastore по отдельности

Дело не только в месте. Аргумент энтерпрайза, что им может понадобиться проводить работы на datastore, его потребуется обслуживать итд

Довольно надуманная история кмк

Обслуживание на хостах — это обычная история

Виртуалки переезжают на соседние хосты быстро без downtime

Это касается, например, авторизации в active directory или импорта отчетов в excel. Мы nuget меняли для авторизации и доставляли библиотеки в dockerfile, чтобы работало

спс, у них часть уже в докере живет но без кубера

А отключение DS — это миграция гораздо более долгая, нужно все vmdk скопировать на другой DS, это ударит по производительности как минимум