« Rev
@kubernetes_ru   982
Fwd »


Евгений
root@kube-master:~# docker --version Docker version 17.03.3-ce, build e19b718
Евгений
может у кубера какой то свой докер?
Andor
а docker version?
Евгений
а docker version?
root@kube-master:~# docker version Client: Version: 17.03.3-ce API version: 1.27 Go version: go1.7.5 Git commit: e19b718 Built: Thu Aug 30 01:04:51 2018 OS/Arch: linux/amd64 Server: Version: 17.06.2-ce API version: 1.30 (minimum version 1.12) Go version: go1.8.3 Git commit: a04f55b Built: Thu Sep 21 20:36:57 2017 OS/Arch: linux/amd64 Experimental: false
Andor
ну вот же, положила
Евгений
а откуда у меня сервер версии 17.06 если я из репов поставил 17.03?
Евгений
ЯННП
Andor
наверное потому что ты перед этим ставил 17.06 и он остался запущен
Евгений
не, я на снапшот откатывался
Alex
Лютая бесовщина :) замечательная группа
Егор
Чё за жесть. Посмотри ты уже параметры запуска кубовых сервисов и проверь переменные и бинари. А если не знаешь как, то не трогай куб, а лучше вообще ничего не трогай
𝚔𝚟𝚊𝚙𝚜
@e_fedorov подключи в bionic убунту, xenial репо для docker-ce и поставь оттуда
𝚔𝚟𝚊𝚙𝚜
Вообще версию докера уже до 18.06 подняли: https://github.com/kubernetes/kubernetes/pull/68495/files
Mikolaj
в мастере кубспрея кстати уже всё хорошо с 18й убунтой
𝚔𝚟𝚊𝚙𝚜
зачем? есть же bionic репа?
затем что в доках для kubeadm рекомендуемая версия докера - это 17.03
𝚔𝚟𝚊𝚙𝚜
в мастере кубспрея кстати уже всё хорошо с 18й убунтой
главное systemd-resolved выпилить, и точно все норм будет :)
𝚔𝚟𝚊𝚙𝚜
Unfortunately, an error has occurred: timed out waiting for the condition
Чтобы продебажить этот момент, во время инициализации проверьте docker ps -a на наличие контейнеров которые не могут запуститься, затем docker logs <container_id> чтобы понять в чем конкретно проблема
𝚔𝚟𝚊𝚙𝚜
ну и логи kublet'а конечно же
Костя
Вопрос из сферы интеграции куба и VMWare. Используем только как storage provider, pv динамически нарезаются из темплейта, все ок. Что не работает? Куб не понимает datastore-cluster, точнее понимает, но только если указывать конкретный datastore из кластера. Например: ds cluster = ds1 + ds2. StorageClass сработает только если в parameters значением datastore будет либо ds1 либо ds2. В виду энтерпрайза это решение не подходит, так как есть риск переполнения одного из ds. Вопросы: может ли как то StorageClass работать с Vsphere datastore cluster? Можно ли каким то образом в рамках одного StatefulSet использовать несколько SorageClass? Может вообще есть какое либо другое решение
G72K
Товарищи-друзья, а есть у кого опыт кручения k8s на vsphere? Плюсы, минусы, подводные камни?
Подводный камень такой, что 1.11.3 зарелизили где напроч убили vmware: https://github.com/kubernetes/kubernetes/pull/67825#issuecomment-416152394 , но всем пофиг, что говорит о том насколько важен этот клаудпровайдер для проекта :)
Костя
Любой вольюм оне же в конкретно одном DS, не совсем понятно как это вы сразу в двух его хотите?
Не в двух, в одном из двух. Для этого и сделали datastore-cluster. Вот только kubernetes его не понимает. Пока выглядит все так, что это возможно только в рамках одного ds. Вот я и обратился, может кто-нибудь в обход умудрился что то придумать. Документация VMWare - печаль. Чтобы определить список актуальных опций, которые не устарели, пришлось смотреть исходники kubernetes
Rainbow
Код самая актуальная документация, никогда не врёт и всегда корректна
и в тесты в первую очередь смотреть из этого кода
Костя
Разве там нельзя было 2 datastore задать и потом через выбор storageClass рулить где создавать
StorageClass в случае vshpere-volume принимает лишь одно значение в параметре datastore. Если вы говорите про cloud config, то да там это можно сделать, как и задать дефолтный, но это не решит проблему ручного распределения по datastore
Костя
Надо автоматически
Костя
В общем, видимо придется другой pv provider выбрать
Костя
На одной из конференций Devопсы из Rocket bank хватались, что они полностью интегрировали kube и vmware. Интересно было бы узнать как
G72K
Надо автоматически
По какому критерию? Можно крон джобу, которая меняет дефолтный storageClass по этому критерию :)
Костя
По какому критерию? Можно крон джобу, которая меняет дефолтный storageClass по этому критерию :)
Проблема в том, что vmdk между datastore то переедет. А вот pv созданный из под темплейта volumeclaim останется на том datastore, который указывался при и создании и тупо не будет найден
Alexander
От переполнения мониторинг спасёт, тот же vROps покажет когда закончится место
Alexander
Один datastore до 64 Тб поддерживается
Roman
Всем привет, кто то крутит кубер на windows? Если да то есть какие-то best practice ?
Sergey
🤦‍♂️
Roman
🤦‍♂️
Это да, но вот у заказчика дотнет фреймворк и он хочет кубер
Rainbow
Мне не сильно нужно, раз вопрос зашел... Можно просто докинуть в кластер ноду win и все будет плюс минус ок? У меня пару програмок крутится win only и пока просто ssh тунель пробрасываю в pod а тот уже в кластер.
Alexandr ∨∧‾
Это да, но вот у заказчика дотнет фреймворк и он хочет кубер
.net core? иначе внутри контейнера не побежит, там же линух
Roman
Неа именно framework https://hub.docker.com/r/microsoft/dotnet-framework-samples/
Roman
c .net core проблем нету
Artyom
C дотнет фреймворк вам сначала надо выяснить, запустится ли он в windows mode контейнере. Или переписать приложение по dotnet core
Artyom
плюс надо учесть, что microsoft очень любил выбрасывать внезапные not supported exception, когда вроде бы должно работать, но нет
Artyom
Это касается, например, авторизации в active directory или импорта отчетов в excel. Мы nuget меняли для авторизации и доставляли библиотеки в dockerfile, чтобы работало
Костя
Какой же размер датастора? Вообще DS Clusters не все поддерживают, даже из legacy решений
Дело не только в месте. Аргумент энтерпрайза, что им может понадобиться проводить работы на datastore, его потребуется обслуживать итд
Костя
Мол что вы будете делать, если нам срочно потребуется это сделать, у ваших приложений будет downtime итд. Мониторинг мы уже реализовали как для кластера datastore, так и для его datastore по отдельности
Alexander
Обслуживание на хостах — это обычная история
Alexander
Виртуалки переезжают на соседние хосты быстро без downtime
Alexander
А отключение DS — это миграция гораздо более долгая, нужно все vmdk скопировать на другой DS, это ударит по производительности как минимум
Alexander
Тем более что DS Cluster все равно не объединяет датасторы в один mount / path
Alexander
Он работает на этапе vmdk placement
Костя
Виртуалки переезжают на соседние хосты быстро без downtime
Вот именно. Виртуалки переедут, но pv не поддерживают перемещение между datastore. Я именно поэтому и обратился
Alexander
Я уточню у нашей cna команды какие есть варианты
Alexander
И что другие заказчики делают
Alik
Привет! Кто-нибудь использует git-secret для хранения куберовских secret-ов/приватных конфигов в гите?
Pavlo
Привет! Кто-нибудь использует git-secret для хранения куберовских secret-ов/приватных конфигов в гите?
Если нужно шифровать yaml или json, то попробуй sops. Он поддерживает gpg, AWS kms и шифрует не весь файл, а только значения. Под капотом helm secret тоже sops.
Andrey
Всем привет, а под кубернетис ноду нужно swap выделять или кубер его не использует?
Anton
Кубер не юзает свап
Alexey
в оф.доке даже написано что его следует отключать
Alexey
resource limiting может криво работать
Andrey
а для самой ОС на которой он будет развернут?
Alexey
без разницы, везде нужно отключать
Stanislav
Где он вообще нынче нужен, кроме ноутов, где он может для сброса памяти на диск использоваться?
Alexey
на хостах с базами где много памяти, т.к. иногда лучше затормозиться в свопе, чем упасть по out-of-memory
Alexey
и то, с нынешними ssd/nvme тормозов и не заметишь особо
Евгений
особенно если ещё gc по свопу пойдет
‌‌‎D
всем привет, создаю хелм чарт, и хочу затянуть образ с приватного реестра.
‌‌‎D
создал helpers tpl дефинишн
‌‌‎D
там ошибка приходит
« Rev
@kubernetes_ru   982
Fwd »