вот как именно, это уже вопрос :)

Именно :))

ага, когда я поднимал weave я выпилил KUBELET_NETWORK_ARGS из /etc/systemd/system/kubelet.service.d/10-kubeadm.conf и все заработало

Потому я и пошел искать альтернативный метод поднятия кластера, ладно завтра попробую juju manual

но я не уверен что это true way

В общем как было порнография из скриптов и костылей так и осталась

да, старые скрипты тоже уже вроде не поддерживаются

Буду искать тру вей, схожу к ним в слак, может там помогут

ubuntu/kube-up.sh мне нравился

Но он депрекейтед тоже

Бинарии депрекейтед тоже

мое мнение, что kubeadm хоть и бета, но наиболее адекватное решение на сегодняшний день

что там сломаться может не пойму, оно либо сработает либо нет

Ну ок, значит на повестке попробовать kubeadm и juju ( как убунту рекоммендед )

что там сломаться может не пойму, оно либо сработает либо нет

Терпеть такие вещи не могу, черный ящик админить, не серьезно

Терпеть такие вещи не могу, черный ящик админить, не серьезно

не, ну разобраться в теории полюбому надо

а там уже любой tool будет понятно что примерно делает

Ладно, спасибо за советы, значит я на правильном пути, завтра попробую отпишусь, может кому-то пригодится, если взлетит то может и на статейку созрею, но боюсь, что она к этому времени актуальность потеряет, что-нибудь перепишут опять :) грёбаный agile

@maugli_13, а можешь про ovs рассказать? - почему на него выбор пал?

Ну потому что это тру сетевое решение, работал с ним на kvm, и так просто колхозили разное

Функционала встроенного масса, прямая интеграция в openstack

Нативная поддержка vlan, туннелирования

Планирую каждый чтобы каждый контейнер был подключен к своему порту в openvswitch, это позволит применять политики per container

Плюс сервера носители контейнеров, планируется располагать в разных подсетях, а то и в разных локациях - возможно, если все взлетит

а вы как-то централизованно админите ovs?

если да, то чем)

Вот у него сравнительно недавно появился ovn-controller

Ну и плагин, для k8s

благодарю

а кто хостится на azure? меня бесит, что я юзаю 1-5% от мощностей машины, но из-за ограничения на количество виртуальных дисков у меня уже 4 агента по 4к рублей каждый!

это как-то можно решить на azure или куда переехать можно, чтобы такой проблемки не было? у меня примерно 10-12 volumes получается

это как-то можно решить на azure или куда переехать можно, чтобы такой проблемки не было? у меня примерно 10-12 volumes получается

диски в облаках - это всегда дорого и плохо. Сделать с этим ничего нельзя

я считал прибыльность облака со специализацией на дисках, это нереально аб-со-лют-но

я считал прибыльность облака со специализацией на дисках, это нереально аб-со-лют-но

Amazon же выкатил новые инстансы NVMe дисками. ну у них и скидки наверное неплохие, но все же -врят ли себе в убыток

Amazon же выкатил новые инстансы NVMe дисками. ну у них и скидки наверное неплохие, но все же -врят ли себе в убыток

а ты попробуй на них что-то развернуть. Цена впечатлит, обещаю :)

рабочая лошадка: m4.4xlarge 0.8$ в час. i3.2xlarge (2TB NVMe SSD) - 0.624$ в час

вполне сопоставимо, облака просто дорого )

рабочая лошадка: m4.4xlarge 0.8$ в час. i3.2xlarge (2TB NVMe SSD) - 0.624$ в час

а маунтить там сколько можно

тут самое смешное что упирается не в объем, а в количество приатаченных дисков

это железный диск. он один :)

там так-то тоже локально 100gb ssd стоит?

если вы про сетевые EBS, то вродебы нету лимита

пока не упретесь в сеть или деньги :)

по крайней мере видел баги в гитхабе Kubernetes : "мы дошли до xvdz и что-то поломалось"

а вот: Important Attaching more than 40 volumes to a Linux instance is supported on a best effort basis only and is not guaranteed.

http://docs.aws.amazon.com/AWSEC2/latest/UserGuide/volume_limits.html

если вы про сетевые EBS, то вродебы нету лимита

есть лимиты. И на объем (по-моему 1Т) и на количество. Через саппорт можно попросить побольше

20 тер в одной зоне по дефолту

и 16 тер на 1 диск вроде так

уже 16? я помню, мне не удалось 1т сделать

но это 6 лет назад было почти

Потому я и пошел искать альтернативный метод поднятия кластера, ладно завтра попробую juju manual

Попробуй kubespray. Мне понравилось. С кубеадмом теперь не хочется связываться.

Кто-нибудь использует gitlab-ci-runner в кубе? Расскажите, как настраивали. Проблема в том, что dind работает не так, как ожидалось. Не билдятся образы и не монтируется папка из контейнера в контейнере...

Если я в деплойменте изменяю спеку пода, то он мне создаёт второй репликасет. Как этого избежать? Нужно, чтобы старый rs либо сам удалялся, либо заменялся.

Если я в деплойменте изменяю спеку пода, то он мне создаёт второй репликасет. Как этого избежать? Нужно, чтобы старый rs либо сам удалялся, либо заменялся.

полагаю что никак. Это дизайн работы деплоя

кроме того это часть механизма deploy rollback

при апдейте деплоймента он разве не удаляет одну за одной старые по поднятию новых?

по крайне мере при изменении имаджа так

при апдейте деплоймента он разве не удаляет одну за одной старые по поднятию новых?

там же есть настройки

ERROR: S client not available

ну в GKE так по умолчанию

там же есть настройки

А какие имеется в виду?

Мне просто нужно сделать, чтобы при каждом деплое у меня скачивался заново образ (вне зависимости от того, что тэг одинаковый). Если спека не меняется - образ не заменяется у пода, если спека меняется - создаётся дополнительный rs. А хотелось бы, чтобы просто произошла замена пода.

https://kubernetes.io/docs/concepts/workloads/controllers/deployment/#rolling-update-deployment

так он не будет качать образ если он с таким же тегом

что мешает обновлять версию оброза в теге?

что мешает обновлять версию оброза в теге?

В день по 30 коммитов.

хочешь один за одним ставь maxUnavailable=0 и maxSurge=0

заодно удобно ролбэчиться если что не так

В день по 30 коммитов.

так ты же не руками это делаешь, надеюсь, а просто инкрементить например версию билда

и имадж сам раскатается на реплику

так ты же не руками это делаешь, надеюсь, а просто инкрементить например версию билда

Да, но все эти образы будут собраны в гитлабе в регистри. Потом удалять их придётся руками.

ну мне кажется это более правильно чем всегда держать только один latest который будет 100500 раз перезаписан и непонятно реальный ли latest на текущих подах

тем более имаджи хранятся слоями и не будут занимать много, только diff от предыдущего имаджа будет пушиться

очистка docker registry - бич нашего времени:)

нет. Бич - это глюки докера. А чистка реджистри - это так, бонус

я после обновления 1.12.6 глюков не замечал. Но они у каждого свои, да)

#whois > Какой у вас проект или где работаете? * Удаленно работаю в fc2.com. Блоги,Видео,Хостинг в Японии/США. > В чём вы специалист? Системный администратор/инженер в датацентре. https://www.linkedin.com/in/maxshchuplov/ > Чем интересно сообщество вам? Источник новой информации для улучшения/обновления инфраструктуры. > Откуда вы? Гомель ,Беларусь > Как узнали про группу? из @ceph_ru

Нашёл revisionHistoryLimit. Как раз настраивается количество репликасетов, которые будут неактивны.

Нашёл revisionHistoryLimit. Как раз настраивается количество репликасетов, которые будут неактивны.

при неизменном docker image откатываться все равно некуда

Всем привет! А кто нибудь юзал tectonic? Подскажите, у него есть вариант нормальной установки, без PXE?

И вообще, оно стоит того? А то, как я понял, эта штука помогает упростить процесс сборки кластера на CoreOS, но при этом у tectonic инструкция по установке сложнее, чем тот кластер руками поднять ?

ну CoreOS же проще развернуть

наверно.

ну CoreOS же проще развернуть

можно подумать, coreos можно нормально развернуть без pxe

при неизменном docker image откатываться все равно некуда

Его можно установить в ноль и будет как раз то, что мне нужно на тестинг окружении.

можно подумать, coreos можно нормально развернуть без pxe

конечно можно

какой наиболее дешевый способ захостить kubernetes? пока что на примете scaleway и ovh, но ищу еще варианты p.s. дешево, но качественно, чтоб хайлоады и все дела

Gke?