выглядит очень перспективно.

по сути как этот autospoting работает - это такая лямбда с бинариником на ГО, ее коннектишь к своей ASG

и дальше она умно подбирает спот инстансы чтобы тип инстанса был по цпу и памяти не меньше твоего в ASG

т.е. например у тебя там m4.2xlarge а на спот маркете вдруг какой нибудь r4.4xlarge дешевле чем твоя ондеманд цена m4.2xlarge - он тебе закупит этот спот инстанс и подредактирует launch configuration ASG на нужное кол-во desired инстансов

когда я последний раз на него смотрел он не умел reserved instance price учитывать, может допилили

Если у вас контейнеры с debian то можно попробовать Bazel для сборки. https://medium.com/bitnami-perspectives/building-docker-images-without-docker-c619061b13a9

Если у вас контейнеры с debian то можно попробовать Bazel для сборки. https://medium.com/bitnami-perspectives/building-docker-images-without-docker-c619061b13a9

Но базель же не из Dockerfile'а билдит. Тогда уж проще https://github.com/projectatomic/buildah

я бы Bazel не юзал если еще не на нем проект, ходят слухи его гугл прикроет

Если у вас контейнеры с debian то можно попробовать Bazel для сборки. https://medium.com/bitnami-perspectives/building-docker-images-without-docker-c619061b13a9

С Dockerfile никто еще лет 5 никуда не съедет )

Но базель же не из Dockerfile'а билдит. Тогда уж проще https://github.com/projectatomic/buildah

Buildah пока только с CAP_SYS_ADMIN , что не так плохо как privileged, но тоже не айс :)

Но базель же не из Dockerfile'а билдит. Тогда уж проще https://github.com/projectatomic/buildah

там пишут что она в Alpha, вы пробовали ее?

там пишут что она в Alpha, вы пробовали ее?

Да, редхатовская билдсистема уже почти перешла на неё

я бы Bazel не юзал если еще не на нем проект, ходят слухи его гугл прикроет

Они всех нагнули в Kubernetes и заставили Bazel файлы в порядке держать, хоття они нафиг никому не нужны

ну редхат в принципе сидит на Moby…

Моя первая CVEшечка, жизнь прожил незря. https://github.com/kubernetes/kubernetes/issues/60813

huh?

@rossmohax красавчик

https://github.com/projectatomic/buildah/blob/master/docs/tutorials/01-intro.md#using-dockerfiles-with-buildah написано что buildah умеет из докерфайлов собирать

https://github.com/projectatomic/buildah/blob/master/docs/tutorials/01-intro.md#using-dockerfiles-with-buildah написано что buildah умеет из докерфайлов собирать

Buildah да, я про Bazel писал

кто-нибудь storageOs пробовал?

как там прикрутить '--volume'

Until the upstream fix is merged, you will need to add: --volume=/var/lib/storageos:/var/lib/storageos:rshared to each of the kubelets. See examples with OpenShift and Ansible.

неужели врям в юнит докера это написать

неужели врям в юнит докера это написать

В юнит kubelet же

kubelet --help 2>&1 | grep -- '--volume' --volume-plugin-dir string <Warning: Alpha feature> The full path of the directory in which to search for additional third party volume plugins (default "/usr/libexec/kubernetes/kubelet-plugins/volume/exec/") --volume-stats-agg-period duration Specifies interval for kubelet to calculate and cache the volume disk usage for all pods and volumes. To disable volume calculations, set to 0. (default 1m0s)

Они про запуск kubelet в контейнере. Вообще запуск kubelet в rkt контейнере все больше проблем создает , я наверно откажусь от hyperkube у себя и перееду на просто systemd unit, но для этого надо отказаться от CoreOS :)

ну у меня kubelet не в контейнере

и походу надо писать в юнит докера это

Они про запуск kubelet в контейнере. Вообще запуск kubelet в rkt контейнере все больше проблем создает , я наверно откажусь от hyperkube у себя и перееду на просто systemd unit, но для этого надо отказаться от CoreOS :)

А в чем проблемы? Мы так на atomic конфигуряем

в особо параноидальных конфигах в runc бежит отдельный докер для билдов

А в чем проблемы? Мы так на atomic конфигуряем

Проблема в том, что в hyperkube нефига нет ) до недавнего времени (<1.9) скажем e2fstools были древние и без чексум и до сих пор нет xfstools (хотя вроде смержили недавно, может в 1.10 будет) и совершенно точно нет open-iscsi.

а пфф, ну так свой собирать надо :)

Были баги когда скажем kubelet пытается что-то проверить и сделать как-надо при монтировании volume, но изза того что у него другой mount namespace , он не видит того, что увидит докер. Вон там косяки с storageos тоже из той же оперы

А какой смысл kubelet загонять в контейнер? Так чтобы оно сами поды не видело?

А какой смысл kubelet загонять в контейнер? Так чтобы оно сами поды не видело?

чтобы апдейт можно было откатить, например, без мучений с package manager'ом

А в чем проблемы? Мы так на atomic конфигуряем

Я вот после вашей рекламы решил посмотреть. Поставил у себя fedora atomic workstation , начал курить ostree, вроде интереснл

или вообще сначала сделать контейнер с кубелетом, а в нём запускать апи, etcd и контроллер статик подами - так получится быстрее

Я вот после вашей рекламы решил посмотреть. Поставил у себя fedora atomic workstation , начал курить ostree, вроде интереснл

хех, так и к флатпакам привыкнете :)

но atomic workstation еще немного хардкорно - еще планирую как на него перееду, при смене ноута. Но основные десктоповцы переехали - и довольны

чтобы апдейт можно было откатить, например, без мучений с package manager'ом

Там один бинарник же :) если kubelet не self-hosted, то все равно мучение ибо все такое immutable

чтобы апдейт можно было откатить, например, без мучений с package manager'ом

kubelet же один статический бинарник, в чем сложность его откатить?

Там один бинарник же :) если kubelet не self-hosted, то все равно мучение ибо все такое immutable

Бинарник один, а зависимостей и конфигов много

хех, так и к флатпакам привыкнете :)

Я им в рассылку написал, как они рантайм компоненты собрались добавлять (скажем в флатпак vscode добавить Go рантайм), поулчил ответ, но не прочитал, лежит в отложенных для вдумчивого прочтения

каких зависимостей? он статически слинкован, конфигов нет - все через флаги в systemd unit

зачем тут еще rkt с его багами приплетать - не ясно

мое имхо

или вообще сначала сделать контейнер с кубелетом, а в нём запускать апи, etcd и контроллер статик подами - так получится быстрее

Да так и делаю уже, bootkube чудесен

Я им в рассылку написал, как они рантайм компоненты собрались добавлять (скажем в флатпак vscode добавить Go рантайм), поулчил ответ, но не прочитал, лежит в отложенных для вдумчивого прочтения

Пока нормального distro-based рантайма нет, тут пока Дикий Запад с поддержкой таких штук

а обновляться по кусочкам так и нельзя? надо сразу весь кластер?

А что, раньше было нельзя? У меня раньше всё было на 1.6.6, захотел обновиться. Просто начал поды апдейтить сразу на 1.9 по одной и все норм

каких зависимостей? он статически слинкован, конфигов нет - все через флаги в systemd unit

сертфикаты, например?

Пока нормального distro-based рантайма нет, тут пока Дикий Запад с поддержкой таких штук

Вобщем пришлось vscode руками ставить, из флэтпака неюзабельно. И еще бесит перезагружаться после rpm-ostree , сделали бы какой нибудь pivot_root

Вобщем пришлось vscode руками ставить, из флэтпака неюзабельно. И еще бесит перезагружаться после rpm-ostree , сделали бы какой нибудь pivot_root

ну разве что pet container с тулзами + флатпак

сертфикаты, например?

Ну все это добро и так и так ему подсовывать надо

но тоже конечно плохо

сертфикаты, например?

сертификаты в случае coreos ignition раскладывает на ноды, возможно еще и расшифровав их предварительно (в случае AWS обычно с помощью KMS), сертификаты для worker-controller communication пихать внутрь контейнера как-то не очень имхо, веть это значит они будут в каком-то реджистри и их оттуда кто-то можеть оттуда взять. А чтобы их поменять надо будет новый образ создать и потом как-то пройти по всем нодами запулить, или все равно будем игнишном обновлять? Тогда снова зачем нам контейнер

в-общем, профиты контейнера для кублета не ясны, а вот проблемы его весьма не призрачны

сертификаты в случае coreos ignition раскладывает на ноды, возможно еще и расшифровав их предварительно (в случае AWS обычно с помощью KMS), сертификаты для worker-controller communication пихать внутрь контейнера как-то не очень имхо, веть это значит они будут в каком-то реджистри и их оттуда кто-то можеть оттуда взять. А чтобы их поменять надо будет новый образ создать и потом как-то пройти по всем нодами запулить, или все равно будем игнишном обновлять? Тогда снова зачем нам контейнер

1) в случае статического билда - это да, если нравится пересобирать при любом CVE - это можно 2) ignition далеко не везде доступен 3) я не предлагал конфиги в контейнер совать, лучше контейнеру кубелета монтировать каталог с конфигами 4) профит понятен - лимиты, например

1) в случае статического билда - это да, если нравится пересобирать при любом CVE - это можно 2) ignition далеко не везде доступен 3) я не предлагал конфиги в контейнер совать, лучше контейнеру кубелета монтировать каталог с конфигами 4) профит понятен - лимиты, например

Ну лимиты это и systemd может :) (что такое контейнер это конечно философский вопрос)

так вроде речь была за coreos а потому и ignition ну хорошо, по пунктам: 1) ну я же не сам его собирать буду, буду тянуть иp coreos 3) - так что за такие конфиги у кублета? обычно все задается ключиками в systemd unit файле или его аналоге 4) лимиты чего? память если - так в чем же профит, умрет кублет а с ним и нода умерт для контроллера. Да даже один рестарт уже может не очень приятен быть

для enduser'а-то понятно разницы мало, для нас всё же есть

Buildah пока только с CAP_SYS_ADMIN , что не так плохо как privileged, но тоже не айс :)

Исходя из нижеупомянутой доки, достаточно CAP_NET_ADMIN для любых операций с сокетом. http://man7.org/linux/man-pages/man7/socket.7.html

ну и как выше пишут, лимиты и systemd может но надо 3 раза подумать какие же лимиты туда вписать

Исходя из нижеупомянутой доки, достаточно CAP_NET_ADMIN для любых операций с сокетом. http://man7.org/linux/man-pages/man7/socket.7.html

Buildah надо mount namespace настраивать для билд контейнеров,,а это Cap_SYS_ADMIN

Интересная,штука https://medium.com/@tnachen/hyperpilot-open-sourced-100-of-its-products-18d0e018fe45

Моя первая CVEшечка, жизнь прожил незря. https://github.com/kubernetes/kubernetes/issues/60813

как ты с subpath проблему обнаружил?

как ты с subpath проблему обнаружил?

Пытался логи из файлов в подах пробросить в контейнер сбора логов :) получилось, но теперь придется переделывать

Коллеги, добрый день! Хочу развернуть k8s и сразу попробовать его для test окружения прилажение и база - не большие (ruby + psql) подскажите, плз, сколько можностей необходимо под базовую инсталяцию + распределенное файловой хранилище

а сколько надо мощностей без кубернетиса?

без него, для тестового окружения стоит машина на 2 cpu 4 ОЗУ

ну вот с этого и начни

Коллеги, добрый день! Хочу развернуть k8s и сразу попробовать его для test окружения прилажение и база - не большие (ruby + psql) подскажите, плз, сколько можностей необходимо под базовую инсталяцию + распределенное файловой хранилище

Если ты хочешь sds, то тебе нужно sds, и прорабатывать его. Там в любом случа x2 по дискам минимум. Далее ресурсы для k8s пропорциональны маштабу кластера, так для 1-5 нод , потребление на etcd и мастер можно списать на 0

без него, для тестового окружения стоит машина на 2 cpu 4 ОЗУ

Ты де понимаешь что k8s это кластер? И работает он по правилам и принцепам кластера?

Ты де понимаешь что k8s это кластер? И работает он по правилам и принцепам кластера?

Кластер понятие растяжимое

это-то я понимаю. но я не использовал его в полном объеме и не представляю сколько ему помимо работы прилажения нужно по мощностям может есть какой-то минимум для распределенного хранилища (того же ceph)

Кластер понятие растяжимое

Ну как бы да) Но там всегда есть котроллер и исполнитель)

по openshift чатик есть?

по openshift чатик есть?

Нет, давай создадим?

Нет, давай создадим?

можно... а то я 3 день с ним вожусь... )

ю кэннот эдд зис юзер, прайваси сеттингс, комрад

Был же вроде