А работать оно может через единый лоадбалансер, например через клаудфларе или на базе Route53 LBR

k8s не поддерживает гетерогенные системы

ну это тоже "нюанс" для тех кто хочет запихнуть всё в один большой кластер. А вот это "Чтобы было надежней" в итоге может превратиться в ад при разваливании этого кластера или попытках его апгрейда

может кто подсказать статью для нубов про storageclass'ы и statefulsets ?

google ?

ну там все доки на kubernetes.io и уже для тех, кто понимает зачем это и что ему нужно:(

ок, начать с этого надо https://kubernetes.io/docs/concepts/storage/volumes/

может кто подсказать статью для нубов про storageclass'ы и statefulsets ?

Сам спросил, сам ответил, приятно разговаривать с умным человеком)

все так))

Если по простому, то у тебя есть sds с автопровижингом volume (ceph/glusterFS/StorageOS и т.п.) и storageclass это описание как к нему присоденеится, и авторизационные данные (на нодах с кублетом должен быть клиент для этого кластера). Собсно когда создаётся pvc (запрос на pv), в его аннотации указывается этот самый storageclass и контроллер в автономном режиме создаёт волюм.

Ну а stafullset это когда название подов статично. как и их число.....

Вроде это все чем statefull сет отличается от деплоя, хотя тут я могу и ошибаться, я их почти не юзал.

на гитхабе есть примеры storageclass для тех, что кубер поддерживает

Если по простому, то у тебя есть sds с автопровижингом volume (ceph/glusterFS/StorageOS и т.п.) и storageclass это описание как к нему присоденеится, и авторизационные данные (на нодах с кублетом должен быть клиент для этого кластера). Собсно когда создаётся pvc (запрос на pv), в его аннотации указывается этот самый storageclass и контроллер в автономном режиме создаёт волюм.

супер спасибо! мне для разработки нужен pv для хранения там базы, для того чтобы все поды на моих 3х нодах имели доступ к этой базе я так понимаю мне нужно делать какой-то внешний pvs, но из легкого я так понимаю только storageos мне подойдет

верно же?

ну в теории можно обойтись и nfs -)

только pv прийдётся в ручную делать.

кубер локальный есличто

Локально это как?

всё в одной виртуалке?

не

4 виртуалки - мастер + 3 слейва

сооруди на мастере nfs

и сделай pv ручками

не нужен тебе starageOS и т.п. на виртуальках...

Storageclass это скорее решение для функционирующего кластера, что бы администраторы ручками и делали каждый pv

если у тебя 1-2 pv то тебе всё это накручивать не надо

в описании pv вроде описано как сделать pv + pvc для nfs

Вот этой инфы тебе хватит

https://kubernetes.io/docs/concepts/storage/persistent-volumes/

сооруди на мастере nfs

и он будет доступен для всех подов на всех слейвах?

да

Ты его сделаешь Read-write many и несколько подов смогут в него писать

но для БД так делать не стоит, потеряешь консистентность данных и БД умрёт

мне надо это дело автоматом получать, виртуалки мы нарезаем, поверх них кубеспреем ставим кубер и дальше вот надо pvc наконфигурячить, чтоб девелопер только деплоймент своего суперскейлебл приложения запускал)

ну тогда делай storageclass с sds

под "локально" я понимаю разворот кластера в каком нить виртулбоксе-)

не знаю как остальные,а сеф можно развернуть кубером-)

как прокинуть переменную окружения с одного контейнера в другой (в пределах пода)?

заюзать конфиг мап например?

то есть я могу создать конфиг мап, который будет описывать переменную окружения, в которую я могу записать в init container, а считать в другом контейнере?

не совсем понятно, как именно будет производиться запись в нее из первого контейнера

как прокинуть переменную окружения с одного контейнера в другой (в пределах пода)?

никак, у них разные ns исполнения, в одном поде у контейнеров общие: сеть и волюмы. Так что через внешние тулзы

например повесить переменну на localhost и дёргать

то есть я могу создать конфиг мап, который будет описывать переменную окружения, в которую я могу записать в init container, а считать в другом контейнере?

хм, если из Пода писать в конфиг мап, то почему бы и нет.

вот как писать?

вот как писать?

через api вызов-)

как-то прохладно звучит

ну или kubectl bla-bla-bla...

делать api вызов из пода это то еще веселье

ну или kubectl bla-bla-bla...

что не сильно то отличается, kubectl так же работает через API -)

ага )

делать api вызов из пода это то еще веселье

почему же?-) юзаешь сервис аккаунт и всё тут

ну поды разные, ns разные,

ну поды разные, ns разные,

не поды контейнеры..

нет, под то как раз один

> у них разные ns исполнения имеется ввиду linux namespace?

> у них разные ns исполнения имеется ввиду linux namespace?

да

я почему-то думал что к контейнеров в пределах одного Пода NS одинаковые

я почему-то думал что к контейнеров в пределах одного Пода NS одинаковые

разные...там общие сеть и волюмы.

хотя с последними там то же не всё так просто. -)

супер спасибо! мне для разработки нужен pv для хранения там базы, для того чтобы все поды на моих 3х нодах имели доступ к этой базе я так понимаю мне нужно делать какой-то внешний pvs, но из легкого я так понимаю только storageos мне подойдет

что имелось в виду под базой?

Прогоняли мемтест в течении суток. Нет проблем с памятью. Запустили диагностику дисков, но чето ощущение что и там чисто будет. Может таки кто нибудь поделится версиями компонент стабильных продакшен кластеров? ??

Коллеги, мы продолжаем исследовать проблему рестартующих нод. Прогнали стресстесты, тесты памяти и дисков, никаких проблем с железом не выявлено. Из различий с непадающим продом кроме железа: - версия докера (на непадающем проде 1.13.1, на падающем тестинге 17.0.3.2) - версия ядра (prod: 4.10.0-32-generic testing: 4.10.0-40-generic) Поделитесь плз проверенной в бою на нагрузке версией докера? Мб кто то использует в проде cri-o ?

Коллеги, мы продолжаем исследовать проблему рестартующих нод. Прогнали стресстесты, тесты памяти и дисков, никаких проблем с железом не выявлено. Из различий с непадающим продом кроме железа: - версия докера (на непадающем проде 1.13.1, на падающем тестинге 17.0.3.2) - версия ядра (prod: 4.10.0-32-generic testing: 4.10.0-40-generic) Поделитесь плз проверенной в бою на нагрузке версией докера? Мб кто то использует в проде cri-o ?

1.13.1-1.el7.centos у нас

1.13.1-1.el7.centos у нас

?

вот volume как бы может быть основан на конфиг мапе, а наоборот может быть?

ERROR: S client not available

ну то есть я в одном контейнере что-то написал в файл, и при этом у меня есть какой-то конфигмап, который мапит этот файл в значения, которые я уже подтягиваю в env

Подскажите такая ситуация: есть образы в gcloud есть minikube локальный поднимаю deployment при всех скачанных образах, то есть локально они закешированы, но кубер всё равно пытается их пуллить, и, конечно, натыкается на аутентификацию как сделать чтобы не пуллил?

ну вот. спросил, потом нагуглил)) imagePullPolicy: IfNotPresent

?

Лоад-балансер, нормально обслуживает постоянные подключения?

ну то есть я в одном контейнере что-то написал в файл, и при этом у меня есть какой-то конфигмап, который мапит этот файл в значения, которые я уже подтягиваю в env

Вряд ли. Это как-то противоречит идеологии, будет странно если рантайм начнёт менять настройки кластера. Но это просто моё мнение.

Лоад-балансер, нормально обслуживает постоянные подключения?

Постоянные в каком смысле?

Клиенты соединяются к сервису, и висят продолжительное время

В отличии от http, где подключение, запрос, отключение

балансер работает на соединение, после соединения он уже только пересылает трафик

Ну мне желательно по опыту, не рвутся соединения?

а в этом смысле. не подскажу, сам новенький

Я хочу один сервис запихнуть в кубер с auto scale правилами, интересно при перестроении или в других случаях не теряет ли коннекты

А еще вопрос, немного не по теме, какое впн решение есть для объединения несколькох ДЦ?

под лоадбалансером имелся в виду ингресс контролер? он держит коннекты с медленными клиентами согласно выставленным кипалайв таймаутам, а на бекенды проксирование уже обычно без кипалайва. Но можно и персистент, тоже не вижу проблем.

А еще вопрос, немного не по теме, какое впн решение есть для объединения несколькох ДЦ?

IPsec, IPIP, что угодно вообще

mpls

под лоадбалансером имелся в виду ингресс контролер? он держит коннекты с медленными клиентами согласно выставленным кипалайв таймаутам, а на бекенды проксирование уже обычно без кипалайва. Но можно и персистент, тоже не вижу проблем.

Спасибо

IPsec, IPIP, что угодно вообще

Желательно FullMesh

Желательно FullMesh

tinc

или решения от циско/жунипера

tinc

Сейчас исполюзуется, однопоточный, в условиях частых потерь, не востанавливается

ну тогда либо свои костыли

либо https://www.cisco.com/c/en/us/products/security/dynamic-multipoint-vpn-dmvpn/index.html

ну тогда либо свои костыли

Эх, на циско завязыватся не хочется

А еще вопрос, немного не по теме, какое впн решение есть для объединения несколькох ДЦ?

vyos в виртуалку поставить

https://vyos.io/

https://hub.docker.com/r/2stacks/vyos/

в принципе можно даже так, но честно скажу не уверен что это хорошая идея будет его в контейнер запихивать :)

vyos в виртуалку поставить

А чем оно лучше StrongSWAN/ OpenVPN без VyOS?

А чем оно лучше StrongSWAN/ OpenVPN без VyOS?

готовый комплект типа, можно все это по отдельности самому собрать да