расскажи как ты деплоишь 6 реплик на три ноды
6 портов сталучайных. Просто случайных. На каждую реплику
Rainbow
Andy
Вообще, я ждал что на форуме будет рассмотрено больше практических кейсов. В этом плане интересный был рассказ про Vitess и Карен Товмасян тоже хорошую сессию провёл. Жаль только что в РФ всё зарегулировано, а люди панически боятся лезть в публичные облака
Боятся в публичные облака за пределами страны. Потому что сегодня ты пилишь красивый k8s-flow, а завтра ты переносишь его в условный яндекс за 3 цены.
Rainbow
расскажи как ты деплоишь 6 реплик на три ноды
я их не пишу руками, это выглядит как дай мне порт и все. Если реплик 6, дают 6 портов.
Rainbow
безопасника вам надо, барин
это внутренняя сеть, какие безопасники? А далеко не все cni умеют networkpolicy
Vadim
аа, ну тогда можно всё раз сеть "внутренняя"
Lucky SB
6 портов сталучайных. Просто случайных. На каждую реплику
а что в качестве балансировщика ?
Vadim
>А далеко не все cni умеют networkpolicy
ровно одна емнип, да и вопрос скорее "какие порты открывать для внешнего доступа"
Rainbow
>А далеко не все cni умеют networkpolicy
ровно одна емнип, да и вопрос скорее "какие порты открывать для внешнего доступа"
никакие. Все через traefik, который отдельно от воркер нод.
Rainbow
у воркер нод даже интернета нет 🙈
Lucky SB
Внешнего traefik. Внутренние - кто как умеет.
а кто траефику рассказывает на какие узлы-порты трафик слать ?
Lucky SB
а траефик умеет брать что-то из консула ? или консул умеет конфиг для траефика создавать ?
Lucky SB
или что-то самописное посреднке?
Rainbow
а траефик умеет брать что-то из консула ? или консул умеет конфиг для траефика создавать ?
https://docs.traefik.io/configuration/backends/consulcatalog/
traefix сам с одного аргумента при запуске....
Rainbow
traefik --consulcatalog
и чтобы консул на хосте стоял - все.
Alex
Боятся в публичные облака за пределами страны. Потому что сегодня ты пилишь красивый k8s-flow, а завтра ты переносишь его в условный яндекс за 3 цены.
Согласен. Но вот что интересно, пробовал ли кто-то просто добавлять к своим сервисам российские адреса, чтобы гэбне глаза замылить, а всё в реале оставить как было? Откуда у сапогов экспертиза для понимания того, где именно хранятся данные?
Rainbow
а траефик умеет брать что-то из консула ? или консул умеет конфиг для траефика создавать ?
В консул загоняется теги типа
traefix.frontend.rule=Host:mysite.com;PathPrefix=/api
типа kind: ingress.
letsencrypt сам приезжает и расходится через consul между кластером traefik
Lucky SB
а кто следит за подами, что они живые и обновляет инфу в консуле ?
Rainbow
nomad
Rainbow
или руками просто dorker run --restart always и через ansible регаю.
Rainbow
это редкий кейс, просто это не проблема, все гибко. у ansible нормальное описание consul сервиса в yaml.
Rainbow
nginx так раскатан для статики.
Lucky SB
чем больше я это все слышу - тем сильнее убеждаюсь, что за три года в хашикорп ничего не поменялось. как ты сидели альтернативно одаренные личности, так и продолжают
Vadim
а кто следит за подами, что они живые и обновляет инфу в консуле ?
иш ты, может тебе еще Pod Distruption Budget или аффинити захотелось?
Lucky SB
иш ты, может тебе еще Pod Distruption Budget или аффинити захотелось?
ни. я не настаиваю... мне бы Readyness probe
Rainbow
чем больше я это все слышу - тем сильнее убеждаюсь, что за три года в хашикорп ничего не поменялось. как ты сидели альтернативно одаренные личности, так и продолжают
Я не понял в чем проблема, кроме того, что нет cni
Rainbow
и как делать PDB без хелсчеков?
Я больше про aфинити. Гуглю что такое Pod Distruption Budget, не использовал.
Rainbow
Ладно, я не против куба, хорошее решение, но сложное. Есть альтернативы и не все печально, а местами на порядок проще. И альтернативы не "просто проще", а "просто другое".
Vadim
ты это уж раз пятый говоришь просто, может там что интересное появилось с тех пор - raw blocks или шедулер
Lucky SB
Nomad Enterprise has support for namespaces, which allow jobs and their associated objects to be segmented from each other and other users of the cluster.
неймспейсы в энтерпрайз завезли
Lucky SB
ффф топку. теперь я знаю что буду спрашивать у любителей номада
Rainbow
Nomad Enterprise has support for namespaces, which allow jobs and their associated objects to be segmented from each other and other users of the cluster.
неймспейсы в энтерпрайз завезли
как у куба multitenancy будет настоящий, так можно будет говорить. меня не напрягают 50 деплойментов в одном ns, если это про удобство, в кубе закидывал в default основной прод.
Lucky SB
как у куба multitenancy будет настоящий, так можно будет говорить. меня не напрягают 50 деплойментов в одном ns, если это про удобство, в кубе закидывал в default основной прод.
ну а меня напрягает.
видимо у тебя задачи мелкие, раз 50 деплойментов для тебя много
Rainbow
ну а меня напрягает.
видимо у тебя задачи мелкие, раз 50 деплойментов для тебя много
если не пихать в прод кластер стейдж и дев, то сколько там будет?
Rainbow
Кластера больше 100 деплойментов я разнесу точно
Lucky SB
если не пихать в прод кластер стейдж и дев, то сколько там будет?
ну прод - это прод. а вот дев-кластер, почему бы не создавать под каждую фичу свой namespace ?
у разрабов по десятку фич в работе, плюс стейджы, плюс всякие хотфиксы... и все это вот внезапно из проекта с десятком микросервисов вырастает в десяток различных инстансов.
держать это все в одном ns - жутко.
поднимать доп. кластера под каждый стейдж - это тупо куча лишнего геморроя. особенно когда рзрабы начинают вопить, что у них все пропало, потому что они не на тот кластер зашли
Антон
так
Антон
это гемор
Антон
давай сдлаем проще - удали заявку в СД и сделай заново пожалуйста
Lucky SB
Если поднять кластер - 2 минуты, то норм?
раздать всем разрабам креды доступа в кластер - это 2 минуты ?
Vadim
раздать всем разрабам креды доступа в кластер - это 2 минуты ?
раздать разрабам креды от продкластера!
Rainbow
раздать всем разрабам креды доступа в кластер - это 2 минуты ?
Я так не делаю, разрабы только image дают и рекомендации по настройке апы. Но не вижу проблемы быстро поднимать кластер. Так делают в gke команды, я свои кластера поднимаю за пару минут.
Nik
Народ, а давно куб такой умный, находит в неймспейсе mysql и его параметрией пачкает енв всем подряд подам?
Nik
Vadim
Народ, а давно куб такой умный, находит в неймспейсе mysql и его параметрией пачкает енв всем подряд подам?
https://github.com/kubernetes/kubernetes/pull/68754, https://kubernetes.io/docs/concepts/containers/container-environment-variables/
Nik
https://github.com/kubernetes/kubernetes/pull/68754, https://kubernetes.io/docs/concepts/containers/container-environment-variables/
А откуда они вообще вылезают? Куб по имени стейтфулсета понимает? Или там мини сервис-дисковери?
Vadim
А откуда они вообще вылезают? Куб по имени стейтфулсета понимает? Или там мини сервис-дисковери?
https://kubernetes.io/docs/concepts/containers/container-environment-variables/#cluster-information
Nik
https://kubernetes.io/docs/concepts/containers/container-environment-variables/#cluster-information
Аааааа. Понял. Это тупо от имени сервиса. Спасибо.
Nik
(пойду переименую, минут 40 убил непонимая что происходит)
Alex
слушайте, а ведь если я использую pv только в режиме readWriteOnce и мне персистентность нужна только для сервисов, которые умеют в репликацию – то можно просто использовать hostVolume (или как там называется обычное монтирование с хоста)?
Yaroslav
Alex
можно, только может быть неудобно. А может, и наоборот 🙂
вот что-то начинает казаться, что наоборот 🤔
Yaroslav
вам обслуживание вольюмов надо будет делать ? ну скопировать оттуда чего-нибудь. Вы разделы будете создавать под вольюм или нет ? А есть роли мастера или слейва в инстансах и как будет производитьсч свичовер ? Там много чего спросить можно
Yaroslav
в общем случае - не ленитесь, используйте pv
Andrey Zakharov 🐝
всем привет , столкнулся с такой проблемой - использую helm в котором описал тестовый чарт , в values указал приватный репозиторий , в кубернетесе (миникуб) создал secret (json файл докер логина) regcred
в чарте в deployment.yaml в spec.containers описал использование этого секрета для пула имейджа :
imagePullSecrets:
- name: regcred
при деплое чарта хелмом , выдает ошибку чтчо не может скачать образ
Andrey Zakharov 🐝
когда делаю kubectl get pod -o yaml , там нет imagepullsecrets :
spec:
containers:
- image: mysuperrepo/group/image:tag
imagePullPolicy: IfNotPresent
livenessProbe:
failureThreshold: 3
httpGet:
path: /
port: http
scheme: HTTP
periodSeconds: 10
successThreshold: 1
timeoutSeconds: 1
name: fdpjobdispatcher
Andrey Zakharov 🐝
подскажите пожалуйста кто с подобным сталкивался , как решали
Alex
Andrey Zakharov 🐝
кажется разобрался , сори , я сам себе злостный буратино
imagepullsecrets должны быть на уровне containeres , а не в нём
Andrey Zakharov 🐝
spec:
imagePullSecrets:
- name: regcred
containers:
- name: {{ .Chart.Name }}
image: "{{ .Values.image.repository }}:{{ .Values.image.tag }}"
imagePullSecrets:
Andrey Zakharov 🐝
вот так заработало , вопрос снят
Aleksey
Почему может не обновляться pod по команде kubectl set image ... с включенной директивой imagePullPolicy: Always ?
Aleksey
Или я слишком многого хочу?
Rainbow
потому что хеш от манифеста не меняется.
Rainbow
поменяется image строка, поменяется хеш
Alegro
+
Rainbow
можно использовать digest от image, если прям зудит использовать один тег
Rainbow
Выглядит как
image: ubuntu@sha256:fc92eec5cac70b0c324cec2933cd7db1c0eae7c9e2649e42d02e77eb6da0d15f
George
к сожалению, это не человекочитабельно