> dns сразу отдаст все конечные айпишники вместо виртуального
но есть одна проблема, мне нужно чтобы ip был внешним) а можно ли внешний ip прихуячить поду?
Grisha
Vadim
https://blog.doit-intl.com/autoscaling-k8s-hpa-with-google-http-s-load-balancer-rps-stackdriver-metric-92db0a28e1ea?gi=ed0f588ffe54
Etki
но есть одна проблема, мне нужно чтобы ip был внешним) а можно ли внешний ip прихуячить поду?
NodePort / Ingress / LoadBalancer, дальше без меня, спасибо
Grisha
и на том спасибо
German
а есть читик по helm'y может кто знает?
Aleksey
а есть читик по helm'y может кто знает?
В слаке, который кубернетис, который типа интернациональный
Михаил
German
а чем тебе здесь на читик?
тут я по моему всех уже достал, углубляюсь в технологию и упираюсь как потом оказывается в очевидные вещи(хотя вроде пролистал все основные мануалы), в чем проблема, есть https://github.com/bitnami/charts/tree/master/bitnami/kafka , он при старте падает с ошибкой TRACE Error: Error executing 'postInstallation': EACCES: permission denied, mkdir '/bitnami/kafka/data гугление привело к тому что при старте надо через command сделать обычный chown, (ну или хотябы слип чтобы я успел в exec посмотреть что происходит) не могу понять как можно отредактировать helm чтобы этого добиться (прошу прощения за читик)
Rainbow
В ingress можно допустить ошибку (!!!), что приведёт к невалидному nginx.conf и правки перестанут применяться. Не нужно делать restart с мыслью "а может тупануло"... тупануло, но не nginx, а я сам тупой 🙈 Ошибка
- path: / api
backend:
serviceName: client-api
servicePort: 3000
поставил пробел после /
смешно, почти как bumblebee
German
тут я по моему всех уже достал, углубляюсь в технологию и упираюсь как потом оказывается в очевидные вещи(хотя вроде пролистал все основные мануалы), в чем проблема, есть https://github.com/bitnami/charts/tree/master/bitnami/kafka , он при старте падает с ошибкой TRACE Error: Error executing 'postInstallation': EACCES: permission denied, mkdir '/bitnami/kafka/data гугление привело к тому что при старте надо через command сделать обычный chown, (ну или хотябы слип чтобы я успел в exec посмотреть что происходит) не могу понять как можно отредактировать helm чтобы этого добиться (прошу прощения за читик)
причем от того же bitnami в офф репозитарии в yml для кубика есть такой кусок который и решает эту проблему:
initContainers:
- name: volume-permissions
image: busybox
command: ['sh', '-c', 'chmod -R g+rwX /bitnami']
volumeMounts:
- mountPath: /bitnami
name: zookeeper-data
Nikolay
А есть у кого позитивный опыт использования calico policy? Есть желание хостовые ендпоинты им закрыть + дотянуть calico до хостов вне кластера с той же целью + service mesh.
Лучше переползти на 3.3 или 2-я версия без global policy так же зайдет? Насколько оно всё удобно в поддержке?
И в догонку, кто как на baremetal настраивает и управляет iptables?
Anton
А есть у кого позитивный опыт использования calico policy? Есть желание хостовые ендпоинты им закрыть + дотянуть calico до хостов вне кластера с той же целью + service mesh.
Лучше переползти на 3.3 или 2-я версия без global policy так же зайдет? Насколько оно всё удобно в поддержке?
И в догонку, кто как на baremetal настраивает и управляет iptables?
базово iptables настроен пускать только 80\443 с внешнего интерфейса. с calico можно намутить фильтрацию трафика на любых интерфейсах?
Dmitriy
Котики, хочу странного - запускать после старта пода скрипты конфигурирования. Кто-нибудь подобную плохую практику делал? Что использовали?
Grisha
pre_start hook
Grisha
хотя смотря что такое скрипты конфигурирования)
Dmitriy
да, я на лайфсайкл смотрю, там есть пост_старт скрипты
Dmitriy
скрипты конфигурирования - это, к сожалению, громадная портянка на ансибл, которую я прямо сейчас устану в докер засовывать
Vladimir
Товарищи, подскажите пжс, делаю configmap с data( bash script), хочу его примонтировать внутрь. Есть пример манифеста deployment?
Andor
берёшь и монтируешь
Andor
а может тебе всё-таки его в образ сунуть?
Anton
Товарищи, подскажите пжс, делаю configmap с data( bash script), хочу его примонтировать внутрь. Есть пример манифеста deployment?
Ты доку открой просто, по запросу mount configmap найдёшь точно. Проще чем в чате спрашивать
Vladimir
Ок, так ещё не искал
Anton
скрипты конфигурирования - это, к сожалению, громадная портянка на ансибл, которую я прямо сейчас устану в докер засовывать
Есть предположение что большую часть в dockerfile можно переместить
Vladimir
И api reference посмотри, может mode задать для файлов сразу
Mode подождёт, так бы просто заставить работать
Dmitriy
Товарищи, подскажите пжс, делаю configmap с data( bash script), хочу его примонтировать внутрь. Есть пример манифеста deployment?
spec:
template:
spec:
containers:
- command:
- /bin/bash
volumeMounts:
- mountPath: /config
name: config
volumes:
- configMap:
name: configmapName
name: config
Vladimir
Dmitriy
Есть предположение что большую часть в dockerfile можно переместить
У меня просто сервис энтерпрайзный, с конфигурацией после старта через запросы к апишечки. XML в запросах, вот это всё.
Dmitriy
Я конечно когда-нибудь переделаю всё это нормально, но пока просто запустить надобно
Andor
(никогда)
Dmitriy
реализую через lifecycle post_start просто вызов ансибла против локалхоста
Andor
што
Andor
вызов ансибла внутри контейнера?
Andor
я правильно осознал?
Dmitriy
куда деваться
Andor
а зачем тебе кубернетис вообще?
A
Добрый день всем! На одной из нод ошибка DiskPressure, и теперь все поды на этой ноде failed. Как то это можно полечить?
Stas
снять DiskPressure?
Dmitriy
вызов ансибла внутри контейнера?
Sometimes you eat the bear and sometimes the bear, well, he eats you.
Andor
место почистить
Andor
дисков добавить
A
Это же ошибка не OutOfDisk
Stas
у вас FS какая на разделе с докером?
A
xfs
Andor
свободное место на диске проверь
A
Да там доступно 18%
Alexey
а свободных инодов?
Andor
df -i
Andor
а при скольки начинается DiskPressure?
Andor
https://kubernetes.io/docs/tasks/administer-cluster/out-of-resource/#node-conditions
Stas
там чуууть выше написано: The kubelet has the following default hard eviction threshold:
memory.available<100Mi
nodefs.available<10%
nodefs.inodesFree<5%
imagefs.available<15%
Alexey
а при скольки начинается DiskPressure?
для XFS наверно 5%, т.к. там нет root reserved как в ext
Andor
а при чём тут root reserved, если контейнеры от рута запускаются
Alexey
если от рута, тогда ни в чем
Alexey
наверно имело бы значение если бы от неприв.юзера
Andor
интересно, а у local-provisioner эта опция настраивается?
Alexey
Anatoly таки сколько свободных инодов-то? (выше написали что можно посмотреть через df -i)
G72K
В ingress можно допустить ошибку (!!!), что приведёт к невалидному nginx.conf и правки перестанут применяться. Не нужно делать restart с мыслью "а может тупануло"... тупануло, но не nginx, а я сам тупой 🙈 Ошибка
- path: / api
backend:
serviceName: client-api
servicePort: 3000
поставил пробел после /
смешно, почти как bumblebee
nginx controller вообще как будто первокурсники писали
Andor
В официальном сетапе гитлаба в кубе ещё недавно chef запускали
оно до сих пор вроде если через omnibus
Andor
но есть и другой имейдж гитлаба
Rainbow
nginx controller вообще как будто первокурсники писали
да нет, вроде не плохо. Я просто пол года писал писал ingress, все гладко, а тут бах и downtime 7 минут.
Rainbow
* из-за пробела, что особенно печально
Andor
а нет метрики какой-нибудь, которая показывает что конфиг кривой сгенерился?
Rainbow
не знаю... он точно чекается, т.е. он не поднялся после kubectl delete pod
Andor
ну понятно что не поднялся
Andor
но после правки аннотаций могла загореться лампочка что конфиг кривой
Andor
(а могла и нет или ваще не существовать)
G72K
да нет, вроде не плохо. Я просто пол года писал писал ingress, все гладко, а тут бах и downtime 7 минут.
namespace isolation напрочь сломано если конфигмапа не там где ингресс, пихают весь (со всеми запятыми) X-Forwarded-For в Host к бекенду, hsts по умолчанию включен, конфигурируют nginx при старте с пусто конфигмапой (не ждут синхронизации информера при старте), ещё всякие приколы в самом nginx темплейте были, уже не вспомню
Rainbow
> hsts по умолчанию включен
вот это нежданчик для меня был, особенно если до этого, не знаешь, что такое.
Rainbow
Я первое время проксил со старого серва кубер и откуда-то стали вылазить https redirect где не нужно
G72K
Вообще на заре kubernetes в официальную гитхаб организацию понабрали говен просто потому что пивка с авторами на конференциях бухнули: kops, helm, nginx ingress controller и теперь всем с этим жить.
Andor
а чо с копс не так?
Rainbow
альтернативы nginx ingress же нет особо, смысла ругаться не вижу.