Muslim
Добрый вечер:) пока не сильно разбираюсь в kubernetes, но хорошо разобрался и уже достаточно давно использую docker:) возник вопрос целесообразности: стоит ли настраивать kubernetes, если у меня всего 1 instance сервиса с nginx как reverse-proxy? Сейчас развёрнуто с docker-compose и обновление накатывается ночью, в момент когда сервисом не пользуются (есть гарантия что с 4 до 8 не пользуются юзеры)
Lucky SB
нет
The
statefulset
да. так у кафки сделано. но хотелось бы обойтись деплрйментом
Lucky SB
он щапустит два на одном тогда. не подходит
читайте доки. daemonset никогда не запустит два пода на одной ноде
The
любишь стоя и в гамаке ?
у меня текущая поставка апликейшена в виде деплоймента.
The
мне надо зафиксировать две реплики и на нодах и всё
Lucky SB
нафига ?
The
понимаю что не в концепте к8
The
нафига ?
чтобы не тратить ресурсы третьей ноды
The
дождаться возвращения упавшей
The
похоже что демонсеты + афинити неизбежно
Lucky SB
чтобы не тратить ресурсы третьей ноды
т.е. куб у вас не настоящий получается. так чисто для виду. ну читай https://kubernetes.io/docs/concepts/configuration/assign-pod-node/#affinity-and-anti-affinity
Lucky SB
я говорю мне реплику пересоздавать не надо
ты очем щас ? что за реплика ? что ты понимаешь под этим словом ?
Марат
он имеет ввиду поддержание replica на заданном уровне в репликасете, все ж понятно) привет
Марат
я говорю мне реплику пересоздавать не надо
создавай просто поды и сам занимайся их жизнью)
Solyar
Предложили стейтфулсет
Solyar
непонравилось
Марат
стейтфул в дефолте тоже не реализаует желаемое, аффинити все-равно пилить
Rustam
А толерейшен node.kubernetes.io/not-ready сделать с tolerationSeconds?
Марат
А толерейшен node.kubernetes.io/not-ready сделать с tolerationSeconds?
тоже вариант, если на бесконечность поставить
Fidelina
Error creating: pods "elasticsearch-client-fd868d475-" is forbidden: unable to validate against any security context constraint: [spec.initContainers[0].securityContext.privileged: Invalid value: true: Privileged containers are not allowed fsGroup: Invalid value: []int64{1000}: 1000 is not an allowed group spec.initContainers[0].securityContext.privileged: Invalid value: true: Privileged containers are not allowed] получаю эту ошибку при установке elasticsearch
Fidelina
oc adm policy add-scc-to-user privileged -z default oc adm policy add-scc-to-user anyuid -z default
Fidelina
вот такие вещи не срабатывают
Fidelina
может сталкивались?
Fidelina
в самом контейнере стоит securityContext: privileged: true
Fidelina
securityContext: fsGroup: 1000
Fidelina
securityContext: runAsUser: 0
George
Если ничего не помогает - поищи эластик, который привилегированного юзера не требует
George
Ну, и сервис-аккаунт создай в самом проекте. Мне кажется, что это поможет, т.к. с дефолтом могут быть доп.нюансы
Dmitry
ну или создай отдельный sa для эластика, и повесь на него psp которому разрешен priveleged
Alexander
Думаю дело не в SA. Эластику нужно не так много от Кубера. А вот обычно в его инит контейнерах стоят грязные трюки типа sysctl для vm.max_map_count... И тут надо разобраться - дать эту возможность или убрать нафиг
Alexander
Ни разу не видел. Обычно sysctl редактировались админом, снаружи (на хосте, в докер компоузе, другими способами)
Ну вот офф Helm chart https://github.com/elastic/helm-charts/blob/master/elasticsearch/templates/statefulset.yaml initContainers: {{- if .Values.sysctlInitContainer.enabled }} - name: configure-sysctl securityContext: runAsUser: 0 privileged: true image: "{{ .Values.image }}:{{ .Values.imageTag }}" command: ["sysctl", "-w", "vm.max_map_count={{ .Values.sysctlVmMaxMapCount}}"]
Alexander
Ну и этот чарт недавно сделали. Я и в паре других мест видет
Alexander
И по ошибке видно что там есть привилигированный инит контейнер - так что highly likely
Fidelina
спасибо, создала отдельного sa и дала ему прав
Fidelina
заработало
Alexander
спасибо, создала отдельного sa и дала ему прав
А можешь полностью показать что у тебя в initContainers? Для статистики насчет sysctl
Fidelina
А можешь полностью показать что у тебя в initContainers? Для статистики насчет sysctl
initContainers: - command: - sysctl - '-w' - vm.max_map_count=262144 image: 'busybox:latest' imagePullPolicy: Always name: sysctl resources: {} securityContext: privileged: true terminationMessagePath: /dev/termination-log terminationMessagePolicy: File - command: - /bin/bash - '-c' - > set -e; set -x; chown elasticsearch:elasticsearch /usr/share/elasticsearch/data; for datadir in $(find /usr/share/elasticsearch/data -mindepth 1 -maxdepth 1 -not -name ".snapshot"); do chown -R elasticsearch:elasticsearch $datadir; done; chown elasticsearch:elasticsearch /usr/share/elasticsearch/logs; for logfile in $(find /usr/share/elasticsearch/logs -mindepth 1 -maxdepth 1 -not -name ".snapshot"); do chown -R elasticsearch:elasticsearch $logfile; done
The
А толерейшен node.kubernetes.io/not-ready сделать с tolerationSeconds?
спасибо. похоже на выход из моей ситуации. буду пробовать
Fidelina
initContainers: - command: - sysctl - '-w' - vm.max_map_count=262144 image: 'busybox:latest' imagePullPolicy: Always name: sysctl resources: {} securityContext: privileged: true terminationMessagePath: /dev/termination-log terminationMessagePolicy: File - command: - /bin/bash - '-c' - > set -e; set -x; chown elasticsearch:elasticsearch /usr/share/elasticsearch/data; for datadir in $(find /usr/share/elasticsearch/data -mindepth 1 -maxdepth 1 -not -name ".snapshot"); do chown -R elasticsearch:elasticsearch $datadir; done; chown elasticsearch:elasticsearch /usr/share/elasticsearch/logs; for logfile in $(find /usr/share/elasticsearch/logs -mindepth 1 -maxdepth 1 -not -name ".snapshot"); do chown -R elasticsearch:elasticsearch $logfile; done
Alexander
Мы не знаем, что @afidelina разворачивает )
Ну вот, у нее тоже sysctl -w vm.max_map_count=262144 ) Я ж говорил - оно повсюду )
Марат
Ну вот, у нее тоже sysctl -w vm.max_map_count=262144 ) Я ж говорил - оно повсюду )
только первоначальный шедюлинг этим не будет описан, а тебе надо шедюлить на первые две ноды, тут аффинити все-таки понадобится
Dmitry
В таких случаях, я бы дропал  установку sysctl, а если два контейнера захотят менять vm.max_map_count? Мне кажется этим лучше управлять на уровне нод, какой-нибудь Scm или daemonset'ом. И через аффинити закидывать elastic на правильно настроенные ноды
Denis
Host: 'test-*.mydomain.com' так умеет
Неа, не получилось(
George
sysctl очевидно атрибут ноды, а не самого контейнера
Alexander
Неа, не получилось(
У тебя nginx ingress?
Denis
У тебя nginx ingress?
от kubernetes который
Denis
У тебя nginx ingress?
Сейчас вот так еще попробую: nginx.ingress.kubernetes.io/server-alias: 'test-*.mydomain.com'
Alexander
Сейчас вот так еще попробую: nginx.ingress.kubernetes.io/server-alias: 'test-*.mydomain.com'
Не делал такого, но что-что слышал. Вроде в nginx это надо по-хитрому задавать: Имя с маской может содержать звёздочку (“*”) только в начале или в конце имени, и только на границе, определяемой точкой. Имена “www.*.example.org” и “w*.example.org” являются некорректными, но их можно задать с помощью регулярных выражений, например, “~^www\..+\.example\.org$” и “~^w.*\.example\.org$”.
Fidelina
Ребята, кто настраивал связку container-logs-with-fluent-bit-elasticsearch-and-kibana ? там в Kibana есть доступный для создания index - kibana_sample_data_logs если заглянуть в этот индекс, там откровенная фигня, словно пример какой-то, а не реальные данные
Fidelina
Да - это пример для баловства
а как подгружать нормальные индексы, если ты в кубике?
Alexander
а как подгружать нормальные индексы, если ты в кубике?
В настройках fluent bit указать в какой индекс слать
Fidelina
В настройках fluent bit указать в какой индекс слать
ты можешь скинуть рабочий пример?
Fidelina
я бы сравнила с тем, что у меня есть)
Alexander
ты можешь скинуть рабочий пример?
Мы просто ушли от fluent bit. Я бы и тебе посоветовал )
Fidelina
и на что ушли?
Denis
и на что ушли?
FileBeat, journalBeat)
Alexander
почему?
У него нет динамической перегрузки конфига. Нет плейсхолдеров в output. Ушли на FileBeat )
Fidelina
спасибо, у меня новая инстялляция, пожалуй и я уйду на FileBeat
George
кажется, что journalBeat сыроват