Lucky SB
Muslim
Добрый вечер:) пока не сильно разбираюсь в kubernetes, но хорошо разобрался и уже достаточно давно использую docker:) возник вопрос целесообразности: стоит ли настраивать kubernetes, если у меня всего 1 instance сервиса с nginx как reverse-proxy? Сейчас развёрнуто с docker-compose и обновление накатывается ночью, в момент когда сервисом не пользуются (есть гарантия что с 4 до 8 не пользуются юзеры)
Lucky SB
нет
The
inqfen
The
statefulset
да. так у кафки сделано. но хотелось бы обойтись деплрйментом
Lucky SB
The
мне надо зафиксировать две реплики и на нодах и всё
Lucky SB
нафига ?
Solyar
The
понимаю что не в концепте к8
The
нафига ?
чтобы не тратить ресурсы третьей ноды
The
дождаться возвращения упавшей
The
похоже что демонсеты + афинити неизбежно
Lucky SB
чтобы не тратить ресурсы третьей ноды
т.е. куб у вас не настоящий получается. так чисто для виду.
ну читай
https://kubernetes.io/docs/concepts/configuration/assign-pod-node/#affinity-and-anti-affinity
The
The
Марат
он имеет ввиду поддержание replica на заданном уровне в репликасете, все ж понятно)
привет
Solyar
Solyar
Предложили стейтфулсет
Solyar
непонравилось
Марат
стейтфул в дефолте тоже не реализаует желаемое, аффинити все-равно пилить
Rustam
А толерейшен node.kubernetes.io/not-ready сделать с tolerationSeconds?
Марат
Fidelina
Error creating: pods "elasticsearch-client-fd868d475-" is forbidden: unable to validate against any security context constraint: [spec.initContainers[0].securityContext.privileged: Invalid value: true: Privileged containers are not allowed fsGroup: Invalid value: []int64{1000}: 1000 is not an allowed group spec.initContainers[0].securityContext.privileged: Invalid value: true: Privileged containers are not allowed]
получаю эту ошибку при установке elasticsearch
Fidelina
oc adm policy add-scc-to-user privileged -z default
oc adm policy add-scc-to-user anyuid -z default
Fidelina
вот такие вещи не срабатывают
Fidelina
может сталкивались?
Fidelina
в самом контейнере стоит
securityContext:
privileged: true
Fidelina
securityContext:
fsGroup: 1000
Fidelina
securityContext:
runAsUser: 0
George
George
Если ничего не помогает - поищи эластик, который привилегированного юзера не требует
George
Ну, и сервис-аккаунт создай в самом проекте. Мне кажется, что это поможет, т.к. с дефолтом могут быть доп.нюансы
Dmitry
ну или создай отдельный sa для эластика, и повесь на него psp которому разрешен priveleged
George
Alexander
Думаю дело не в SA. Эластику нужно не так много от Кубера. А вот обычно в его инит контейнерах стоят грязные трюки типа sysctl для vm.max_map_count...
И тут надо разобраться - дать эту возможность или убрать нафиг
George
George
Alexander
Ну и этот чарт недавно сделали. Я и в паре других мест видет
Alexander
И по ошибке видно что там есть привилигированный инит контейнер - так что highly likely
Fidelina
спасибо, создала отдельного sa и дала ему прав
Fidelina
заработало
Fidelina
А можешь полностью показать что у тебя в initContainers? Для статистики насчет sysctl
initContainers:
- command:
- sysctl
- '-w'
- vm.max_map_count=262144
image: 'busybox:latest'
imagePullPolicy: Always
name: sysctl
resources: {}
securityContext:
privileged: true
terminationMessagePath: /dev/termination-log
terminationMessagePolicy: File
- command:
- /bin/bash
- '-c'
- >
set -e; set -x; chown elasticsearch:elasticsearch
/usr/share/elasticsearch/data; for datadir in $(find
/usr/share/elasticsearch/data -mindepth 1 -maxdepth 1 -not -name
".snapshot"); do
chown -R elasticsearch:elasticsearch $datadir;
done; chown elasticsearch:elasticsearch
/usr/share/elasticsearch/logs; for logfile in $(find
/usr/share/elasticsearch/logs -mindepth 1 -maxdepth 1 -not -name
".snapshot"); do
chown -R elasticsearch:elasticsearch $logfile;
done
The
Fidelina
initContainers:
- command:
- sysctl
- '-w'
- vm.max_map_count=262144
image: 'busybox:latest'
imagePullPolicy: Always
name: sysctl
resources: {}
securityContext:
privileged: true
terminationMessagePath: /dev/termination-log
terminationMessagePolicy: File
- command:
- /bin/bash
- '-c'
- >
set -e; set -x; chown elasticsearch:elasticsearch
/usr/share/elasticsearch/data; for datadir in $(find
/usr/share/elasticsearch/data -mindepth 1 -maxdepth 1 -not -name
".snapshot"); do
chown -R elasticsearch:elasticsearch $datadir;
done; chown elasticsearch:elasticsearch
/usr/share/elasticsearch/logs; for logfile in $(find
/usr/share/elasticsearch/logs -mindepth 1 -maxdepth 1 -not -name
".snapshot"); do
chown -R elasticsearch:elasticsearch $logfile;
done
Alexander
Dmitry
В таких случаях, я бы дропал установку sysctl, а если два контейнера захотят менять vm.max_map_count? Мне кажется этим лучше управлять на уровне нод, какой-нибудь Scm или daemonset'ом. И через аффинити закидывать elastic на правильно настроенные ноды
Alexander
Denis
George
George
sysctl очевидно атрибут ноды, а не самого контейнера
Denis
У тебя nginx ingress?
Сейчас вот так еще попробую:
nginx.ingress.kubernetes.io/server-alias: 'test-*.mydomain.com'
Alexander
Сейчас вот так еще попробую:
nginx.ingress.kubernetes.io/server-alias: 'test-*.mydomain.com'
Не делал такого, но что-что слышал. Вроде в nginx это надо по-хитрому задавать:
Имя с маской может содержать звёздочку (“*”) только в начале или в конце имени, и только на границе, определяемой точкой. Имена “www.*.example.org” и “w*.example.org” являются некорректными, но их можно задать с помощью регулярных выражений, например, “~^www\..+\.example\.org$” и “~^w.*\.example\.org$”.
Fidelina
Ребята, кто настраивал связку container-logs-with-fluent-bit-elasticsearch-and-kibana ?
там в Kibana есть доступный для создания index - kibana_sample_data_logs
если заглянуть в этот индекс, там откровенная фигня, словно пример какой-то, а не реальные данные
Alexander
Denis
Alexander
Alexander
Fidelina
Fidelina
я бы сравнила с тем, что у меня есть)
Fidelina
Fidelina
и на что ушли?
Alex
Alexander
почему?
У него нет динамической перегрузки конфига. Нет плейсхолдеров в output.
Ушли на FileBeat )
Fidelina
спасибо, у меня новая инстялляция, пожалуй и я уйду на FileBeat
George
кажется, что journalBeat сыроват