George
Andrey
Andrey
ужс
Anton
универсальный усилитель надёжности
Ilia
Всем привет, кто-нибудь эластик в кубере поднимал? Подскажите как бороться с лимитами.
George
Ilia
Какими
Ну к доке к эластику указано что нужно поставить в /etc/security/limits.conf unlimited
Andrey
Ilia
И в докере это можно сделать, в кубере я никак не смог
Ilia
Смотри официальный чарт
угу, ну видимо для кубера и этого хватит
initContainers:
- command:
- sysctl
- -w
- vm.max_map_count=262144
image: docker.elastic.co/elasticsearch/elasticsearch:7.5.1
imagePullPolicy: IfNotPresent
name: configure-sysctl
resources: {}
securityContext:
privileged: true
runAsUser: 0
𝚔𝚟𝚊𝚙𝚜
𝚔𝚟𝚊𝚙𝚜
Оба варианта так себе
George
Crysalis
Crysalis
хотя тоже такое себе
Crysalis
надо понимать зачем сед :(
Anton
Anton
причем произошло это после апгрейда с 1.14 на 1.15 и докера 18.09.7 -> 19.03.1
𝚔𝚟𝚊𝚙𝚜
Weave Net вообще на стороне сервера генерят манифест, а опции передают через параметры url
George
MRY
Ктонибудь ca.key вытаскивал из AWS EKS ?
George
MRY
Нужно сгенирировать несколько сертификатов от имени куберовского CA
George
Я не уверен, что это возможно, т.к. контрол плейн скорее всего бежит не на отдельных виртуалках
George
А в куске облака, недоступном пользователю. Но если есть возможность этот ключ получить с воркер ноды( вряд ли), то тогда наверняка можно привилегированный контейнер и украсть реки )
MRY
А где же тогда ? в ec2 дашборде его нет. Возможно он также живет подом в том же фаргейте
MRY
на воркерах нет его только сам корневой церт без ключа
𝚔𝚟𝚊𝚙𝚜
Вот что бы включить какую-то одну простую фичу, иногда пишут целый KEP:
https://github.com/kubernetes/enhancements/blob/6d97b64e59854ec7744d8bc3bfb9fadac29b52fe/keps/sig-network/20200103-mixed-protocol-lb.md
Hankey
Доброе утро!
При прокатке ансиблом роль kubespray, на ноды не вешаются лейблы, и соотвественно ингрессы на нодах не работают. Я видел отдельную роль node-label самого kubespray для назначения лейблов на ноды. Из роли я понял, что надо определить две переменные
- node_labels is defined
- node_labels is mapping
подскажите пожалуйста, как должны быть определены данные переменные?
Vadim
а nodefs и imagefs какие по дефолту в кубере ?
Anton
обновил gke кластер вчера на 1.15.4.gke22, и со вчерашнего утра по всему кластеру kernel panic в рандомных нодах. Как вам приключение
причем если на кластер не дышать то редко, а если начинать чо-то там тейнтить и дрейнить, то просто каждую минуту заваливается
NM
Евгений
Так последний 1.15 это 1.15.7-gke.2
Anton
у меня недоступен
Slach
Первый вариант shell-совместимый, второй будет работать только в bash.
спасибо =( ну там предполагается что bash стоит
но есть окружения где bash это cygwin \ WSL а kubectl это native win32 binary ;( собственно для них и правилось, но никак не могу убедить в этом начальство
в ответ аргумент "kubectl apply -f -" это не kubernetes way ;-(
то что оба варианта такое себе я понимаю, но надеяться что в окружении где будет запускаться скрипт будет какой нибудь yq не приходится
Anton
George
kustomize
George
он уже встроен в kubectl
Anton
обычно там кнопочка "upgrade available", а щас нету
𝚔𝚟𝚊𝚙𝚜
Sash
может это реакция на какой-то ворклоад?
Anton
Anton
могу показать лог паника
Sash
Anton
покажи
https://pastebin.com/XVU8dMSU
𝚔𝚟𝚊𝚙𝚜
Anton
Anton
в этом конкрентном дампе написано что CPU stuck on useradd, в другом что на puma (web server)
George
Sash
у меня когда-то одна нагрузка у которой подскакивал ЦПУ больше 100, заваливала нод, потом вроде на более поздних версиях уже не влияла так
Anton
cpu в порядке, мы смотрели, память тоже
Anton
ну и как бы чо это за ось такая, на которой intensive cpu usage приводит к панике
Sash
ну вот тем не менее у меня было такое на гке, обновил сразу, перестало.. но все равно переодически наблюдаю при каких-то действиях ноды падают ) сразу поднимаются, даже не смотрю что там :D
Sash
Alex
Anton
Sash
Anton
Sash
ну да там же для неплатного и врде нет никаких тикетов
Anton
дело не в скорости ответа, а скорее в компетенции
Anton
если они до сих пор не нашли сами, что там кернел паник (я им это позже отправил)
Sash
ну я помню, на пробном периоде задавал вопрос, там типа это входило, че-то было очень вяло))
Anton
Алимжан
Anton
Anton
Будто какая-то eBPF программа плохо отрабатывает. Не юзаешь каких-нибудь sysdig'ов и прочих хитрых вещей?
NOTE Google Kubernetes Engine (GKE) uses Container-Optimized OS (COS) as the default operating system for its worker node pools. COS is a security-enhanced operating system that limits access to certain parts of the underlying OS. Because of this security constraint, Falco cannot insert its kernel module to process events for system calls. However, COS provides the ability to leverage eBPF (extended Berkeley Packet Filter) to supply the stream of system calls to the Falco engine. eBPF is currently supported only on GKE and COS. More details here.
To install Falco on GKE, uncomment the following lines in the file falco-overrides.yaml:
ebpf:
enabled: true
Anton
и я это сделал, на 1.14 все ок было