Anton
Sed? Wtf?
sed s/Deployment/DaemonSet/g
Andrey
ужс
Anton
универсальный усилитель надёжности
Ilia
Всем привет, кто-нибудь эластик в кубере поднимал? Подскажите как бороться с лимитами.
Ilia
Какими
Ну к доке к эластику указано что нужно поставить в /etc/security/limits.conf unlimited
Ilia
И в докере это можно сделать, в кубере я никак не смог
Ilia
Смотри официальный чарт
угу, ну видимо для кубера и этого хватит initContainers: - command: - sysctl - -w - vm.max_map_count=262144 image: docker.elastic.co/elasticsearch/elasticsearch:7.5.1 imagePullPolicy: IfNotPresent name: configure-sysctl resources: {} securityContext: privileged: true runAsUser: 0
𝚔𝚟𝚊𝚙𝚜
Оба варианта так себе
George
Первый вариант shell-совместимый, второй будет работать только в bash.
Предложи лучше. Демонсет в привилегированном режиме ?
𝚔𝚟𝚊𝚙𝚜
Предложи лучше. Демонсет в привилегированном режиме ?
Лучше просто kubectl apply -f https://trusted_public_url/my.yamlбезо всяких sed
Crysalis
Лучше просто kubectl apply -f https://trusted_public_url/my.yamlбезо всяких sed
может там переменные какие-то вносятся
Crysalis
хотя тоже такое себе
Crysalis
надо понимать зачем сед :(
𝚔𝚟𝚊𝚙𝚜
может там переменные какие-то вносятся
Для основных кейсов можно сгенерить несколько версий yaml заранее, для всего остального есть helm и kustomize
Anton
привет. знатоки, подскажите. На машине установлен minikube c vm-driver=none. запущено порядка 8 деплойментов и пару persistentVolumes. Наблюдаю такую картину [root@ip-10-123-2-150 full-app]# df -h Filesystem Size Used Avail Use% Mounted on /dev/nvme0n1p1 30G 11G 20G 36% / devtmpfs 7.7G 0 7.7G 0% /dev tmpfs 7.7G 0 7.7G 0% /dev/shm tmpfs 7.7G 26M 7.7G 1% /run tmpfs 7.7G 0 7.7G 0% /sys/fs/cgroup overlay 30G 11G 20G 36% /var/lib/docker/overlay2/9ce473bcd4bf4782e3c08f36af895e953d3ac3e0bb2500a6f0310472f08ec3bd/merged overlay 30G 11G 20G 36% /var/lib/docker/overlay2/02e2b87d2fe9fda7426b0d8d77b6ec121dca53845994fd210a8fc4ab3873f0c7/merged overlay 30G 11G 20G 36% /var/lib/docker/overlay2/8caef8729920329fb4ff23c940a06b3eb62fd2c2d0156006b2ac278bad7c4f2f/merged shm 64M 0 64M 0% /var/lib/docker/containers/4f51c302a60751f98270a27d057252504d056598ef8696c1b69161cea058504d/mounts/shm overlay 30G 11G 20G 36% /var/lib/docker/overlay2/863b5a584a8a14118b31df77fdc1f4c5af398be742dca91b16710021e6cc1e6f/mergedну и дальше в таком роде. всего порядка 100 это вообще нормально и откуда так много файл систем?
как-то удалось это решить? я столкнулся в gke с таким же, причем только на некоторых нодах и как раз эти ноды периодически рестартуют ни с того ни с сего, доставляя определенные проблемы
Anton
причем произошло это после апгрейда с 1.14 на 1.15 и докера 18.09.7 -> 19.03.1
𝚔𝚟𝚊𝚙𝚜
Weave Net вообще на стороне сервера генерят манифест, а опции передают через параметры url
MRY
Ктонибудь ca.key вытаскивал из AWS EKS ?
George
Ктонибудь ca.key вытаскивал из AWS EKS ?
Зачем - можно поинтересоваться?
MRY
Нужно сгенирировать несколько сертификатов от имени куберовского CA
George
Я не уверен, что это возможно, т.к. контрол плейн скорее всего бежит не на отдельных виртуалках
George
А в куске облака, недоступном пользователю. Но если есть возможность этот ключ получить с воркер ноды( вряд ли), то тогда наверняка можно привилегированный контейнер и украсть реки )
MRY
А где же тогда ? в ec2 дашборде его нет. Возможно он также живет подом в том же фаргейте
MRY
на воркерах нет его только сам корневой церт без ключа
𝚔𝚟𝚊𝚙𝚜
Вот что бы включить какую-то одну простую фичу, иногда пишут целый KEP: https://github.com/kubernetes/enhancements/blob/6d97b64e59854ec7744d8bc3bfb9fadac29b52fe/keps/sig-network/20200103-mixed-protocol-lb.md
Hankey
Доброе утро! При прокатке ансиблом роль kubespray, на ноды не вешаются лейблы, и соотвественно ингрессы на нодах не работают. Я видел отдельную роль node-label самого kubespray для назначения лейблов на ноды. Из роли я понял, что надо определить две переменные - node_labels is defined - node_labels is mapping подскажите пожалуйста, как должны быть определены данные переменные?
Vadim
а nodefs и imagefs какие по дефолту в кубере ?
Anton
обновил gke кластер вчера на 1.15.4.gke22, и со вчерашнего утра по всему кластеру kernel panic в рандомных нодах. Как вам приключение причем если на кластер не дышать то редко, а если начинать чо-то там тейнтить и дрейнить, то просто каждую минуту заваливается
Anton
Зачем ? Что на мастере в логах ? Особенно API ?
зачем обновили? потому что секьюрити патчи я не совсем уверен как посмотреть логи в мастере в gke, но попробую
Евгений
Так последний 1.15 это 1.15.7-gke.2
Anton
у меня недоступен
Slach
Первый вариант shell-совместимый, второй будет работать только в bash.
спасибо =( ну там предполагается что bash стоит но есть окружения где bash это cygwin \ WSL а kubectl это native win32 binary ;( собственно для них и правилось, но никак не могу убедить в этом начальство в ответ аргумент "kubectl apply -f -" это не kubernetes way ;-( то что оба варианта такое себе я понимаю, но надеяться что в окружении где будет запускаться скрипт будет какой нибудь yq не приходится
George
kustomize
George
он уже встроен в kubectl
Anton
обычно там кнопочка "upgrade available", а щас нету
Sash
обычно там кнопочка "upgrade available", а щас нету
создай новый пул, перетащи все на него, старый удали
Anton
создай новый пул, перетащи все на него, старый удали
я так делал, новые пулы валятся с кернел паником. Держу один старый пул, потому что это единственное, что стабильное в этом кластере (пришлось даже его расширить)
Sash
может это реакция на какой-то ворклоад?
Anton
может это реакция на какой-то ворклоад?
может, но в 1.14 нет этой реакции
Anton
могу показать лог паника
Slach
А что вы правите-то там, почему бы не сгенерить манифесты заранее?
там примитивный темплейтинг на переменных окружения, которые шелл скрипту извне можно переопределить переменные типа из какого бранча брать yaml и из какого тега брать внутри yaml образ
Anton
покажи
https://pastebin.com/XVU8dMSU
Sash
https://pastebin.com/XVU8dMSU
ну ты смотрел что за ворклоады на ноде, может там какой-то один это вызывает?
𝚔𝚟𝚊𝚙𝚜
спасибо =( ну там предполагается что bash стоит но есть окружения где bash это cygwin \ WSL а kubectl это native win32 binary ;( собственно для них и правилось, но никак не могу убедить в этом начальство в ответ аргумент "kubectl apply -f -" это не kubernetes way ;-( то что оба варианта такое себе я понимаю, но надеяться что в окружении где будет запускаться скрипт будет какой нибудь yq не приходится
не везде есть bash, иногда это может быть и busybox, имхо лучше взять более совместисый вариант в угоду читаемости. К тому же далеко не все знакомы с синтаксисом баша и не все знают как работает перенаправление вида < <() а вот что такое пайп |, думаю, знают почти все
Anton
в этом конкрентном дампе написано что CPU stuck on useradd, в другом что на puma (web server)
Sash
да дофига там ворклоадов, как узнать то
сколько на на ноде? каким-то методом дедуктивным)
Sash
у меня когда-то одна нагрузка у которой подскакивал ЦПУ больше 100, заваливала нод, потом вроде на более поздних версиях уже не влияла так
Anton
cpu в порядке, мы смотрели, память тоже
Anton
ну и как бы чо это за ось такая, на которой intensive cpu usage приводит к панике
Sash
ну вот тем не менее у меня было такое на гке, обновил сразу, перестало.. но все равно переодически наблюдаю при каких-то действиях ноды падают ) сразу поднимаются, даже не смотрю что там :D
Anton
задвай вопрос в слаке кубернетиса
ну я так-то тикет им отправил, или нет надежды на суппорт?
Alex
ну я так-то тикет им отправил, или нет надежды на суппорт?
Отключи прометеус и все что с ним связано для тестов.
Anton
Sash
Sash
ну да там же для неплатного и врде нет никаких тикетов
Anton
дело не в скорости ответа, а скорее в компетенции
Anton
если они до сих пор не нашли сами, что там кернел паник (я им это позже отправил)
Sash
ну я помню, на пробном периоде задавал вопрос, там типа это входило, че-то было очень вяло))
Alex
который встроенный или все вообще?
Встроенный мониторинг, нагрузки будет меньше. При обновлении было такое, просто проверь,если поможет
Andrey
в этом конкрентном дампе написано что CPU stuck on useradd, в другом что на puma (web server)
Будто какая-то eBPF программа плохо отрабатывает. Не юзаешь каких-нибудь sysdig'ов и прочих хитрых вещей?
Anton
Будто какая-то eBPF программа плохо отрабатывает. Не юзаешь каких-нибудь sysdig'ов и прочих хитрых вещей?
NOTE Google Kubernetes Engine (GKE) uses Container-Optimized OS (COS) as the default operating system for its worker node pools. COS is a security-enhanced operating system that limits access to certain parts of the underlying OS. Because of this security constraint, Falco cannot insert its kernel module to process events for system calls. However, COS provides the ability to leverage eBPF (extended Berkeley Packet Filter) to supply the stream of system calls to the Falco engine. eBPF is currently supported only on GKE and COS. More details here. To install Falco on GKE, uncomment the following lines in the file falco-overrides.yaml: ebpf: enabled: true
Anton
и я это сделал, на 1.14 все ок было
Andrey
и я это сделал, на 1.14 все ок было
Баг, безусловно. Но тут надо сам понимаешь, как глубо копать. Лучше с саппортом решать, чем погружаться в этот чан.