проблема в этой строчке

сейчас попробую

проблема в этой строчке

действительно, спасибо ! пойду читать про что это вообще))

потому что там локально bind стоит скорее всего

потому что там локально bind стоит скорее всего

там локально - это всмысле откуда я пытаюсь разрезолвить ? и это нормально что я к другому впн не могу подконнектится ( с которым норм все было до этого )?

ну наверное потому что впн хост не резволвится

да, это мой косяк с резолв.конф

filebeat или fleuntbit ?

да да , filebeat https://www.elastic.co/products/beats/filebeat

Он льет в кафку, оттуда стейтфулсет грейлога забирает

а fluentbit тоже течет? есть у кого опыт?

Люди подскажите быстрый совет сгенирировать в k8s большую тучю событий? Может есть какой нибуть имейдж докеровский? Тестирую систему сбора логов. Хочу провести нагрузочное тестирование.

kubectl delete pod --all --all-namespaces

в цикле :)

kubectl delete pod --all --all-namespaces

хах)спс))

Люди подскажите быстрый совет сгенирировать в k8s большую тучю событий? Может есть какой нибуть имейдж докеровский? Тестирую систему сбора логов. Хочу провести нагрузочное тестирование.

loggen

https://linux.die.net/man/1/loggen

а fluentbit тоже течет? есть у кого опыт?

Течет

loggen

спс

Регулировать инетнсивность можно через лимиты CPU

а кто с архетиктурой знаком, подскажите, liveness probe выполняется локально на ноде или каким-то агентом снаружи?

kubectl с хоста

то есть kubelet?

я просто не понимаю, если пропадет связь ноды с мастером, но при этом контейнер останется работать на ноде без проблем. liveness probe сработает или нет?

я просто не понимаю, если пропадет связь ноды с мастером, но при этом контейнер останется работать на ноде без проблем. liveness probe сработает или нет?

https://kubernetes.io/blog/2018/08/03/out-of-the-clouds-onto-the-ground-how-to-make-kubernetes-production-grade-anywhere/

https://kubernetes.io/blog/2018/08/03/out-of-the-clouds-onto-the-ground-how-to-make-kubernetes-production-grade-anywhere/

ссылка крутая, но на вопрос "кто выполняет liveness probe" она не отвечает

kubelet, верно

про то что kubelet тож гдето встречал, но пруф не дам.

можно сделать упражнение - закрыть networkpolicy от хоста и получить вечно перезагружающийся под ибо не прошёл хелс-чек

можно сделать упражнение - закрыть networkpolicy от хоста и получить вечно перезагружающийся под ибо не прошёл хелс-чек

хм, ну получается тогда он проводится не локально, а откуда-то снаружи к примеру с controller-manager, иначе "откуда он знает"?

ладно, придется проверить

хм, ну получается тогда он проводится не локально, а откуда-то снаружи к примеру с controller-manager, иначе "откуда он знает"?

как откуда? хелсчек - часть спеки пода.

в момент шедулинга и узнает.

как откуда? хелсчек - часть спеки пода.

?

Добрый день. Подскажите, пожалуйста, как включить поддержку settings.k8s.io/v1alpha1. Доки говорят что надо добавить в —runtime-config settings.k8s.io/v1alpha1=true для apiserver. Но как это сделать? Какой deployment поменять?

?

фигасе, Гриша

как откуда? хелсчек - часть спеки пода.

то есть все таки локально?

видел docker умеет хелсчеки, подозреваю это они и есть

то есть все таки локально?

кубелет делает все проверки. во всяком случае в тцпдампе они от кубелета.

видел docker умеет хелсчеки, подозреваю это они и есть

нет, это другие хелсчеки

Добрый день. Подскажите, пожалуйста, как включить поддержку settings.k8s.io/v1alpha1. Доки говорят что надо добавить в —runtime-config settings.k8s.io/v1alpha1=true для apiserver. Но как это сделать? Какой deployment поменять?

kube-apiserver https://kubernetes.io/docs/reference/command-line-tools-reference/kube-apiserver/

Добрый день. Подскажите, пожалуйста, как включить поддержку settings.k8s.io/v1alpha1. Доки говорят что надо добавить в —runtime-config settings.k8s.io/v1alpha1=true для apiserver. Но как это сделать? Какой deployment поменять?

это не деплоймент а конфиг аписервера.

@spuzirev спасибо за прояснение

kube-apiserver https://kubernetes.io/docs/reference/command-line-tools-reference/kube-apiserver/

Ага. Вот я вижу в неймспейсе три пода kube-apiserver-*, достаю с помощью kubectl describe их описание. Выкидывается что-то такое: kube-apiserver: …. Ports: 6443/TCP, 8080/TCP Command: /hyperkube apiserver … --admission-control=NamespaceLifecycle,LimitRanger,ServiceAccount,PersistentVolumeLabel,DefaultStorageClass,DefaultTolerationSeconds,MutatingAdmissionWebhook,ValidatingAdmissionWebhook,ResourceQuota …. --runtime-config=v1alpha1 Понятно, что нужно дополнить —runtime-config, но ведь я не могу прям спеку пода поменять. А deployments/statefulset, которые называются apiserver на наблюдаю

Ага. Вот я вижу в неймспейсе три пода kube-apiserver-*, достаю с помощью kubectl describe их описание. Выкидывается что-то такое: kube-apiserver: …. Ports: 6443/TCP, 8080/TCP Command: /hyperkube apiserver … --admission-control=NamespaceLifecycle,LimitRanger,ServiceAccount,PersistentVolumeLabel,DefaultStorageClass,DefaultTolerationSeconds,MutatingAdmissionWebhook,ValidatingAdmissionWebhook,ResourceQuota …. --runtime-config=v1alpha1 Понятно, что нужно дополнить —runtime-config, но ведь я не могу прям спеку пода поменять. А deployments/statefulset, которые называются apiserver на наблюдаю

если сетапится кластер kubeadm, на мастер ноде есть systemd unit для kubelet, в конфиге которого прописан путь для manifests

и там лежет yaml для kube-apiserver

/report

а кто с архетиктурой знаком, подскажите, liveness probe выполняется локально на ноде или каким-то агентом снаружи?

kubelet делает по ip адресу пода, если другой явно не указан. Поэтому networkpolicy на это не влияет.

kubelet делает по ip адресу пода, если другой явно не указан. Поэтому networkpolicy на это не влияет.

видать у меня более хитрый CNI - cilium, у него влияет

видать у меня более хитрый CNI - cilium, у него влияет

видимо cilium неправильно реализует спеку, т.к. по ней с hostNetwork той же ноды должен быть доступ

вероятно через NetworkPolicy правильно, у него есть ещё CiliumNetworkPolicy сразу с L7

Привет! А как лучше кешировать файлики на ингресе? Или это плохая идея и лучше делать отдельный сервис с кешом?

Привет! А как лучше кешировать файлики на ингресе? Или это плохая идея и лучше делать отдельный сервис с кешом?

мы кэшируем, но есть сложности: * нужно включать proxy_buffering со всеми вытекающими минусами * нужно в каждый ingress писать аннотацию с конфигами кэша * нужно добавлять http-snippet с proxy_cache_path в конфигмапу Это все касается ingress-nginx

а как увеличить backlog в ingress? через annotation есть вариант?

мы кэшируем, но есть сложности: * нужно включать proxy_buffering со всеми вытекающими минусами * нужно в каждый ingress писать аннотацию с конфигами кэша * нужно добавлять http-snippet с proxy_cache_path в конфигмапу Это все касается ingress-nginx

а отдельным прокси пробовали?

а как увеличить backlog в ingress? через annotation есть вариант?

в шаблоне есть переменная. как-то можно включить

а отдельным прокси пробовали?

нам неудобно. И так много прокси:) ingress смотрит в интернет и иногда забивает весь интерфейс раздачей статики. Если кэшировать в отдельном поде, то весь этот траффик из ингресс пойдет внутрь кластера и будет прыгать по нодам, забивая им приватные интерфейсы.

в шаблоне есть переменная. как-то можно включить

Я знаю, вопрос как до нее добраться и подкрутить) там используется $all.BacklogSize, похоже только через конфигмапу

Я знаю, вопрос как до нее добраться и подкрутить) там используется $all.BacklogSize, похоже только через конфигмапу

возможно они в коде считают. Поищите по исходникам

возможно они в коде считают. Поищите по исходникам

он sysctlsomaxcon() использует, а для контейнера чтобы его задать нужен unsafe sysctl, а он мне недоступен(

он sysctlsomaxcon() использует, а для контейнера чтобы его задать нужен unsafe sysctl, а он мне недоступен(

можно шаблон глобально переопределить и выпилить из него $all.BacklogSize ...

можно шаблон глобально переопределить и выпилить из него $all.BacklogSize ...

ну здесь уже с ingress неймспейсом будет проблема, т.к. физически somaxconn у него будет 128.

ERROR: S client not available

ну здесь уже с ingress неймспейсом будет проблема, т.к. физически somaxconn у него будет 128.

вот такое есть https://github.com/kubernetes/ingress-nginx/tree/80462ecdad63b851d5cd00ec623f55e64cd26728/docs/examples/customization/sysctl Кстати, как-нибудь можно замониторить нехватку бэклога?

коллеги, среди нас есть достаточно смелые, кто уже пробовал? https://cilium.io/blog/2018/08/21/cilium-12/

привет, кто-то настраивал fluent-bit с containerd?

коллеги, среди нас есть достаточно смелые, кто уже пробовал? https://cilium.io/blog/2018/08/21/cilium-12/

В лабе прекрасно живёт, под нагрузкой ещё не пробовал

привет, кто-то настраивал fluent-bit с containerd?

если да, зашарте конфиг файл пожалуйста!

вот такое есть https://github.com/kubernetes/ingress-nginx/tree/80462ecdad63b851d5cd00ec623f55e64cd26728/docs/examples/customization/sysctl Кстати, как-нибудь можно замониторить нехватку бэклога?

Спасибо, попробую, правда с privileged проблемы есть у меня

коллеги, среди нас есть достаточно смелые, кто уже пробовал? https://cilium.io/blog/2018/08/21/cilium-12/

я пробовал, сейчас проходит обкатку

тесты буду скорее всего через пару недель

эээ, если я правильно понимаю вывод ss и он не врет, Send-Q = 1

Recvq ,значит тоже 1 :) такое само не бывает, авторы приложения постарались

Recvq ,значит тоже 1 :) такое само не бывает, авторы приложения постарались

да, я уже разобрался, спасбио за наводку поставил рядом nginx, выставил ему backlog == 1 и получил воспроизводимую проблему

ладно, придется проверить

Точно kubelet

да, я уже разобрался, спасбио за наводку поставил рядом nginx, выставил ему backlog == 1 и получил воспроизводимую проблему

Основательный подход к сбору доказательств, иначе девелоперы и не почешутся?

Основательный подход к сбору доказательств, иначе девелоперы и не почешутся?

с той стороны сидят малоквалифицированные специалисты, думаю вы понимаете о чем я ?

некоторые из них путают http 502 ошибку и конфликт контроля версий в git'e

некоторые из них путают http 502 ошибку и конфликт контроля версий в git'e

А виноват kubernetes

виноват был k8s, т.к. через curl localhost внутри пода проблемы не было

я писал выше что раньше, если tcp шел через lo0, то он немного под другим цепочкам логическим идет внутри tcp стека линукса

и под лимиты backlog'а он не попадает, поэтому 8 часов я потратил на дебаг сети в k8s

либо попадает под лимиты backlog, но lo0 пакеты в нем вообще не задерживаются и нужно запускать (возможно) паралелльно 1000 запросов у меня же тесты фейлились на 10 паралелльных

А виноват kubernetes

root cause: https://github.com/dropwizard/dropwizard/issues/2431

чисто на посмеяться

коллеги, среди нас есть достаточно смелые, кто уже пробовал? https://cilium.io/blog/2018/08/21/cilium-12/

Я очень хочу

привет, кто-то настраивал fluent-bit с containerd?

Да все по ману: [INPUT] Name tail Path /var/log/containers/*.log Parser crio Tag kube.* Mem_Buf_Limit 25MB [FILTER] Name kubernetes Match kube.*

Да все по ману: [INPUT] Name tail Path /var/log/containers/*.log Parser crio Tag kube.* Mem_Buf_Limit 25MB [FILTER] Name kubernetes Match kube.*

спасибо большое, а какой парсер для kubernetes фильтра?

спасибо большое, а какой парсер для kubernetes фильтра?

Вот все, что есть. Ниже опции для подключения к k8s только. Т.е парсер - в инпуте. В фильтре - фильтр, kubernetes и все

Вот все, что есть. Ниже опции для подключения к k8s только. Т.е парсер - в инпуте. В фильтре - фильтр, kubernetes и все

и с таким конфигом он вытаскивает из куба namespace, pod name и остальное?

Ну да. Главное в контейнере запускать fluent-bit, а не на ноде. Т.к по дефолту он ищет в /var/run/secrets все для подключения к k8s api, и не все это можно опциями переопределить

оки, спасибо большое

Всем привет, кто нить сталкивался, правильно ли я понял, отключить авторизацию нельзя для kubernetes-dashboard (так как токен он использует из RBAC). Но может кто то решал, нужно что бы дашборда пропускала авторизацию, при этом авторизовывалась в самом кубере токеном и правами, а мой фронт использовал http авторизацию с ldap. В идеале группы ldap завязать на namespace-ы но судя по тому что нарыть удалось об этом речи пока не идет

ага все, вопрос походу снимается, разобрался как он работает, там можно куку отгружать на nginx-е, по пробую костылей по вставлять