Andrey
потому что там локально bind стоит скорее всего
Oleg
потому что там локально bind стоит скорее всего
там локально - это всмысле откуда я пытаюсь разрезолвить ? и это нормально что я к другому впн не могу подконнектится ( с которым норм все было до этого )?
Andrey
ну наверное потому что впн хост не резволвится
Oleg
да, это мой косяк с резолв.конф
Artem
Он льет в кафку, оттуда стейтфулсет грейлога забирает
Stas
а fluentbit тоже течет? есть у кого опыт?
Denis
Люди подскажите быстрый совет сгенирировать в k8s большую тучю событий? Может есть какой нибуть имейдж докеровский? Тестирую систему сбора логов. Хочу провести нагрузочное тестирование.
𝚔𝚟𝚊𝚙𝚜
kubectl delete pod --all --all-namespaces
𝚔𝚟𝚊𝚙𝚜
в цикле :)
Andrey
https://linux.die.net/man/1/loggen
Denis
Artem
Регулировать инетнсивность можно через лимиты CPU
𝚔𝚟𝚊𝚙𝚜
а кто с архетиктурой знаком, подскажите, liveness probe выполняется локально на ноде или каким-то агентом снаружи?
Dmitry
kubectl с хоста
𝚔𝚟𝚊𝚙𝚜
то есть kubelet?
𝚔𝚟𝚊𝚙𝚜
я просто не понимаю, если пропадет связь ноды с мастером, но при этом контейнер останется работать на ноде без проблем.
liveness probe сработает или нет?
Dmitry
я просто не понимаю, если пропадет связь ноды с мастером, но при этом контейнер останется работать на ноде без проблем.
liveness probe сработает или нет?
https://kubernetes.io/blog/2018/08/03/out-of-the-clouds-onto-the-ground-how-to-make-kubernetes-production-grade-anywhere/
𝚔𝚟𝚊𝚙𝚜
https://kubernetes.io/blog/2018/08/03/out-of-the-clouds-onto-the-ground-how-to-make-kubernetes-production-grade-anywhere/
ссылка крутая, но на вопрос "кто выполняет liveness probe" она не отвечает
Dmitry
kubelet, верно
Алексей
про то что kubelet тож гдето встречал, но пруф не дам.
Dmitry
можно сделать упражнение - закрыть networkpolicy от хоста и получить вечно перезагружающийся под ибо не прошёл хелс-чек
𝚔𝚟𝚊𝚙𝚜
можно сделать упражнение - закрыть networkpolicy от хоста и получить вечно перезагружающийся под ибо не прошёл хелс-чек
хм, ну получается тогда он проводится не локально, а откуда-то снаружи к примеру с controller-manager, иначе "откуда он знает"?
𝚔𝚟𝚊𝚙𝚜
ладно, придется проверить
Sergei
хм, ну получается тогда он проводится не локально, а откуда-то снаружи к примеру с controller-manager, иначе "откуда он знает"?
как откуда? хелсчек - часть спеки пода.
Sergei
в момент шедулинга и узнает.
Alik
Добрый день. Подскажите, пожалуйста, как включить поддержку settings.k8s.io/v1alpha1. Доки говорят что надо добавить в —runtime-config settings.k8s.io/v1alpha1=true для apiserver. Но как это сделать? Какой deployment поменять?
𝚔𝚟𝚊𝚙𝚜
видел docker умеет хелсчеки, подозреваю это они и есть
Sergei
то есть все таки локально?
кубелет делает все проверки. во всяком случае в тцпдампе они от кубелета.
Igor
Добрый день. Подскажите, пожалуйста, как включить поддержку settings.k8s.io/v1alpha1. Доки говорят что надо добавить в —runtime-config settings.k8s.io/v1alpha1=true для apiserver. Но как это сделать? Какой deployment поменять?
kube-apiserver https://kubernetes.io/docs/reference/command-line-tools-reference/kube-apiserver/
Grigory
𝚔𝚟𝚊𝚙𝚜
@spuzirev спасибо за прояснение
Alik
kube-apiserver https://kubernetes.io/docs/reference/command-line-tools-reference/kube-apiserver/
Ага. Вот я вижу в неймспейсе три пода kube-apiserver-*, достаю с помощью kubectl describe их описание. Выкидывается что-то такое:
kube-apiserver:
….
Ports: 6443/TCP, 8080/TCP
Command:
/hyperkube
apiserver
…
--admission-control=NamespaceLifecycle,LimitRanger,ServiceAccount,PersistentVolumeLabel,DefaultStorageClass,DefaultTolerationSeconds,MutatingAdmissionWebhook,ValidatingAdmissionWebhook,ResourceQuota
….
--runtime-config=v1alpha1
Понятно, что нужно дополнить —runtime-config, но ведь я не могу прям спеку пода поменять. А deployments/statefulset, которые называются apiserver на наблюдаю
Igor
Ага. Вот я вижу в неймспейсе три пода kube-apiserver-*, достаю с помощью kubectl describe их описание. Выкидывается что-то такое:
kube-apiserver:
….
Ports: 6443/TCP, 8080/TCP
Command:
/hyperkube
apiserver
…
--admission-control=NamespaceLifecycle,LimitRanger,ServiceAccount,PersistentVolumeLabel,DefaultStorageClass,DefaultTolerationSeconds,MutatingAdmissionWebhook,ValidatingAdmissionWebhook,ResourceQuota
….
--runtime-config=v1alpha1
Понятно, что нужно дополнить —runtime-config, но ведь я не могу прям спеку пода поменять. А deployments/statefulset, которые называются apiserver на наблюдаю
если сетапится кластер kubeadm, на мастер ноде есть systemd unit для kubelet, в конфиге которого прописан путь для manifests
Igor
и там лежет yaml для kube-apiserver
Grigory
/report
Vitalii
а кто с архетиктурой знаком, подскажите, liveness probe выполняется локально на ноде или каким-то агентом снаружи?
kubelet делает по ip адресу пода, если другой явно не указан. Поэтому networkpolicy на это не влияет.
Dmitry
kubelet делает по ip адресу пода, если другой явно не указан. Поэтому networkpolicy на это не влияет.
видать у меня более хитрый CNI - cilium, у него влияет
Vitalii
видать у меня более хитрый CNI - cilium, у него влияет
видимо cilium неправильно реализует спеку, т.к. по ней с hostNetwork той же ноды должен быть доступ
Dmitry
вероятно через NetworkPolicy правильно, у него есть ещё CiliumNetworkPolicy сразу с L7
Oleg
Привет! А как лучше кешировать файлики на ингресе? Или это плохая идея и лучше делать отдельный сервис с кешом?
Vitalii
Привет! А как лучше кешировать файлики на ингресе? Или это плохая идея и лучше делать отдельный сервис с кешом?
мы кэшируем, но есть сложности:
* нужно включать proxy_buffering со всеми вытекающими минусами
* нужно в каждый ingress писать аннотацию с конфигами кэша
* нужно добавлять http-snippet с proxy_cache_path в конфигмапу
Это все касается ingress-nginx
Nikolay
а как увеличить backlog в ingress? через annotation есть вариант?
Oleg
Vitalii
а как увеличить backlog в ingress? через annotation есть вариант?
в шаблоне есть переменная. как-то можно включить
Vitalii
а отдельным прокси пробовали?
нам неудобно. И так много прокси:)
ingress смотрит в интернет и иногда забивает весь интерфейс раздачей статики. Если кэшировать в отдельном поде, то весь этот траффик из ингресс пойдет внутрь кластера и будет прыгать по нодам, забивая им приватные интерфейсы.
Nikolay
в шаблоне есть переменная. как-то можно включить
Я знаю, вопрос как до нее добраться и подкрутить) там используется $all.BacklogSize, похоже только через конфигмапу
Vitalii
Я знаю, вопрос как до нее добраться и подкрутить) там используется $all.BacklogSize, похоже только через конфигмапу
возможно они в коде считают. Поищите по исходникам
Nikolay
возможно они в коде считают. Поищите по исходникам
он sysctlsomaxcon() использует, а для контейнера чтобы его задать нужен unsafe sysctl, а он мне недоступен(
Vitalii
он sysctlsomaxcon() использует, а для контейнера чтобы его задать нужен unsafe sysctl, а он мне недоступен(
можно шаблон глобально переопределить и выпилить из него $all.BacklogSize ...
Nikolay
можно шаблон глобально переопределить и выпилить из него $all.BacklogSize ...
ну здесь уже с ingress неймспейсом будет проблема, т.к. физически somaxconn у него будет 128.
Vitalii
ну здесь уже с ingress неймспейсом будет проблема, т.к. физически somaxconn у него будет 128.
вот такое есть https://github.com/kubernetes/ingress-nginx/tree/80462ecdad63b851d5cd00ec623f55e64cd26728/docs/examples/customization/sysctl
Кстати, как-нибудь можно замониторить нехватку бэклога?
Logan
коллеги, среди нас есть достаточно смелые, кто уже пробовал? https://cilium.io/blog/2018/08/21/cilium-12/
Lex
привет, кто-то настраивал fluent-bit с containerd?
Dmitry
коллеги, среди нас есть достаточно смелые, кто уже пробовал? https://cilium.io/blog/2018/08/21/cilium-12/
В лабе прекрасно живёт, под нагрузкой ещё не пробовал
Nikolay
вот такое есть https://github.com/kubernetes/ingress-nginx/tree/80462ecdad63b851d5cd00ec623f55e64cd26728/docs/examples/customization/sysctl
Кстати, как-нибудь можно замониторить нехватку бэклога?
Спасибо, попробую, правда с privileged проблемы есть у меня
🤘Denis
коллеги, среди нас есть достаточно смелые, кто уже пробовал? https://cilium.io/blog/2018/08/21/cilium-12/
я пробовал, сейчас проходит обкатку
🤘Denis
тесты буду скорее всего через пару недель
G72K
эээ, если я правильно понимаю вывод ss и он не врет, Send-Q = 1
Recvq ,значит тоже 1 :) такое само не бывает, авторы приложения постарались
bebebe
Recvq ,значит тоже 1 :) такое само не бывает, авторы приложения постарались
да, я уже разобрался, спасбио за наводку
поставил рядом nginx, выставил ему backlog == 1 и получил воспроизводимую проблему
G72K
да, я уже разобрался, спасбио за наводку
поставил рядом nginx, выставил ему backlog == 1 и получил воспроизводимую проблему
Основательный подход к сбору доказательств, иначе девелоперы и не почешутся?
bebebe
Основательный подход к сбору доказательств, иначе девелоперы и не почешутся?
с той стороны сидят малоквалифицированные специалисты, думаю вы понимаете о чем я 😉
bebebe
некоторые из них путают http 502 ошибку и конфликт контроля версий в git'e
G72K
некоторые из них путают http 502 ошибку и конфликт контроля версий в git'e
А виноват kubernetes
bebebe
виноват был k8s, т.к. через curl localhost внутри пода проблемы не было
bebebe
я писал выше что раньше, если tcp шел через lo0, то он немного под другим цепочкам логическим идет внутри tcp стека линукса
bebebe
и под лимиты backlog'а он не попадает, поэтому 8 часов я потратил на дебаг сети в k8s
bebebe
либо попадает под лимиты backlog, но lo0 пакеты в нем вообще не задерживаются и нужно запускать (возможно) паралелльно 1000 запросов
у меня же тесты фейлились на 10 паралелльных