Ilya
меня вот сюда сослали из DevOps что бы не приставал там с глупыми вопросами
Ilya
например - есть k8s кластер с много-много нод. Я туда ставлю демонсет который должен ставиться абслютно везде и имеет соответсвующие tolerations но
запускаются поды на всех нодах кроме одной
вопрос - как узнать имя ноды, где под НЕ запустился?
Slach
https://github.com/sysdiglabs/kubectl-capture
Отличная новость
еще бы тоже самое теперь для perf сделать чтобы flamegraph собирать
Ilya
мда, наверное все спят. решил задачу в лоб. Уродливо, но работает
> comm -13 <(kubectl get pods --namespace infra -l "app=prometheus-node-exporter,release=jaunty-termite" -o jsonpath='{.items[*].spec.nodeName}' | tr ' ' '\n' | sort) <(kubectl get nodes -o name | awk '{gsub("^node/","",$0);print}' | sort)
мне нужно было узнать где НЕ запустился node exporter
Ilya
оказалось что упёрся в лимит подов на ноде. Интересно, был ли способ попроще узнать, что исчерпан лимит подов?
Sn00part
Надо ставить мониторинг, сразу все узнаешь )
Mr.Strange
Добрый день. А умеет ли nginx ingress controller кэшировать статику, что-то непонятно, в аннотациях нет ничего. Если не умеет, может кто поделиться подходом?
🇷🇺 Vladimir
так у него другая задача насколько помню
🇷🇺 Vladimir
и кеширование в ней не предполагалось
🇷🇺 Vladimir
но фича была бы конечно интересная
Sn00part
Нет не умеет, но можно написать скрипт на луа
🇷🇺 Vladimir
либо можно пул реквест с фичей сделать
🇷🇺 Vladimir
я бы наверно сделал
Sn00part
можно сделать как-то так
apiVersion: extensions/v1beta1
kind: Ingress
metadata:
name: mywebsite
annotations:
kubernetes.io/ingress.class: nginx
nginx.ingress.kubernetes.io/proxy-buffering: "on" # Important!
nginx.ingress.kubernetes.io/configuration-snippet: |
proxy_cache static-cache;
proxy_cache_valid 404 1m;
proxy_cache_use_stale error timeout updating http_404 http_500 http_502 http_503 http_504;
proxy_cache_bypass $http_x_purge;
add_header X-Cache-Status $upstream_cache_status;
Sn00part
или вот
apiVersion: extensions/v1beta1
kind: Ingress
metadata:
name: mysite
annotations:
ingress.kubernetes.io/force-ssl-redirect: "true"
nginx.ingress.kubernetes.io/proxy-body-size: 10m
spec:
tls:
- secretName: mysite-ssl
hosts:
- mysite.example.com
rules:
- host: mysite.example.com
http:
paths:
- path: /
backend:
serviceName: mysite
servicePort: http
---
# Leverage nginx-ingress cache for /static/
apiVersion: extensions/v1beta1
kind: Ingress
metadata:
name: mysite-static
annotations:
nginx.ingress.kubernetes.io/proxy-buffering: "on"
nginx.ingress.kubernetes.io/configuration-snippet: |
proxy_cache static-cache;
proxy_cache_valid 404 10m;
proxy_cache_use_stale error timeout updating http_404 http_500 http_502 http_503 http_504;
proxy_cache_bypass $http_x_purge;
add_header X-Cache-Status $upstream_cache_status;
spec:
rules:
- host: mysite.example.com
http:
paths:
- path: /static/
backend:
serviceName: mysite
servicePort: http
Sn00part
для джанги и прочей херни
Sn00part
но там встает проблема инвалидации и ретеншна
Sn00part
а каждый раз рестартить нджинкс, ну так себе идея
Sn00part
можно попробовать генерить уникальные урлы для каждого релиза, тогда проблем с инвалидацией решится
Sn00part
из минусов, чем больше нджинксов, тем меньше эффективность кэша. при рестарте ингресса кэш пропадает,
🇷🇺 Vladimir
имхо имплементить фичу было бы гораздо дешевле, чем проект переделывать
Sn00part
лучше поставить редис или мемкеш каконить
Sn00part
если много сервисов там конфиг у нджинкса итак превращается в войнуимир, начинаются странные подземные стуки и прочая херня
🇷🇺 Vladimir
есть еще вариант с дополнительным кеширующим подом с нгинксом
Sn00part
ну вот так можно, я бы ингресс не нагружал. он вывезет, канеш, но надо смотреть по профилю нагрузки
🇷🇺 Vladimir
ингресс смотрит его сервис, а кеширующий нгинкс смотрит сервис приложения
Sn00part
@valeratrus ^^
🇷🇺 Vladimir
ну вывезет или не вывезет зависит от вычислительных возможностей
🇷🇺 Vladimir
кроме того ничего не мешает поднять отдельный ингресс под кеш
Victor
а мы в нагруженном проде крутим 0.14.0 nginx-ingress-controller, потому что с момента появления в нём lua-балансировки, балансировка пошла по пизде при высоких rps
Victor
мало того, этот их lua-код в перемешку с go - крайне сложно читабельная херня чтобы смочь разобраться "какого куя оно так"
Sn00part
это странно, потому что луа я разгонял до 650к рпс
Sn00part
там проблема в длине конфига и постоянных релоадах
🇷🇺 Vladimir
мож у него больше)
Victor
Sn00part
нет, я разгонял давно, до кубера еще
Sn00part
я про то, что луа очень быстрая и неблокирующая
Victor
короче, в nginx-inress-controller используется openresty lua библиотека
Sn00part
скорее всего проблема в другом, выпули конфиг, посмотри сколько он килобайт у тебя )
Victor
НО код, отвечающий за балансировку, написан без использования этой библиотеки. И вот его я два дня пытался осилить и понять как оно точно работает - и не осилил
Victor
там в lua параметры попадают из go и очень сложно отдебажить )
Sn00part
мы меняли на большом кластере на хапрокси ингрессы, нджинкс тупо тормозил при релоаде конфига
Victor
Victor
там веселье начинается когда поды сервиса начинают рэндомно медленно отвечать
Victor
если поды сервиса не тормозят, то всё ок и нагрузка равномерна
Sn00part
ну тут, мне кажется не ингресса проблемы )
Victor
на старых ингрессах такого нет
Sn00part
тут любой тормозить будует
Victor
на старых ингрессах балансировка тупо средствами nginx - и вот там всё збс
Victor
ну я 2 недели ебался с этой проблемой, уверяю что это всё правда :)
Victor
возможно в 0.26.0 пофиксили, но это неточно
Victor
в общем, у нас это затронуло только дата-сатанистов с их адовыми нагрузками по 200 кубо-цпу на сервис
Sn00part
корнер кейс?) ну возможно, ингресс он же старается все делать универсально. если надо специфику, лучше кастомизировать
Sn00part
я люблю луа, в опенрести можно выкинуть целые аппликухи, например я помню году в 2014 писал на нем сокращатель ссылок )
Victor
ну хорошо что пока старый ингресс как-то работает в кубе 1.15
Sn00part
онлайн ресайзер картинок
Sn00part
я бы рекомендовал завести у них ишуй и пусть копают. если есть такая проблема, надо решать же
Tadeusz
Victor
луа прикольный, но вот писателе ингресс-контроллера как-то странно на нем пишут - у меня мозг не воспринимает их код
Mr.Strange
Спасибо, ща попробую вкурить ваши ответы))
Sn00part
погоди, но там же ембед
Victor
Sn00part
просто в конфиге встаки кода на луа
Sn00part
или чет поменялось ?
Victor
не, там дёргаются функции луа-либы
Sn00part
раньше они как делали, чтобы каждый раз не релоадить нджинкс, когда меняется апстрим, они дергали луа пару функций
Sn00part
а го там только для темплейтинга
Victor
location / {
set $proxy_upstream_name "upstream-default-backend";
proxy_set_header Host $best_http_host;
proxy_pass http://upstream_balancer;
}
Victor
upstream upstream_balancer {
server 0.0.0.1; # placeholder
balancer_by_lua_block {
balancer.balance()
}
keepalive 32;
}
Sn00part
вот, ничо не поменялось!
Victor
balancer.balance() - вот там ебаная магия
Sn00part
нет там магии ))
Victor
ну-ну, почитай код
Sn00part
там шаред dictionary, где хранятся все твои ендпоинты
Victor
да
Sn00part
как только ендпоинт меняется, меняется запись в shared dictionary
Victor
это понятно
Sn00part
вот и все, что там делает луа
Sn00part
а ,ну еще она асинхронно смотрит, что там вообще с ендпоинтами у тебя и обновляет пул в этом balancer.balance()
Sn00part
ну и асинхронно там процесс, который балансировкой и занимается