Misha
это cluster_quantile:apiserver_request_latencies:histogram_quantile
Misha
тип не прописывается по умолчанию инстанс, с которого снимается метрика и нет различий в лейблах между несколькими кластерами, из-за чего прилетают либо дубликаты, либо ошибки out-of-order
Misha
в прометее это можно пофиксить, но это нормально вообще? считается ли это косяком экспортера метрик, что в метках не прописывается детализированная инфа?
Дмитрий
Коллеги, здравствуйте. Kubernetes 1.13.4, проблема - подняты поды и сервисы, но из одного пода не курлит в другие / нет доступа. Можете посоветовать, куда можно капнуть?
Denis
Коллеги, здравствуйте. Kubernetes 1.13.4, проблема - подняты поды и сервисы, но из одного пода не курлит в другие / нет доступа. Можете посоветовать, куда можно капнуть?
Ссмотрите в логи вашего CNI. Скорее всего с ним проблема
Stefan
Дмитрий
а с лейблами порядок?
да, всё на днях работало, но наш админ не до конца понятно что сделал и перестала работать сеть между подами
Stefan
так со всеми абсолютно подами?
Stefan
или только с теми что нужно?
Denis
да, всё на днях работало, но наш админ не до конца понятно что сделал и перестала работать сеть между подами
За маршрутизацию трафика между подами отвечает сетевой плагин. Если этот сетевой плагин не установлен или работает не правильно, то тогда получаете подобную проблему. Есть конечно еще и другие вариации, но вот этот вариант самый частый. Проверьте поды со CNI
Дмитрий
CNI логи чисты, ошибок нет
Denis
CNI логи чисты, ошибок нет
Как проверяете сеть между подами? По адресу сервиса или по clusterip ?
Дмитрий
делал curl на service_name:port
Отделение Bereke Bank
А есть люди держащие Django в докере?
Отделение Bereke Bank
+
?
Подскажи как правильно быть с collectstatic. запускать в момент билда контейнера или в entrypoint?
Denis
делал curl на service_name:port
Попробуйте по clusterip сходить в под. Сдается что у вас сеть между подами работает. Не ходит трафик именно по k8s services
Дмитрий
Alexander N.
Подскажи как правильно быть с collectstatic. запускать в момент билда контейнера или в entrypoint?
мы как post-start hook делаем
Anton
кто-то знает как влиять на .status поле кастомного ресурса?
Дмитрий
Подскажи как правильно быть с collectstatic. запускать в момент билда контейнера или в entrypoint?
мы делаем внутри контейнера при билде, а потом шарим через volumes внутри пода, где ещё поднимается nginx и раздает статику, ссылаясь на этот volume
Gaziz
Коллеги, здравствуйте. Kubernetes 1.13.4, проблема - подняты поды и сервисы, но из одного пода не курлит в другие / нет доступа. Можете посоветовать, куда можно капнуть?
если с cni ошибок нет, то посмотрите токены возможно время истекло
Alex
Всем привет. Чем кубер лучше мониторить?
Antlar
prometheus
Grisha
Ребзя, а вы куб сетапаете кубеспреем или руками или сами пишите нечто для сетапа?
🚀iamp3🚀
Ребзя, а вы куб сетапаете кубеспреем или руками или сами пишите нечто для сетапа?
В клаудах копсом сетапаю, на метале спрей юзаю
Grisha
В клаудах копсом сетапаю, на метале спрей юзаю
а чем ты потом админишь кластер? добавляешь новые воркеры, создаешь pv^pvc^ service?
🚀iamp3🚀
у копса удобный механизм для управления воркерами (через аск группы), pv\pvc\service пишу ручками, в зависимости от требований. kubespay так же прост, как и ансимбл, в доках все найти можно. Ну и наконец, всегда можно ручками добавить, если проходил хард вей по кубу, то проблем не будет.
Grisha
суть не в проблемах) а в том что руками я делать ничего не хочу, просто не тру вей.
я думаю хранить все yaml под git и запускать руками или около того, но на вскидку идея так себе
🚀iamp3🚀
если в клаудах то gke\eks в помощь, если знаком с терраформом, то копс зайдет на ура, если есть опыт с ансимбл, то юзай кубспрей. Стульев много, выбирай какой душе угодно. Лично мне копса пока хватает, пока проблем не было.
Vadim
суть не в проблемах) а в том что руками я делать ничего не хочу, просто не тру вей.
я думаю хранить все yaml под git и запускать руками или около того, но на вскидку идея так себе
https://github.com/kubernetes-sigs/cluster-api
будешь хранить в ямлах, а операторы тебе все сделают. Но не сейчас, еще пилится
Grisha
а какое решение на сегодня? чем админить куд на баре в проде?
inqfen
Господа
inqfen
Подскажите, есть job
inqfen
там всякие последеплойные действия
inqfen
есть для него в spec что-то, чтобы он удалялся по истечению определенного времени?
inqfen
После activeDeadlineSeconds он просто считается как бы неактивным, но удаляться не удаляется
inqfen
соответственно при следующем деплое заново он не выполняется
Vlad
https://kubernetes.io/docs/concepts/workloads/controllers/jobs-run-to-completion/#clean-up-finished-jobs-automatically
Vlad
TTL Mechanism for Finished Jobs
inqfen
Спасибо, как я пропустить это умудрился
inqfen
у меня 1.12 как раз
Alex Sharov
А скажите пожалуйста, я правильно понимаю, что концепция Ingress это то, что любой трафик который попадет в кластер будет этим Ingress обработан и отраучен в зависимости от тех правил, что ему назначили?
Если да, то, к примеру, пусть у меня есть service с типом LoadBalancer. Я стучусь из вне класстера по айпи балансера и этот трафик все-равно будет обработан созданным Ingress?
Stefan
А скажите пожалуйста, я правильно понимаю, что концепция Ingress это то, что любой трафик который попадет в кластер будет этим Ingress обработан и отраучен в зависимости от тех правил, что ему назначили?
Если да, то, к примеру, пусть у меня есть service с типом LoadBalancer. Я стучусь из вне класстера по айпи балансера и этот трафик все-равно будет обработан созданным Ingress?
это ты про ingress controller написал
а есть отдельная сущность - ingress, в котором собсна и описываются правила роутинга к приложению
Alex Sharov
получается трафик идет по цепочке:
ip -> ingress controller -> ingress -> service?
Stefan
получается трафик идет по цепочке:
ip -> ingress controller -> ingress -> service?
в обычном ингрессе, ты указываешь класс ингресс контроллера
Stefan
получается трафик идет по цепочке:
ip -> ingress controller -> ingress -> service?
annotations:
kubernetes.io/ingress.class: nginx-staging
например
Rainbow
service не участвует
Alex Sharov
и еще, а важно ли в этой цепочке какой тип у сервиса? ClusterIP, LoadBalancer, NodePort?
Rainbow
Важно не давать лишнего. И ничего кроме ClusterIP не нужно чаще всего.
Stefan
и еще, а важно ли в этой цепочке какой тип у сервиса? ClusterIP, LoadBalancer, NodePort?
ну LoadBalancer не нужен в твоем случае сервису приложения
Rainbow
А скажите пожалуйста, я правильно понимаю, что концепция Ingress это то, что любой трафик который попадет в кластер будет этим Ingress обработан и отраучен в зависимости от тех правил, что ему назначили?
Если да, то, к примеру, пусть у меня есть service с типом LoadBalancer. Я стучусь из вне класстера по айпи балансера и этот трафик все-равно будет обработан созданным Ingress?
возьми конкретную реализацию
ingress-controller это nginx
ingress это описание location
из service берётся только инфа для upstream, но nginx туда ничего не шлёт, сразу подам.
Alex Sharov
кажется я начал понимать.
В моем случае будет следующая схема:
DNS -> ELB + Ingress Nginx controller -> Ingress
Alex Sharov
Я долго не мог понять через что оно все ходит
Alex Sharov
а получается у нас в кластер из вне по сути одна точка входа, да?
Rainbow
а получается у нас в кластер из вне по сути одна точка входа, да?
Да, если не использовать сервисы NodePort и LoadBalancer (loadbalancer это nodeport который сам прописывается у хостера).
Artem
кто то k8s на вагрант разворачивал?)
Alex Sharov
dmitriy
кажется я начал понимать.
В моем случае будет следующая схема:
DNS -> ELB + Ingress Nginx controller -> Ingress
можете подсказать с такой же ситуацией, но на баре метал? насколько я понял отсюда https://kubernetes.github.io/ingress-nginx/deploy/baremetal/, в nodeport сервисе ingress-nginx в таком случае нужно прописывать айпи всех нод в externalIPs. и входная точка ингреса - это айпи любой ноды. это норма? что будет, если нода упадет, переписывать айпишники актуальных нод руками?
Igor Ivanov
Балансер с хелсчеками
Rainbow
можете подсказать с такой же ситуацией, но на баре метал? насколько я понял отсюда https://kubernetes.github.io/ingress-nginx/deploy/baremetal/, в nodeport сервисе ingress-nginx в таком случае нужно прописывать айпи всех нод в externalIPs. и входная точка ингреса - это айпи любой ноды. это норма? что будет, если нода упадет, переписывать айпишники актуальных нод руками?
nginx с hostNetwork: true и как daemonset. Ип нод в dns самое простое
Alex
Rainbow
Посложней - написать хостеру и спросить как проще перебрасываться ip, если нода дохнет. Bgp и тп
dmitriy
у меня HAProxy внешний разруливает
ну хотелось встроенный ингрес использовать. какой-то он костыльный для баре метал
Сергей
господа, подскажите пожалуйста по поводу мигрирования подов с упавшей ноды
Сергей
как вы это делаете, как кубик это делает? я так понимаю там по-умолчанию стоит таймаут на eviction около 5 минут? типа он ждёт 5 минут с момента, когда нода входит в состояние notready, а потом пытается передеплоить поды?