Lucky SB
Ясно.
Евгений
Во-первых istio это контрол-плейн к envoy, так что смешно про go. Во-вторых это уже достаточные нагрузки, если у вас 20-30 микросервисов
UglyKoyote
дежавю)
Вадим
namespace с тестовым, самым простым hashicorp/http-echo удаляется уже больше 5 минут, можно как-то форсировать или узнать из-за чего задержка?
Вадим
kubectl describe namespaces echo
Name: echo
Labels: <none>
Annotations: kubectl.kubernetes.io/last-applied-configuration: {"apiVersion":"v1","kind":"Namespace","metadata":{"annotations":{},"name":"echo"}}
Status: Terminating
No resource quota.
No resource limits.
Lucky SB
Поучившись SRE начинаешь понимать, что иногда бывает проще сервис меш растянуть, чем добиваться от десятков команд разработки нормальных ретраев, дедлайнов и прочих фишек
Вадим
1.15
Отделение Bereke Bank
ну все равно глянь логи scheduler)
Евгений
George
George
Сервис меш никак не влияет на сло по латенси, а, скорее даже, позволяет его дать более конкретно
George
(т.к. у тебя точное понимание есть сколько там ретраев и серкут брекеров внутри)
Евгений
Ну да, потому что с увеличением порядка значения порядок точности тоже повышается :)
Lucky SB
Mikhail [azalio]
У кого-нибудь есть на примете oom-exporter, который читает dmesg, обогащает данными с апи-сервера и экспортит в прометей?
𝚔𝚟𝚊𝚙𝚜
Victor
Victor
оно в принципе маст-хэв в любом кубе
Peter
Кто-нибудь скажет что-то хорошее про Flux?
Victor
Sergei
товарищи, подскажите в filebeat можно отсеивать логи по лейблам на неймспейсе? может есть у кого example, не совсем профильный канал конечно, для данного вопроса
Mikhail [azalio]
Mikhail [azalio]
Mikhail [azalio]
kube_pod_container_status_last_terminated_reason{container="prometheus",endpoint="http",instance="10.192.124.123:8080",job="kube-state-metrics",namespace="prometeus-operator",pod="prometheus-production-prometeus-opera-prometheus-0",reason="Error",service="kube-state-metrics"} - было
Victor
допиши в запрос > 0
и тыкни в Graph
Shamil
Здравствуйте, ребятушки! Хочу задействовать kubewatch, для отправки уведомлений о событиях в k8s. Не подскажите это самое оптимальное решение, или есть что-то получше?
https://github.com/bitnami-labs/kubewatch
Victor
Victor
к тому же он подглючивает и делает из 16-го мака раскаленную печь
Solyar
Sergei
да я вот тоже в эту сторону смотрю, проверю отпишусь
Solyar
Shamil
Мне надо именно уведомления о перезапуске подов, выкатках и так далее. Alert-Manager тоже это может разве? Как там ловить события то?
Solyar
George
Shamil
Victor
Shamil
Отделение Bereke Bank
George
Разверни, пожалуйста?
парни старались, делали
https://github.com/fluxcd/flux
https://github.com/weaveworks/flagger
Victor
А для чего тогда?
пардон, я с kubespy перепутал . но таки лучше использовать прометеус оператор, чтобы не плодить сущности
Mikhail [azalio]
Victor
вот у меня тоже багует так. То ловит метрики то нет. Руки не дошли разобраться
Отделение Bereke Bank
у меня вообще reason-а OOMKilled нет 😑
Victor
у меня у некоторых namespace ловит, у некоторых нет
Shamil
Отделение Bereke Bank
Отделение Bereke Bank
Artem
в принципе https://github.com/m-lab/prometheus-support/issues/213
Victor
Отделение Bereke Bank
Victor
ns или контейнеры?
у нас автоматом во всех ns выставляются дефолтные лимиты для контейнеров
Alexey
Коллеги, помогите, не могу понять, с какой стороны подступиться к проблеме.
Приложение на .net, docker 18.09, k8s 1.15. При попытке убить поды часть из них повисает в terminating, на воркер-ноде остаются запущенными контейнеры с самим прикладом.
В связи с тем, что pause-контейнеры успешно удаляются, docker exec в контейнеры с прикладом выполнить не удается. На docker stop/kill не реагируют, остаются в выводе docker ps даже после рестарта докер-демона (при остановленном кублете).
Воркер-ноды разные, в логах докера
failed to exit within 30 seconds of signal 15 - using the force,
failed to exit within 10 seconds of kill - trying direct SIGKILL
Предполагаю, что какая-то проблема в прикладе, если он так вешает контейнеры, но что-то нет идей, как дебажить.
Anonymous
ребятая переношу приложение из docker swarm с traefik там у меня был редирект все ошибки 502 перенаправлять на бекенд nginx с страничкой /maintenance.html
по сути выглядело вот так
traefik.frontend.errors.web.status: "502-599"
traefik.frontend.errors.web.backend: "error"
traefik.frontend.errors.web.query: "/maintenance.html"
теперь пытаюсь адаптрировать это под ингрессконтролер
но столкнулся с тем что для него можно указать только ошибку или диапазон и бекенд а страницу с ошибкой в документации найти не могу
как мне рулить ошибками для 502 идем на такуюто страницу на 503 идем на другую
в traefik рулится лехгко.
Anonymous
apiVersion: extensions/v1beta1
kind: Ingress
metadata:
annotations:
kubernetes.io/ingress.class: nginx
nginx.ingress.kubernetes.io/custom-http-errors: "502-599"
nginx.ingress.kubernetes.io/default-backend: {{ .Release.Name }}-maintenance
Anonymous
догадываюсь что в кубере это рулится конфигурацией бекенда в соотствиии с присланым хеадером X-Code
Oleh
Dmytro
400 values.yaml держать?
там можно же передать несколько values.yaml один за другим, и каждый следующий будет оверрайдить пересекающиеся ключи из предыдущего, чем это не подходит?
Dmytro
Anonymous
Dmytro
Коллеги, помогите, не могу понять, с какой стороны подступиться к проблеме.
Приложение на .net, docker 18.09, k8s 1.15. При попытке убить поды часть из них повисает в terminating, на воркер-ноде остаются запущенными контейнеры с самим прикладом.
В связи с тем, что pause-контейнеры успешно удаляются, docker exec в контейнеры с прикладом выполнить не удается. На docker stop/kill не реагируют, остаются в выводе docker ps даже после рестарта докер-демона (при остановленном кублете).
Воркер-ноды разные, в логах докера
failed to exit within 30 seconds of signal 15 - using the force,
failed to exit within 10 seconds of kill - trying direct SIGKILL
Предполагаю, что какая-то проблема в прикладе, если он так вешает контейнеры, но что-то нет идей, как дебажить.
ваше приложение судя по всему игнорирует sigkill - может там баш вместо нормального инит процесса? Или как вариант есть detached zombie process внутри контейнера. Короче tiny или dumb-init должны поправить ситуацию
Dmytro
Anonymous
Alexey
Igorь
Igorь
Желательно, чтобы не пришлось менять сам скрипт
Igorь
та же, что и со стейджами. 3 стейджа, 20 кластеров = 60 вариантов паролей и адресов баз
Dmytro
Igorь
hashicorp vault
Dmitry
hashicorp vault
ну так передаешь через --set название стейджа и название кластера. А внутри values для каждого кластера и стейджа, описано откуда секреты брать. Два параметра получается