Op
я тоже понимаю это так
George
так ты на кронжоб делал дескрайб? покажи?
Op
~ pys@osboxes > kubectl describe cronjobs tariff-check | grep 'Active Jobs:' 11:24 Active Jobs: tariff-check-1576677000 ~ pys@osboxes > kubectl describe job tariff-check-1576677000 | grep 'Pods Statuses:' 11:25 Pods Statuses: 0 Running / 1 Succeeded / 0 Failed ~ pys@osboxes > kubectl get cronjobs 11:25 NAME SCHEDULE SUSPEND ACTIVE LAST SCHEDULE AGE deadline-check * * * * * False 1 18h 22h notification-clean 0 * * * * False 0 19h 22h tariff-check * * * * * False 1 18h 22h test-send 0 7 * * * False 0 <none> 22h
Op
Name: tariff-check Namespace: junkyard Labels: <none> Annotations: <none> Schedule: * * * * * Concurrency Policy: Forbid Suspend: False Successful Job History Limit: 300 Failed Job History Limit: 300 Starting Deadline Seconds: <unset> Selector: <unset> Parallelism: <unset> Completions: <unset> Pod Template: Labels: <none> Containers: tariff-check: Image: bla Port: <none> Host Port: <none> Command: php melody tariff:check Environment: blablabla: bla Mounts: <none> Volumes: <none> Last Schedule Time: Wed, 18 Dec 2019 16:50:00 +0300 Active Jobs: tariff-check-1576677000 Events: <none>
George
> Concurrency Policy: Forbid ?
George
она активна судя по всему
George
поэтому и не стартует повторно
Op
заметил еще что ежеминутные замерли на отметке ровно 249 штук
George
ну, ты еще засерил кластер
Op
поэтому и не стартует повторно
так вроде ж неактивна, Pods Statuses: 0 Running / 1 Succeeded / 0 Failed
George
> Active Jobs: tariff-check-1576677000 ?
Op
Да, я вижу что сам кронджоб считает активной эту джобу, но почему?
George
я так понял, что 1576677000 - это таймстемп
George
молодцы, правильно все сделали. Этот таймстемп соответствует 12/18/2019 @ 1:50pm (UTC)
George
и почисть кластер от лишних инстансов джобов
George
как бы лишние объекты не нужны в етсд - тебе хватит наверное последних 60
George
или и того меньше
Op
так я их специально храню 300 штук, как описано в кронджобе, нельзя хранить 300?
Op
у меня логи никуда не складываются, поэтому я сделал так
Op
если это из-за того что много джобов, то как понять что это имнно из-за этого и сколько максимум их может быть?
George
у меня нет ответа
George
и я бы еще об одной вещи подумал
George
ты хочешь шедюлить джобы с интервалом 1 минута
George
это очень мало. Возможно стоит написать отдельный сервис в отдельном контейнере, который будет шедюлить. Потому что у тебя скачивание образа может тупо занимать больше времени
Op
образ на ноде всегда есть, он приезжает с релизом, если он за минуту не успеет, я так понимаю он будет его скачивать сколько потребуется и в итоге запустит, а в это время параллельно такая же задача не будет запущена потому что паралелизм запрещен... Хотя я конечно согласен что раз в минуту это уже не очень для крона, но мопед не мой, я просто пихаю его в кубернетес
Op
Events: <none>
Andrey
хм
George
ну, я бы тогда тупо кластер почистил от остатков старых джобов
Op
Events: <none>
и в job и в cronjob и в pod везде так
Andrey
а в jobtemplate что?
Andrey
Как @gecube правильно заметил, новые job'ы не создаются, потому что последняя активна и concurrencyPolicy стоит в Forbid. Надо смотреть describe последней job
Andrey
@opiumfor что говорит describe job tariff-check-1576677000 ?
Op
она считает себя успешно выполненной
Andrey
а без грепа?
Op
Name: tariff-check-1576677000 Namespace: junkyard Selector: controller-uid=4a56c2df-219d-11ea-bf38-d00dcdcef9c0 Labels: controller-uid=4a56c2df-219d-11ea-bf38-d00dcdcef9c0 job-name=tariff-check-1576677000 Annotations: <none> Controlled By: CronJob/tariff-check Parallelism: 1 Completions: 1 Start Time: Wed, 18 Dec 2019 16:50:03 +0300 Completed At: Wed, 18 Dec 2019 16:50:05 +0300 Duration: 2s Pods Statuses: 0 Running / 1 Succeeded / 0 Failed Pod Template: Labels: controller-uid=4a56c2df-219d-11ea-bf38-d00dcdcef9c0 job-name=tariff-check-1576677000 Containers: tariff-check: Image: Port: <none> Host Port: <none> Command: php melody tariff:check Environment: Mounts: <none> Volumes: <none> Events: <none>
Op
а в jobtemplate что?
если я правильно понял вопрос, это оно: apiVersion: batch/v1 kind: Job metadata: creationTimestamp: "2019-12-18T13:50:02Z" labels: controller-uid: 4a56c2df-219d-11ea-bf38-d00dcdcef9c0 job-name: tariff-check-1576677000 name: tariff-check-1576677000 namespace: junkyard ownerReferences: - apiVersion: batch/v1beta1 blockOwnerDeletion: true controller: true kind: CronJob name: tariff-check uid: 84adaa80-217a-11ea-bf38-d00dcdcef9c0 resourceVersion: "38356276" selfLink: /apis/batch/v1/namespaces/junkyard/jobs/tariff-check-1576677000 uid: 4a56c2df-219d-11ea-bf38-d00dcdcef9c0 spec: backoffLimit: 6 completions: 1 parallelism: 1 selector: matchLabels: controller-uid: 4a56c2df-219d-11ea-bf38-d00dcdcef9c0 template: metadata: creationTimestamp: null labels: controller-uid: 4a56c2df-219d-11ea-bf38-d00dcdcef9c0 job-name: tariff-check-1576677000 spec: containers: - command: - php - melody - tariff:check env: - bla: bla image: gasdfasdf.end:93924041 imagePullPolicy: IfNotPresent name: tariff-check resources: {} terminationMessagePath: /dev/termination-log terminationMessagePolicy: File dnsPolicy: ClusterFirst imagePullSecrets: - name: gitlab-registry restartPolicy: Never schedulerName: default-scheduler securityContext: {} terminationGracePeriodSeconds: 30 status: completionTime: "2019-12-18T13:50:05Z" conditions: - lastProbeTime: "2019-12-18T13:50:05Z" lastTransitionTime: "2019-12-18T13:50:05Z" status: "True" type: Complete startTime: "2019-12-18T13:50:03Z" succeeded: 1
Op
пойду-ка я спрошу у яндекса, это их кубернетес...
Andrey
очень похоже на баг k8s
𝚔𝚟𝚊𝚙𝚜
пойду-ка я спрошу у яндекса, это их кубернетес...
Я спросил у Яндекса: "Где моя джоба?"...
𝚔𝚟𝚊𝚙𝚜
...Яндекс не ответил мне
Op
ответил что постарается уточнить...
Op
Я спросил у Яндекса: "Где моя джоба?"...
А я спросил, почему круг замкнулся на мне. Почему сбой в системе случился на мне. В отлаженной системе, отточенной системе, Проверенной системе и с этими, и с теми. Вдруг сбой и конкретно на мне.
Aleksey
Чятик, подскажи: Я совершенно точно знаю, что можно навесить прометеевских лейблов на сущности и это будет генерировать таргеты. Но я по своим запросам в гугл не могу понять что надо сделать, чтоб это начало происходить. Очевидно же, что рядом стоящий пром сам в куб не полезет, но гугл на первых двух страницах по моим запросам что-то не то показывает.
Sanzhar
Всем привет! Можете кто-нибудь, подсказать, есть ли в ingress-nginx-е perl modules?
Sanzhar
и можно ли их использовать?
Sanzhar
почему?
Yuriy
Sanzhar
ааа, нормальный же язык)
Sanzhar
староват - но довольно полезный и шустрый
Yuriy
Op
kubectl exec ingress-nginx-ingress-controller-7bb6d45cc5-64q2r -- nginx -V
Op
большое V показывает опции сборки, там видно все модули
Op
в моем ингрессе не видно перла
Op
луа есть
Op
https://github.com/kubernetes/ingress-nginx/issues/3804
Sanzhar
понял, спасибо!
D
Приложение в Elastic Beanstalk будет же видно в кластере?
Op
очень похоже на баг k8s
Прошу прощения за долгйи ответ. Проблема связана с багом K8s https://github.com/kubernetes/kubernetes/issues/77465 Проблема исправлена в версии 1.14.7, для устранения рекомендуем обновить кластер.
Andrey
однако
Andrey
тех поддержка яндекса на высоте
Op
и все таки 249 было магическим числом выходит, 2 по 249 и 2 по одной
Andrey
ага, 500 в сумме
Nikita
если у меня на нодах kube masters в директории /etc/kubernetes/pki/ лежат сертификаты отличные на каждой из, это грозит чем то плохим?
Dmitry
перезапусти control plain и узнаешь =)
Nikita
А что отличается? ca общий должен быть
ну вроде как да, но не хочется чтобы на одной из нод что то закончилось раньше и начались неведомые траблы в кластере
alx
Хай
obstenu
Хай
Хеллоу
𝚔𝚟𝚊𝚙𝚜
ну вроде как да, но не хочется чтобы на одной из нод что то закончилось раньше и начались неведомые траблы в кластере
Тогда периодически поглядывай на kubeadm alpha certs check-expiration И регулярно обновляй кластер