Op
я тоже понимаю это так
George
так ты на кронжоб делал дескрайб? покажи?
Op
~ pys@osboxes
> kubectl describe cronjobs tariff-check | grep 'Active Jobs:' 11:24
Active Jobs: tariff-check-1576677000
~ pys@osboxes
> kubectl describe job tariff-check-1576677000 | grep 'Pods Statuses:' 11:25
Pods Statuses: 0 Running / 1 Succeeded / 0 Failed
~ pys@osboxes
> kubectl get cronjobs 11:25
NAME SCHEDULE SUSPEND ACTIVE LAST SCHEDULE AGE
deadline-check * * * * * False 1 18h 22h
notification-clean 0 * * * * False 0 19h 22h
tariff-check * * * * * False 1 18h 22h
test-send 0 7 * * * False 0 <none> 22h
Op
Name: tariff-check
Namespace: junkyard
Labels: <none>
Annotations: <none>
Schedule: * * * * *
Concurrency Policy: Forbid
Suspend: False
Successful Job History Limit: 300
Failed Job History Limit: 300
Starting Deadline Seconds: <unset>
Selector: <unset>
Parallelism: <unset>
Completions: <unset>
Pod Template:
Labels: <none>
Containers:
tariff-check:
Image: bla
Port: <none>
Host Port: <none>
Command:
php
melody
tariff:check
Environment:
blablabla: bla
Mounts: <none>
Volumes: <none>
Last Schedule Time: Wed, 18 Dec 2019 16:50:00 +0300
Active Jobs: tariff-check-1576677000
Events: <none>
George
> Concurrency Policy: Forbid
?
George
она активна судя по всему
George
поэтому и не стартует повторно
Op
заметил еще что ежеминутные замерли на отметке ровно 249 штук
George
ну, ты еще засерил кластер
George
> Active Jobs: tariff-check-1576677000
?
Op
Да, я вижу что сам кронджоб считает активной эту джобу, но почему?
George
я так понял, что 1576677000 - это таймстемп
George
молодцы, правильно все сделали. Этот таймстемп соответствует 12/18/2019 @ 1:50pm (UTC)
Op
George
и почисть кластер от лишних инстансов джобов
George
как бы лишние объекты не нужны в етсд - тебе хватит наверное последних 60
George
или и того меньше
Op
так я их специально храню 300 штук, как описано в кронджобе, нельзя хранить 300?
Op
у меня логи никуда не складываются, поэтому я сделал так
Op
если это из-за того что много джобов, то как понять что это имнно из-за этого и сколько максимум их может быть?
George
у меня нет ответа
George
и я бы еще об одной вещи подумал
George
ты хочешь шедюлить джобы с интервалом 1 минута
George
это очень мало. Возможно стоит написать отдельный сервис в отдельном контейнере, который будет шедюлить. Потому что у тебя скачивание образа может тупо занимать больше времени
Op
образ на ноде всегда есть, он приезжает с релизом, если он за минуту не успеет, я так понимаю он будет его скачивать сколько потребуется и в итоге запустит, а в это время параллельно такая же задача не будет запущена потому что паралелизм запрещен... Хотя я конечно согласен что раз в минуту это уже не очень для крона, но мопед не мой, я просто пихаю его в кубернетес
Andrey
Op
Events: <none>
Andrey
хм
George
ну, я бы тогда тупо кластер почистил от остатков старых джобов
Andrey
а в jobtemplate что?
Andrey
Как @gecube правильно заметил, новые job'ы не создаются, потому что последняя активна и concurrencyPolicy стоит в Forbid. Надо смотреть describe последней job
Andrey
@opiumfor что говорит describe job tariff-check-1576677000 ?
Op
Op
она считает себя успешно выполненной
Andrey
а без грепа?
Op
Name: tariff-check-1576677000
Namespace: junkyard
Selector: controller-uid=4a56c2df-219d-11ea-bf38-d00dcdcef9c0
Labels: controller-uid=4a56c2df-219d-11ea-bf38-d00dcdcef9c0
job-name=tariff-check-1576677000
Annotations: <none>
Controlled By: CronJob/tariff-check
Parallelism: 1
Completions: 1
Start Time: Wed, 18 Dec 2019 16:50:03 +0300
Completed At: Wed, 18 Dec 2019 16:50:05 +0300
Duration: 2s
Pods Statuses: 0 Running / 1 Succeeded / 0 Failed
Pod Template:
Labels: controller-uid=4a56c2df-219d-11ea-bf38-d00dcdcef9c0
job-name=tariff-check-1576677000
Containers:
tariff-check:
Image:
Port: <none>
Host Port: <none>
Command:
php
melody
tariff:check
Environment:
Mounts: <none>
Volumes: <none>
Events: <none>
Op
а в jobtemplate что?
если я правильно понял вопрос, это оно:
apiVersion: batch/v1
kind: Job
metadata:
creationTimestamp: "2019-12-18T13:50:02Z"
labels:
controller-uid: 4a56c2df-219d-11ea-bf38-d00dcdcef9c0
job-name: tariff-check-1576677000
name: tariff-check-1576677000
namespace: junkyard
ownerReferences:
- apiVersion: batch/v1beta1
blockOwnerDeletion: true
controller: true
kind: CronJob
name: tariff-check
uid: 84adaa80-217a-11ea-bf38-d00dcdcef9c0
resourceVersion: "38356276"
selfLink: /apis/batch/v1/namespaces/junkyard/jobs/tariff-check-1576677000
uid: 4a56c2df-219d-11ea-bf38-d00dcdcef9c0
spec:
backoffLimit: 6
completions: 1
parallelism: 1
selector:
matchLabels:
controller-uid: 4a56c2df-219d-11ea-bf38-d00dcdcef9c0
template:
metadata:
creationTimestamp: null
labels:
controller-uid: 4a56c2df-219d-11ea-bf38-d00dcdcef9c0
job-name: tariff-check-1576677000
spec:
containers:
- command:
- php
- melody
- tariff:check
env:
- bla: bla
image: gasdfasdf.end:93924041
imagePullPolicy: IfNotPresent
name: tariff-check
resources: {}
terminationMessagePath: /dev/termination-log
terminationMessagePolicy: File
dnsPolicy: ClusterFirst
imagePullSecrets:
- name: gitlab-registry
restartPolicy: Never
schedulerName: default-scheduler
securityContext: {}
terminationGracePeriodSeconds: 30
status:
completionTime: "2019-12-18T13:50:05Z"
conditions:
- lastProbeTime: "2019-12-18T13:50:05Z"
lastTransitionTime: "2019-12-18T13:50:05Z"
status: "True"
type: Complete
startTime: "2019-12-18T13:50:03Z"
succeeded: 1
Op
пойду-ка я спрошу у яндекса, это их кубернетес...
Andrey
очень похоже на баг k8s
𝚔𝚟𝚊𝚙𝚜
𝚔𝚟𝚊𝚙𝚜
...Яндекс не ответил мне
Op
ответил что постарается уточнить...
Op
Я спросил у Яндекса:
"Где моя джоба?"...
А я спросил, почему круг замкнулся на мне.
Почему сбой в системе случился на мне.
В отлаженной системе, отточенной системе,
Проверенной системе и с этими, и с теми.
Вдруг сбой и конкретно на мне.
George
Aleksey
Чятик, подскажи:
Я совершенно точно знаю, что можно навесить прометеевских лейблов на сущности и это будет генерировать таргеты.
Но я по своим запросам в гугл не могу понять что надо сделать, чтоб это начало происходить. Очевидно же, что рядом стоящий пром сам в куб не полезет, но гугл на первых двух страницах по моим запросам что-то не то показывает.
Sanzhar
Всем привет! Можете кто-нибудь, подсказать, есть ли в ingress-nginx-е perl modules?
Sanzhar
и можно ли их использовать?
Yuriy
Sanzhar
почему?
Yuriy
Sanzhar
ааа, нормальный же язык)
Sanzhar
староват - но довольно полезный и шустрый
Yuriy
Op
kubectl exec ingress-nginx-ingress-controller-7bb6d45cc5-64q2r -- nginx -V
Mikhail
Sanzhar
Op
большое V показывает опции сборки, там видно все модули
Op
в моем ингрессе не видно перла
Op
луа есть
Op
https://github.com/kubernetes/ingress-nginx/issues/3804
Sanzhar
понял, спасибо!
D
Приложение в Elastic Beanstalk будет же видно в кластере?
Arty
Op
очень похоже на баг k8s
Прошу прощения за долгйи ответ.
Проблема связана с багом K8s https://github.com/kubernetes/kubernetes/issues/77465
Проблема исправлена в версии 1.14.7, для устранения рекомендуем обновить кластер.
Andrey
однако
Andrey
тех поддержка яндекса на высоте
Op
и все таки 249 было магическим числом выходит, 2 по 249 и 2 по одной
Andrey
ага, 500 в сумме
Nikita
если у меня на нодах kube masters в директории /etc/kubernetes/pki/ лежат сертификаты отличные на каждой из, это грозит чем то плохим?
Dmitry
перезапусти control plain и узнаешь =)
Ivan
Nikita
Dmitry
𝚔𝚟𝚊𝚙𝚜
alx
Хай
obstenu
𝚔𝚟𝚊𝚙𝚜