Sergey

это может быть связано с тупняками на мастер ноде?

а других причин нет?

Logan

это может быть связано с тупняками на мастер ноде?

выглядит странно

Mikhail

подскажете какие?

Sergey

чуть что сразу на мастера гонют!!!!

Sergey

😀

Sergey

ну рпс у тебя на входе не вырос случаем?

Mikhail

рпс чего к чему на каком входе?

Sergey

ну на веб, откуда мне знать какой у вас сервис, вы нагрузку не мониторите чтоль?

Sergey

мастер нода такая: а чо я сижу, давай ка через апишку нагружу воркеров чтобы не расслаблялись так?

Mikhail

а, вы про сервисы в контейнерах...

Sergey

ну а кто по вашему ноды грузит

Sergey

пришло 10к рпс выросла нагрузка на бэк выросло потребление по ресурсам

Andor

а оно пришло?

Mikhail

оно такое... приход не гарантирован, но если будет, то....

G72K

есть пара процессов всего, но по iotop actual write - 1МБ

D это не всегда IO, в общем случае это сисколл который нельзя прервать сигналом. Часто бывает на багах в ядре :)

Mikhail

ам... спасибо за информацию

Mikhail

у меня на мастер ноде 4 ядра и 8ГБ памяти.

Mikhail

на нём же jenkins развёрнут

Andrey

в 4 раза больше шансов словить баг!

Mikhail

+prometeus +grafana

Mikhail

в 4 раза больше шансов словить баг!

отсюда по подробнее можно?

Andrey

4 ядра :)

Mikhail

шуточки за 100

Mikhail

понятно

Andrey

да я оффтоплю, петросяню

Sergey

😹

Bukharin

Всем привет! Ранее разворачивал GitLab через Helm https://gitlab.com/charts/gitlab тогда все развернулось, заработало на 3х нодах. После этого пришлось погасить все 3 ноды и после их поднятия много чего (из подов) не восстановилось в том числе Postgres от этого GitLab: $ kubectl get pods ... gitlab3-postgresql-784bdfb89b-9qsws 1/2 CrashLoopBackOff 23 1h ... $ kubectl describe pod gitlab3-postgresql-784bdfb89b-9qsws ... Events: Type Reason Age From Message —— —---- —— —— —---— Warning BackOff 1m (x432 over 1h) kubelet, k8s-m3.me Back-off restarting failed container $ kubectl logs gitlab3-postgresql-784bdfb89b-9qsws gitlab3-postgresql ... chown: changing ownership of '/var/lib/postgresql/data/pgdata/postmaster.opts': Read-only file system chown: changing ownership of '/var/lib/postgresql/data/pgdata/postmaster.pid': Read-only file system chown: changing ownership of '/var/lib/postgresql/data/pgdata': Read-only file system

Bukharin

не пойму куда смотреть... надо починить

Andrey

не пойму куда смотреть... надо починить

>chown: changing ownership of '/var/lib/postgresql/data/pgdata/postmaster.opts': Read-only file system Проверь маунты волюмов.

Bukharin

точнее?

G72K

Всем привет! Ранее разворачивал GitLab через Helm https://gitlab.com/charts/gitlab тогда все развернулось, заработало на 3х нодах. После этого пришлось погасить все 3 ноды и после их поднятия много чего (из подов) не восстановилось в том числе Postgres от этого GitLab: $ kubectl get pods ... gitlab3-postgresql-784bdfb89b-9qsws 1/2 CrashLoopBackOff 23 1h ... $ kubectl describe pod gitlab3-postgresql-784bdfb89b-9qsws ... Events: Type Reason Age From Message —— —---- —— —— —---— Warning BackOff 1m (x432 over 1h) kubelet, k8s-m3.me Back-off restarting failed container $ kubectl logs gitlab3-postgresql-784bdfb89b-9qsws gitlab3-postgresql ... chown: changing ownership of '/var/lib/postgresql/data/pgdata/postmaster.opts': Read-only file system chown: changing ownership of '/var/lib/postgresql/data/pgdata/postmaster.pid': Read-only file system chown: changing ownership of '/var/lib/postgresql/data/pgdata': Read-only file system

Если сами ямлы не менялись, у вас все закрашилось и надо ФС чинить

Ivan

Всем привет! Народ, а никто не в курсе, гиперкуб больше не будет обновляться или как? https://quay.io/repository/coreos/hyperkube?tab=tags

Aleksei

Всем привет! Народ, а никто не в курсе, гиперкуб больше не будет обновляться или как? https://quay.io/repository/coreos/hyperkube?tab=tags

gcr.io/google-containers/hyperkube v1.11.2

Ivan

gcr.io/google-containers/hyperkube v1.11.2

о! спасибо большое ))

Ivan

Кстати, прикол - CoreOS при переходе с 1632 на 1800 (где то между ними) поломали ETCD. Раньше в комплекте шёл бинарник, а в новой версии etcd запускается как контейнер в rkt ))

G72K

Всем привет! Народ, а никто не в курсе, гиперкуб больше не будет обновляться или как? https://quay.io/repository/coreos/hyperkube?tab=tags

Оно уехало на k8s.gcr.io/hyperkube

G72K

Кстати, прикол - CoreOS при переходе с 1632 на 1800 (где то между ними) поломали ETCD. Раньше в комплекте шёл бинарник, а в новой версии etcd запускается как контейнер в rkt ))

Зато можно версию выбрать

Aleksei

Оно уехало на k8s.gcr.io/hyperkube

Bukharin

Если сами ямлы не менялись, у вас все закрашилось и надо ФС чинить

ФС - это кто такой? )

G72K

Файловая система

Bukharin

ясно

Mikhail

по поводу нагруженности мастер ноды...

Mikhail

можете начинать смеяться

Mikhail

после ребута LA со 140 превратился в 10

Andor

ребута чего?

Mikhail

ребута мастер ноды

Andor

одной из?

Mikhail

единственной

Andor

как это?

Mikhail

просто

Mikhail

одна управляющая мастер нода и 4 остальных

Ivan

Зато можно версию выбрать

Я написал юнит который запускает етцд в докер ))

Mikhail

шта?

Vitalii

Коллеги, у меня новый челленж с kubernetes:) Нужно отредактировать адреса ceph мониторов в PersistentVolume. В kubectl edit мне логично отвечают "spec.persistentvolumesource: Forbidden: is immutable after creation" Делал кто-нибудь подобное? Какие есть варианты?

Andor

переподключить нельзя без пересоздания?

Andor

@etkee спасибо тебе кстати

Vitalii

переподключить нельзя без пересоздания?

Меня вполне устроит, чтобы он ничего не делал при самом изменении PV, а подключился к новым адресам при следующем старте подов. Но непонятно как редактировать.

Andor