диск в норме, там ssd

а вот на сеть подозрения есть...

ок, спс

ссд != бесконечный IO если что )

я в курсе

по iotop не превышает 1% =)

по сети много вот таких сообщений [Mon Aug 20 11:58:20 2018] IPv6: ADDRCONF(NETDEV_CHANGE): eth0: link becomes ready [Mon Aug 20 11:58:21 2018] IPv6: eth0: IPv6 duplicate address fe80::8861:53ff:fe91:af26 detected! [Mon Aug 20 12:41:24 2018] cni0: port 24(veth3ac6fd80) entered disabled state [Mon Aug 20 12:41:24 2018] device veth3ac6fd80 left promiscuous mode [Mon Aug 20 12:41:24 2018] cni0: port 24(veth3ac6fd80) entered disabled state

/report

/report

На ноде LA 140, а нагрузка в % не превышает 50, запущено 25 контейнеров Странная ситуация...

У вас точно ничего не висит в состоянии D. в топе? (включите отображение потоков кнопкой Н на всякий случай)

наблюдаю подобное явление в докере, откуда контейнеры должны переезжать - один из контейнеров 1) ограничен по процессору половиной ядра, 2) постоянно запускает субпроцессы, которые пытаются сожрать как минимум по полному ядру.

/report

видели да? https://twitter.com/EdOverflow/status/1031267058615508994

Ну дела

У вас точно ничего не висит в состоянии D. в топе? (включите отображение потоков кнопкой Н на всякий случай)

есть пара процессов всего, но по iotop actual write - 1МБ

видели да? https://twitter.com/EdOverflow/status/1031267058615508994

вот это факап... Не факап, а факапище

да уж

ну там в ответах написано что проблема не в самом трафике, а в конфигурации которую поставляли вендоры

странно другое....

LA подскочил почти синхронно на 5 нодах за ночь

это может быть связано с тупняками на мастер ноде?

это может быть связано с тупняками на мастер ноде?

а других причин нет?

это может быть связано с тупняками на мастер ноде?

выглядит странно

подскажете какие?

чуть что сразу на мастера гонют!!!!

?

ну рпс у тебя на входе не вырос случаем?

рпс чего к чему на каком входе?

ну на веб, откуда мне знать какой у вас сервис, вы нагрузку не мониторите чтоль?

мастер нода такая: а чо я сижу, давай ка через апишку нагружу воркеров чтобы не расслаблялись так?

а, вы про сервисы в контейнерах...

ну а кто по вашему ноды грузит

пришло 10к рпс выросла нагрузка на бэк выросло потребление по ресурсам

а оно пришло?

оно такое... приход не гарантирован, но если будет, то....

есть пара процессов всего, но по iotop actual write - 1МБ

D это не всегда IO, в общем случае это сисколл который нельзя прервать сигналом. Часто бывает на багах в ядре :)

ам... спасибо за информацию

у меня на мастер ноде 4 ядра и 8ГБ памяти.

на нём же jenkins развёрнут

в 4 раза больше шансов словить баг!

+prometeus +grafana

в 4 раза больше шансов словить баг!

отсюда по подробнее можно?

4 ядра :)

шуточки за 100

понятно

да я оффтоплю, петросяню

?

Всем привет! Ранее разворачивал GitLab через Helm https://gitlab.com/charts/gitlab тогда все развернулось, заработало на 3х нодах. После этого пришлось погасить все 3 ноды и после их поднятия много чего (из подов) не восстановилось в том числе Postgres от этого GitLab: $ kubectl get pods ... gitlab3-postgresql-784bdfb89b-9qsws 1/2 CrashLoopBackOff 23 1h ... $ kubectl describe pod gitlab3-postgresql-784bdfb89b-9qsws ... Events: Type Reason Age From Message —— —---- —— —— —---— Warning BackOff 1m (x432 over 1h) kubelet, k8s-m3.me Back-off restarting failed container $ kubectl logs gitlab3-postgresql-784bdfb89b-9qsws gitlab3-postgresql ... chown: changing ownership of '/var/lib/postgresql/data/pgdata/postmaster.opts': Read-only file system chown: changing ownership of '/var/lib/postgresql/data/pgdata/postmaster.pid': Read-only file system chown: changing ownership of '/var/lib/postgresql/data/pgdata': Read-only file system

не пойму куда смотреть... надо починить

не пойму куда смотреть... надо починить

>chown: changing ownership of '/var/lib/postgresql/data/pgdata/postmaster.opts': Read-only file system Проверь маунты волюмов.

точнее?

Всем привет! Ранее разворачивал GitLab через Helm https://gitlab.com/charts/gitlab тогда все развернулось, заработало на 3х нодах. После этого пришлось погасить все 3 ноды и после их поднятия много чего (из подов) не восстановилось в том числе Postgres от этого GitLab: $ kubectl get pods ... gitlab3-postgresql-784bdfb89b-9qsws 1/2 CrashLoopBackOff 23 1h ... $ kubectl describe pod gitlab3-postgresql-784bdfb89b-9qsws ... Events: Type Reason Age From Message —— —---- —— —— —---— Warning BackOff 1m (x432 over 1h) kubelet, k8s-m3.me Back-off restarting failed container $ kubectl logs gitlab3-postgresql-784bdfb89b-9qsws gitlab3-postgresql ... chown: changing ownership of '/var/lib/postgresql/data/pgdata/postmaster.opts': Read-only file system chown: changing ownership of '/var/lib/postgresql/data/pgdata/postmaster.pid': Read-only file system chown: changing ownership of '/var/lib/postgresql/data/pgdata': Read-only file system

Если сами ямлы не менялись, у вас все закрашилось и надо ФС чинить

Всем привет! Народ, а никто не в курсе, гиперкуб больше не будет обновляться или как? https://quay.io/repository/coreos/hyperkube?tab=tags

Всем привет! Народ, а никто не в курсе, гиперкуб больше не будет обновляться или как? https://quay.io/repository/coreos/hyperkube?tab=tags

gcr.io/google-containers/hyperkube v1.11.2

gcr.io/google-containers/hyperkube v1.11.2

о! спасибо большое ))

Кстати, прикол - CoreOS при переходе с 1632 на 1800 (где то между ними) поломали ETCD. Раньше в комплекте шёл бинарник, а в новой версии etcd запускается как контейнер в rkt ))

Всем привет! Народ, а никто не в курсе, гиперкуб больше не будет обновляться или как? https://quay.io/repository/coreos/hyperkube?tab=tags

Оно уехало на k8s.gcr.io/hyperkube

Кстати, прикол - CoreOS при переходе с 1632 на 1800 (где то между ними) поломали ETCD. Раньше в комплекте шёл бинарник, а в новой версии etcd запускается как контейнер в rkt ))

Зато можно версию выбрать

Если сами ямлы не менялись, у вас все закрашилось и надо ФС чинить

ФС - это кто такой? )

Файловая система

ясно

по поводу нагруженности мастер ноды...

можете начинать смеяться

ERROR: S client not available

после ребута LA со 140 превратился в 10

ребута чего?

ребута мастер ноды

одной из?

единственной

как это?

просто

одна управляющая мастер нода и 4 остальных

Зато можно версию выбрать

Я написал юнит который запускает етцд в докер ))

шта?

Коллеги, у меня новый челленж с kubernetes:) Нужно отредактировать адреса ceph мониторов в PersistentVolume. В kubectl edit мне логично отвечают "spec.persistentvolumesource: Forbidden: is immutable after creation" Делал кто-нибудь подобное? Какие есть варианты?

переподключить нельзя без пересоздания?

@etkee спасибо тебе кстати

переподключить нельзя без пересоздания?

Меня вполне устроит, чтобы он ничего не делал при самом изменении PV, а подключился к новым адресам при следующем старте подов. Но непонятно как редактировать.

@SinTeZoiD

чеж спамиры тупые такие

С КАРТИНКАМИ!

ну эт какая то новая фича

Человек старался, рисовал, душу вкладывал

у меня аж глаза потекли насколько эта картинка прекрасна

Ща мы ее пробьём и подпишем на порно рассыыыылку

а если повезет выяснить телефон, то и на СМС-рассылку подпишем =)

ну все релевантно должно быть же ну - вот у них там 600 баксов неделя - ну как они этим занитересуют кубоадмина

А его и выяснять не надо, он в объявлении...

А по-вашему сколько в неделю нужно?

Коллеги, у меня новый челленж с kubernetes:) Нужно отредактировать адреса ceph мониторов в PersistentVolume. В kubectl edit мне логично отвечают "spec.persistentvolumesource: Forbidden: is immutable after creation" Делал кто-нибудь подобное? Какие есть варианты?

Я удаляю старые и деплою новые

Я удаляю старые и деплою новые

PV можно удалить наживую, когда есть поды, использующие bound pvc?

Вроде нет

Насколько я помню - нет. PVC точно не дадут удалить PV. А полы видимо не дадут удалить PVC.

PV можно удалить наживую, когда есть поды, использующие bound pvc?

Потеряете данные