Get-Process в помощь

sps

BUG: soft lockup - CPU#38 stuck for 22s! а чего это php-fpm на 7-м центосе выдает?

BUG: soft lockup - CPU#38 stuck for 22s! а чего это php-fpm на 7-м центосе выдает?

он говорит что виртуалка гавно

это не виртуалка, на nginx тоже так же ругается

essage from syslogd@ds01 at Mar 14 16:31:39 ... kernel:NMI watchdog: BUG: soft lockup - CPU#23 stuck for 22s! [nginx:12829] Message from syslogd@ds01 at Mar 14 16:31:39 ... kernel:NMI watchdog: BUG: soft lockup - CPU#26 stuck for 22s! [nginx:38762] Message from syslogd@ds01 at Mar 14 16:31:39 ... kernel:NMI watchdog: BUG: soft lockup - CPU#27 stuck for 22s! [php-fpm:11188] Message from syslogd@ds01 at Mar 14 16:31:39 ... kernel:NMI watchdog: BUG: soft lockup - CPU#28 stuck for 22s! [php-fpm:10120] Message from syslogd@ds01 at Mar 14 16:31:39 ... kernel:NMI watchdog: BUG: soft lockup - CPU#32 stuck for 22s! [nginx:38717] Message from syslogd@ds01 at Mar 14 16:31:39 ... kernel:NMI watchdog: BUG: soft lockup - CPU#33 stuck for 22s! [nginx:38732] Message from syslogd@ds01 at Mar 14 16:31:39 ... kernel:NMI watchdog: BUG: soft lockup - CPU#36 stuck for 22s! [php-fpm:12476] Message from syslogd@ds01 at Mar 14 16:31:39 ... kernel:NMI watchdog: BUG: soft lockup - CPU#38 stuck for 22s! [nginx:38772]

это в ядре, вероятно при обращении к файловой системе

3.10.0-957.5.1.el7.x86_64

иногда мы такое видели на машинах, где память выжиралась полностью

у тя че-нить кончилось. цпу или ио. и оно простаивает в его ожидании критически долго

можт хранилище отвалилось?)

у тя че-нить кончилось. цпу или ио. и оно простаивает в его ожидании критически долго

обычно это ио

я бы в ту сторону смотрел

Filesystem Inodes IUsed IFree IUse% Mounted on /dev/md126 31M 68k 31M 1% / Filesystem Size Used Avail Use% Mounted on /dev/md126 458G 3.1G 432G 1% /

покажи иовейт с него)

да там сервак в простое

la 0.01

я бы еще в дмесг тогда посмотрел

обычно в cpu stuck есть стактрейс

и по нему можно понять что куда

кто в курсе, по умолчанию kops какой тип сети сетапит? если не указывается ключем? flannel? а то в kops edit cluster нет ничего о типе сети

я бы еще в дмесг тогда посмотрел

пусто

пусто

оч странно, а в каком-нибудь kern.log или что там в центоссе тоже?

нет его там, это 7-й центос)

кто в курсе, по умолчанию kops какой тип сети сетапит? если не указывается ключем? flannel? а то в kops edit cluster нет ничего о типе сети

kubenet

https://github.com/kubernetes/kops/blob/master/docs/networking.md

https://github.com/kubernetes/kops/blob/master/docs/networking.md

а, тю, невнимательно прочитал( спасибо а это совсем паршивая сетка, впервые вижу такую? а то не я сетапил, получил уже с этим типом сети кластер:с пока вроде бы ниче не отваливалось

а, тю, невнимательно прочитал( спасибо а это совсем паршивая сетка, впервые вижу такую? а то не я сетапил, получил уже с этим типом сети кластер:с пока вроде бы ниче не отваливалось

лучше юзай canal

networking: canal: {}

+ кореДНС туда же

и естественно если это править в копсе, то потребуется пезагрузка кластера?:с

нет его там, это 7-й центос)

дмесг всегда должен быть и куда то дампится его вывод

в dmesg'е ни слова, я про kern.log говорил

я бы тогда потыкал journald и посмотрел куда падает инфа о таких вещах, так как без стактрейса будет сложновато разобраться с проблемой

нет его там, это 7-й центос)

messages.log?

messages есть, в нем пусто (

и естественно если это править в копсе, то потребуется пезагрузка кластера?:с

роллаут

по 1 тачке выкатывать можешь, но для замены сети я подозреваю что нужен полный рестарт

роллаут

ну это равносильная команда насколько помню

ну это равносильная команда насколько помню

нет

Роллаут выполняет перезагрузку по частям

те кластер может не умереть целиком, зависит от архитектуры приложения

те кластер может не умереть целиком, зависит от архитектуры приложения

ммм, а рестарт тогда чем отличается?😳

всё сразу ребутается одновременно чтоль?

рестарт в моем понимании, полная потеря функциональности кластера

возможно я не прав

жоска

спасибо за ответы

те кластер может не умереть целиком, зависит от архитектуры приложения

а кстати, всё забывал спросить у людей, рискованно агрейдить кластер с 1.9.6 например до 1.11.0?

лучше сначала до 1.10 и потом до 1.11?

а кстати, всё забывал спросить у людей, рискованно агрейдить кластер с 1.9.6 например до 1.11.0?

нет, если ты не используешь какие то супер специфичные штуки

Я обновлял с 1.9 до 1.12

сейчас 1.12.6

нет, если ты не используешь какие то супер специфичные штуки

ооо, крутяк, обрадовал прям меня

прочитай релиз ноуты в кубере

И посмотри что у тебя используется

прочитай релиз ноуты в кубере

да, я слежу, просто насколько пмоню, в последни раз 1.12 в альфе была у них не?

Если адмиссии, кастомные ресурсы и тд

да, я слежу, просто насколько пмоню, в последни раз 1.12 в альфе была у них не?

копс 1.11 поддерживает кубер 1.12

ну или просто работает

Если адмиссии, кастомные ресурсы и тд

не очень понял этот момент, где это смотреть? да и вообще, сам термин "специфические штуки", если можно, на доку ссылкой, почитать

просто релизноуты и что сделали депрекейтед

просто релизноуты и что сделали депрекейтед

ага, понял-принял, спасибо

Если kubespray то есть нюансы

а кстати, всё забывал спросить у людей, рискованно агрейдить кластер с 1.9.6 например до 1.11.0?

Нужно знать ритуал

Утром на тощак едешь в церковь ставить свечку

Нужно знать ритуал

бубен хоть не нужен?))

В обед окунаешься в прорубь либо в горную речку

да ладно, всё настолько плохо разве?(

бубен хоть не нужен?))

Вообще говоря оф инструкция говорит: You can upgrade only from one minor version to the next minor version. That is, you cannot skip versions when you upgrade. For example, you can upgrade only from 1.10 to 1.11, not from 1.9 to 1.11. The default DNS provider in version 1.11 is CoreDNS rather than kube-dns. To keep kube-dns, pass --feature-gates=CoreDNS=false to kubeadm upgrade apply.

Вечером, прочитав трижды Отче наш, начинаешь обновлять

Вообще говоря оф инструкция говорит: You can upgrade only from one minor version to the next minor version. That is, you cannot skip versions when you upgrade. For example, you can upgrade only from 1.10 to 1.11, not from 1.9 to 1.11. The default DNS provider in version 1.11 is CoreDNS rather than kube-dns. To keep kube-dns, pass --feature-gates=CoreDNS=false to kubeadm upgrade apply.

Но это kubeadm

Вообще говоря оф инструкция говорит: You can upgrade only from one minor version to the next minor version. That is, you cannot skip versions when you upgrade. For example, you can upgrade only from 1.10 to 1.11, not from 1.9 to 1.11. The default DNS provider in version 1.11 is CoreDNS rather than kube-dns. To keep kube-dns, pass --feature-gates=CoreDNS=false to kubeadm upgrade apply.

вот я потому и спрашивал, что когда-то это видел, позабыл уже просто

вот я потому и спрашивал, что когда-то это видел, позабыл уже просто

хз-хз, я бы просто обновлял до 11 и смотрел

у тебя же есть тестовый кластер?

хз-хз, я бы просто обновлял до 11 и смотрел

ахаха

Те, на боевом так делать не стоит все же

у тебя же есть тестовый кластер?

ноуп)

Хотя откатить изи