На нодах случается disk pressure. Как посмотрить на что место тратится? И как чистить?
1) Заходим по ssh на проблемную ноду, cмотрим кто сожрал место sudo ncdu -x /var/lib/docker/volumes
Получаем volume-хеш, типа такого: 85dc9d314c293752733b78882c52170f305bb39a60ed8315339c2c2bb2
2) Итерируем там все контейнеры по их ID, делая потом им inspect (предварительно подставив volume-хеш):
for i in $(sudo docker ps -q) ; do sudo docker inspect $i | grep -A 100 -B 10 85dc9d314c293752733b78882c52170f305bb39a60ed8315339c2c2bb2a48f65 | grep io.kubernetes.pod.name ; done
3) Получаем вывод:
"io.kubernetes.pod.name": "zabbix-agent-77512",
"io.kubernetes.pod.namespace": "monitoring",
4) Утоняем еще раз точно ли grep выбрал то, что нужно:
sudo docker ps | grep zabbix-agent-77512
Получаем:
9d1f96336604 docker.hub/zabbix/zabbix-agent
Контейнер с entrypoiunt /pause - игнорируем.
sudo docker inspect 9d1f96336604
Получаем:
85dc9d314c293752733b78882c52170f305bb39a60ed8315339c2c2bb2
"Name": "85dc9d314c293752733b78882c52170f305bb39a60ed8315339c2c2bb2a48f65",
"Source": "/var/lib/docker/volumes/85dc9d314c293752733b78882c52170f305bb39a60ed8315339c2c2bb2a48f65/_data"
Сверяем хеш. Если все ок то pod найден верно.
5) Выходим с ноды. Идем в кубер и прибиваем его.
6) Если контейнер в шаге 2 не находится, то выкручиваем grep -A & -B на больший диапазон строк. Вплоть до 500