Dmytro 🇺🇦
Подскажите пожалуйста, кто-то отправлял метрики heapster для kubernetes dashboard в grafana/prometheus?
Anton
в k8s есть готовые эндпойнты для prometheus, тоесть ничгео дополнительно не нужно
🪰
Доброго всем дня. Есть сильная проблема - не умирают поды. После остановки всех контейнеров под остается висеть в статусе Terminating (READY: 0/1). Логи kubelet говорят, что вроде как проблема с unmount секретов:
nestedpendingoperations.go:262] Operation for "\"kubernetes.io/secret/eda384b9-e4e3-11e7-b95a-246e96857c4c-default-token-gcqtd\" (\"eda384b9-e4e3-11e7-b95a-246e96857c4c\")" failed. No retries permitted until ... Error: UnmountVolume.TearDown failed for volume "default-token-gcqtd" (UniqueName: "kube ...): device or resource busy
пробуем сделать umount руками:
сначала смотрим - что есть - mount |grep /....:
tmpfs on /var/lib/kubelet/pods/eda384...-gcqtd type tmpfs (rw,relatime)
то есть система показывает, что все замаунчено
sudo umount /var/lib/kubelet/pods/eda384b9...:
umount: /var/lib/kubelet/pods/eda384b9-e4e3-11e7-b95a-246e96857c4c/volumes/kubernetes.io~secret/default-token-gcqtd: not mounted
То есть mount показывает, что все замаунчено, а umount говорит, что нет, нифига не замаунчено.
Возможно это вопрос не по теме и стоит задать его в группе про линукс, но может кто-то сталкивался. ОСь пока поменять не можем в силу политических причин.
OS: Description: CentOS Linux release 7.4.1708 (Core)
Release: 7.4.1708
Linux 3.10.0-693.5.2.el7.x86_64
🪰
Нет, обычные диски вроде, правда xfs
G72K
docker storage driver lvm?
G72K
Не гаснут все поды или только те что запущены в самом начале?
G72K
Докер свежий?
Anton
как лучше всего визуализировать топологию кластера и трафик, который ходит между а) нодами б) подами?
Mikhail [azalio]
Overlayfs? xfs с правильной опцией смонтирована?
🪰
про docker storage drive щас посмотрю что именно стоит, но вроде никаких специальных настроек не применялось. докер старый - Docker version 1.12.6, build 85d7426/1.12.6
🪰
опции по умолчанию, ничего не добавляли
G72K
G72K
Еще шаманство и не спрашивайте почему - перезапустите ntpd , может отпустит :)
🪰
как лучше всего визуализировать топологию кластера и трафик, который ходит между а) нодами б) подами?
Можно поставить https://www.weave.works/ но тут жаловались, что она много ресурсов отъедает
🪰
Хм, но у нас нет никаких lvm. Да и рутовая файловая система по идее не должна влиять на то, что мы в нее маунтим. Да и проблемы с анмаунтом не самих image, а секретов, которые сам куб и маунтит с помощью tmpfs. Может и правда новый докер попробовать
G72K
Салтыдык
Еще шаманство и не спрашивайте почему - перезапустите ntpd , может отпустит :)
да, я тоже натыкался на эту забавную багу)
Anton
ShadoWalkeR
🪰
restart ntpd не помог, lsblk выдает, что все маунты в докере имеют тип dm, что есть Device mapper. Который является не лучшим выбором storage driver для докера. И поэтому лучше пересесть на overlay2, чем мы и займемся. Спасибо, попробуем.
Правда для этого придется kernel апгрейдить до 4 версии. Да и xfs там поддерживается с какими то дополнительными опциями судя по требованиям https://docs.docker.com/engine/userguide/storagedriver/overlayfs-driver/#prerequisites
G72K
restart ntpd не помог, lsblk выдает, что все маунты в докере имеют тип dm, что есть Device mapper. Который является не лучшим выбором storage driver для докера. И поэтому лучше пересесть на overlay2, чем мы и займемся. Спасибо, попробуем.
Правда для этого придется kernel апгрейдить до 4 версии. Да и xfs там поддерживается с какими то дополнительными опциями судя по требованиям https://docs.docker.com/engine/userguide/storagedriver/overlayfs-driver/#prerequisites
Ну lvm devicemapper единственный который поддерживается в коммерческой версии :) так что не сказал бы,уж что плохой выбор. Другое дело что у вас может быть dm на loop девайсах (оно кажется дефолт в 1.12), а вот это швах
G72K
Ну и докер обновите таки
🪰
The overlay2 driver is supported for Docker EE and recommended for Docker CE.
Vitalii
как лучше всего визуализировать топологию кластера и трафик, который ходит между а) нодами б) подами?
Есть weave scope, который юзает ebpf и conntrack и жрёт CPU как не в себя
Vitalii
Может есть оверлеи с netflow, самому интересно
G72K
The overlay2 driver is supported for Docker EE and recommended for Docker CE.
Значит поменялось. Полгода назад в EE официально только DM можно было, остальное на свое усмотрение
Maksim
Loop задыхается при 10-15 подах.
Denis
Кто нибудь знает как получить дефолтный конфиг scheduler в виде JSON или YAML ?
Denis
Есть мысль увеличить вес для SelectorSpreadPriority, но только его поменять нельзя, надо указывать весь конфиг целиком
Denis
Есть вот такой файл https://github.com/kubernetes/kubernetes/blob/master/pkg/scheduler/algorithmprovider/defaults/defaults.go
Denis
Ясно понятно https://github.com/kubernetes/kubernetes/issues/58805
Terry
ПОдскажите, где лучше размещать директорию с базой mysql для подов?
Terry
/tmp ?
Даня
смонтируй диск и на него
Евгений
В /var
Andor
в tmpfs
Terry
а будет конкретно один сервер, то-есть тогда нужно будет вырезать диск=1под mysql ?
Terry
сейчас можно в гугл сторейдж писать, т.к. google compute engine, но идет речь далее о сервере железном выделенном, как тогда быть?
Terry
1 pod = 1 mysql db = 1 service ?
или же я могу схитрить и один pod mysql сделать для всех сервисов, но тогда вопрос в бекапе...
Terry
или я чет не выкупаю бекст практис
Terry
киньте урлой пжалста
Andor
https://cloud.google.com/sql/
Terry
https://cloud.google.com/sql/
это ок, но я же говорю - это чисто тесты сейчас и тренинг, далье швсе будет чисто на серверах
Andor
тебе шашечки или ехать?
Andor
у нас ebs, если у тебя гугл клауд, то тебе этот клауд скуль
Terry
у нас ebs, если у тебя гугл клауд, то тебе этот клауд скуль
спасибо, я в курсе, я спрашиваю как поступать в случае с сервером выделенным
Andor
а если ты сам хочешь - ищи сторейж, который тебе выдаст хорошую производительность под базу данных
Даня
Киев, кто на митап идет?
Даня
в 19:30
Andor
в базах данных обычно всё в сторейж упирается
Andor
спасибо, что сообщил
Andor
у них драйвер для кубернетисов/докеров в комплекте?
Andor
лично я рекомендую сначала сунуть в кубер всё кроме бд
Даня
Киевляне!) кто идет на митап? Смоленская на 19:30
Andor
совать в кубер базу - очень сильно другая задача и возможно ты захочешь её просто держать снаружи
Andor
(это если mysql можно называть базой данных, конечно)
Даня
мы держали бд в докере и нормальок все было)
Даня
правда продовая все равно было локально установлена
Andor
тестовую-то где угодно можно, я про прод конечно же
Serega
офигеть аргумент. Я для теста и касандру в докере запускую и нормалек? и че )
Даня
неправильно выразился, стейдж база
Даня
с продовыми данными
Даня
чего набросился на меня то)
Даня
к тому, что оно жило 24\7
Serega
потому что молодые неокрепшие умы начитаются таких советов, а потом приходят с вопросами
Даня
ты не дочитал до конца
Даня
не хочу с тобой спорить
Andor
к стейжу всё-таки не такие требования, как к проду
Terry
тестовую-то где угодно можно, я про прод конечно же
1) тоесть в системе просто юзать mysql/percona сервер ?
2) как поступать с той же mongodb?
Serega
HA тоже было в кубере? для мускиль базы в стейдж энвайроменте? и файиловер и лоадтесты?
Даня
Даниил Гетьманцев, [30.01.18 17:55]
мы держали бд в докере и нормальок все было)
Даниил Гетьманцев, [30.01.18 17:55]
правда продовая все равно было локально установлена
что еще не понятно?
Andor
ваще в контекте бд - рекомендую их в куберы вообще не засовывать, потому что для бд обычно есть куча дополнительных тулз для бэкапаов и администрирований, которые в куберы не умеют
Andor
либо отложить этот вопрос до тех пор, когда других проблем не будет (читай: почти навсегда)
Serega
Даниил Гетьманцев, [30.01.18 17:55]
мы держали бд в докере и нормальок все было)
Даниил Гетьманцев, [30.01.18 17:55]
правда продовая все равно было локально установлена
что еще не понятно?
мне то все понятно. Но вам похоже нет, что использование чего-либо на каком-либо некритичном энвайроменте нелья рассматривать как аргумент имхо.
Т.е. может ли оно работать, и может ли оно работать достаточно долго - да!
Стоит ли так делать для прода - it depends. В большинстве случаев нет.
Полностью поддерживаю Andor
G72K