Denis
вот так даже
Maxim
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
22085 root 20 0 4795188 1.854g 10188 S 101.0 11.9 1603:02 dockerd
Maxim
однако
Maxim
эк его попячило
Denis
Нормально
Denis
Я вот не пойму, почему поды Pending и Terminating
Maxim
ты в докер инспект-то потыкал?
Maxim
и чего там в евентах?
Denis
А как понять на какой тачке под?)
Denis
kubectl describe pod тоже не помог
Maxim
kubectl get po -o wide
Maxim
последний столбец - хост
Sergey
в describe должна быть инфа, на каком хосте под
Denis
О круто, спасибо
Denis
Pending и Terminating на одной машине
Denis
Сделал kubectl describe pod - но ничего полезного:
Status: Pending
IP:
Alexander
тоже наблюдаю иногда такое.
Помогает перезагрузка ноды. Возможно Docker глючит как-то
Maxim
у тебя под поднимается чем?
Maxim
я имею в виду - деплоймент там, или rc, или просто под в папке с манифестами?
Denis
Deployment
Maxim
так
Denis
конфигурационный файл
Denis
которые отдаётся через kubectl apply -f
Maxim
в одной консольке делай kubectl get ev -o wide -w --namespace=<чего-тут-у-тебя>
в соседней консольке kubectl delete po <pod> --namespace=<чего-тут-у-тебя>
Maxim
и смотри в ту консоль, где евенты тейлятся
Denis
начинаю
Denis
уоуоу
Denis
# kubectl get ev -o wide -w --namespace=my-app-dev
FIRSTSEEN LASTSEEN COUNT NAME KIND SUBOBJECT TYPE REASON SOURCE MESSAGE
FIRSTSEEN LASTSEEN COUNT NAME KIND SUBOBJECT TYPE REASON SOURCE MESSAGE
2016-08-22 11:48:30 -0400 EDT 2016-08-22 11:48:30 -0400 EDT 1 my-app-2847709974 ReplicaSet Normal SuccessfulCreate {replicaset-controller } Created pod: my-app-2847709974-ygngc
2016-08-22 11:48:30 -0400 EDT 2016-08-22 11:48:30 -0400 EDT 1 my-app-2847709974-ygngc Pod Normal Scheduled {default-scheduler } Successfully assigned my-app-2847709974-ygngc to 10.91.119.197
Denis
Забавно, что он зашедулилось
Denis
Но всё также повисло на том же сервере в режиме Pending
Maxim
а у тебя там кьюблет-то вообще работает? :D
Maxim
где в евентах сообщения про то, что он там имаж пытается скачать и вот это вот все
Maxim
посмотри в логи кьюблета
Maxim
на 10.91.119.197
Maxim
чота с ним не так
Denis
делаю ребут
Denis
зблся)
Denis
надеюсь не отвалится ничего
Maxim
Так а в логах кьюблета чего?
Denis
а это как глянуть?
Maxim
Эээ
Denis
сейчас загрузится - могу проверить, но само по себе такое положение дел немного странное
Maxim
Ну там лессом или тейлом
Maxim
Как ты обычно логи смотришь
Maxim
Если у тебя поттерингд, то journalctl -u kubelet
Maxim
Ну или как он там у тебя называется
Denis
Странно, ещё загружается
Denis
ого:
Update Strategy: No Reboots
Failed Units: 1
user-cloudinit@var-lib-coreos\x2dinstall-user_data.service
Maxim
Мне это ни о чем не говорит
Maxim
Я флит только на картинках видел
Maxim
Расшифруй, чего произошло-то
Denis
Сейчас разбираюсь)
Denis
Кажется что то пошло не так с CoreOS-кластером
Denis
Точнее с той его частью, на которой kube-api-server
Denis
journal -u kube-apiserver -e выдаёт странное:
Aug 22 16:01:34 loadbal1 kube-apiserver[5431]: E0822 16:01:34.850843 5431 errors.go:63] apiserver received an error that is not an unversioned.Status: Get https://xxx
Aug 22 16:01:34 loadbal1 kube-apiserver[5431]: E0822 16:01:34.850870 5431 errors.go:63] apiserver received an error that is not an unversioned.Status: Get https://xxx
Aug 22 16:01:34 loadbal1 kube-apiserver[5431]: E0822 16:01:34.850861 5431 errors.go:63] apiserver received an error that is not an unversioned.Status: Get https://xxx
Aug 22 16:01:34 loadbal1 kube-apiserver[5431]: E0822 16:01:34.851190 5431 errors.go:63] apiserver received an error that is not an unversioned.Status: Get https://xxx
Aug 22 16:01:34 loadbal1 kube-apiserver[5431]: E0822 16:01:34.851630 5431 errors.go:63] apiserver received an error that is not an unversioned.Status: Get https://xxx
Denis
просто на ровном месте отвалился apiserver
Denis
это эпик
Maxim
s/эпик/талант/
Denis
факоф:
$ sudo coreos-cloudinit -validate --from-file /var/lib/coreos-install/user_data
2016/08/22 17:47:08 Checking availability of "local-file"
2016/08/22 17:47:08 Fetching user-data from datasource of type "local-file"
2016/08/22 17:47:08 line 354: error: found a tab character where an intendation space is expected
2016/08/22 17:47:08 line 0: warning: incorrect type for "" (want struct)
:)
Denis
Инженеры из Platform9 продолжают сравнивать различные системы оркестрации контейнеров. На этот раз они опубликовали статью о сравнении Kubernetes и Docker Swarm.
http://amp.gs/8q7G
Maxim
какая-то статья ниачом
Maxim
собрали дифф из двух эбаутов
Alexander
Ребята, а кто использует Prometheus для мониторинга?
Или другие инструменты? Есть примеры конфигов/настроек?
Alexander
и еще вот такой вопрос... для логов у меня сейчас ES/Logstash/Kibana
Думал все уместить на одной ноде 4 гига 2 ядра... но что-то такие тормоза в связке kibana-es что плакать хочется (((
Alexander
в общем, думаю как улучшить мониторинг/логирование до приемлемых показателей. А то выбор логов за 15 минут идет целую минуту...
Alexander
или это расплата за жадность? ;)
Maxim
это она, да
Maxim
ELK выноси отдельно
Alexander
отдельно куда? Оно и так сейчас на отдельной ноде
Alexander
4 гигиа, SSD, 2 ядра
Maxim
прометей сам по себе тоже ведь никто не юзает - там еще графана с алертманагером
Alexander
алерты пока не юзал, присматриваюсь...
Denis
Графану используем
Denis
Она хорошо с Kubernetes дружит
Alexander
ну прометей же идет в качестве стораджа для графаны
Alexander
а сами конфиги графаны, дашборды кто какие юзает? Самописные или из готовых примеров?
Denis
Из готовых примеров :)
Maxim
https://github.com/jimmidyson/prometheus-grafana-dashboards
Alexander
ага спасибо ;)
Alexander
а кто сколько ресурсов кидает на связку ELK?