кто-то сталкивался с проблемой на ubuntu 16.04 docker 1.12.6 что контейнер зависает в состоянии started и дальше не идет. все это вместе в кубернетесом 1.6.2-4 причем если руками докер запустить с тем-же всем то все ок.

ну и кубернетес его убивает и пробует заново поднять. и так вечно

SchedulerPredicates failed due to PersistentVolume 'pvc-490a0030-4184-11e7-9150-000d3a298c2e' not found, which is unexpected., SchedulerPredicates failed due to PersistentVolume 'pvc-490a0030-4184-11e7-9150-000d3a298c2e' not found, which is unexpected. блин да что не так, как это починить, я в azure уже попереподключал диски с таким кодом и всё равно pod с монгой не запускается(

http://kublr.com/ уже была private beta?

такс, helm опять спас немножко, но вот такой еще вопрос у меня монга с 2 репликами, а в azure нельзя к одной ноде подключать сразу два диска, так что монгореплика создала два пода, а с третьей не вышло, пришлось поднимать третью ноду, так вот, как мне перезапустить создание третьей реплики, которая ругалась на то что ей негде деплоится? теперь то есть где, вот только как этот процесс рестартануть можно?

http://kublr.com/ уже была private beta?

Огонь)

Ребят, подскажите как поправить. Поднял k8s в локалке и сделал проброс порта 6443 из внешней сети. Теперь при попытке зайти снаружи получаю такую ошибку: Unable to connect to the server: x509: certificate is valid for 10.96.0.1, 192.168.88.235, not "MY_EXTERNAL_IP" Какие сертификаты нужно изменить и как правильно это сделать?

А как генерились сертификаты?

в openssl.conf нужно чтобы были указаны внутрение и внешние ИПы [alt_names] DNS.1 = 10.96.0.1 IP.1 = 10.96.0.1 DNS.2 = 192.168.88.235 IP.2 = 192.168.88.235 DNS.3 = external_ip IP.3 = external_ip

ставил все через kubeadm

где найти openssl.conf?

https://kubernetes.io/docs/admin/kubeadm/ "Additional hostnames or IP addresses that should be added to the Subject Alternate Name section for the certificate that the API Server will use. If you expose the API Server through a load balancer and public DNS you could specify this with"

в kubeadm похоже просто есть опция

если запустить kubeadm на уже живом кластере он не помрет?

я пока вижу только как это сделать при первоначальной установке

через --apiserver-cert-extra-sans=

с kubeadm не игрался, не скажу. Но вообще суть в том что нужно перегенерировать сертификаты и потом порестартить api-server и kubelet на нодах. И подождать пока новые токены сгенерятся.

надо поискать есть ли возможность у kubeadm это сделать. может ключик есть какой-то

в общем нашел решение, но руками пришлось все делать

https://coreos.com/kubernetes/docs/latest/openssl.html#generate-the-api-server-keypair

главное все ext поля из текущего сертификата скопировать

Кто-то использовал https://rook.io/ ?

интересует ceph + kubernetes :)

Кто-то использовал https://rook.io/ ?

вы же понимаете, насколько больная это идея, правда?

кто-то сталкивался с проблемой на ubuntu 16.04 docker 1.12.6 что контейнер зависает в состоянии started и дальше не идет. все это вместе в кубернетесом 1.6.2-4 причем если руками докер запустить с тем-же всем то все ок.

пуллите самодельный имейдж с локального докера?

вы же понимаете, насколько больная это идея, правда?

объясните, пожалуйста, почему. К примеру есть в кубе prometheus / grafana, хочется чтобы в ceph'е выделялось место для сохраненния данных и при рестарте сервисов данные не пропадали. Кроме как какого-то распределенного хранилища я вменяемых вариантов не вижу.

или если разработчикам понадобится чтобы какие-то их данные были доступными между сервисами. Cephfs в помощь будет.

пуллите самодельный имейдж с локального докера?

самодельный, с своего приватного registry. но проблема уже решена, и я почти уверен что понял почему не работало. в общем дело было не в бабине.

имедж самодельный, но не мной. ) проблема не в нем вообще была.

внезапно стали падать часть подов: insipid-rottweiler-elast-627756249-rqxbq 0/1 CrashLoopBackOff 350 31d - памяти на машинах достаточно так что это не OOM - конфигурация не менялась пода - в логах самого пода все ровно так что перезапуск инициирован нодой - ноды совершенно рандомные - дескрайб инфы не дает внятной: 1d 1s 8161 kubelet, gke-usa-production-himem-f4630381-8dr4 Warning FailedSync Error syncing pod, skipping: failed to "StartContainer" for "elasticsearch" with CrashLoopBackOff: "Back-off 5m0s restarting failed container=elasticsearch pod=insipid-rottweiler-elast-627756249-rqxbq_default(c7f2501c-35a7-11e7-8ad6-42010a800009)" подскажите плиз: что? как? почему? и, главное, как это дебажить?

перед этим какие события?

если Killing что-то там, то liveness check помирает

на первый вгляд - да, но я не увидел об этом инфы: https://pastebin.com/X3e6c6sE

нету , это не liveness check

OOM может?

$ kubectl top nodes NAME CPU(cores) CPU% MEMORY(bytes) MEMORY% gke-usa-production-himem-f4630381-t9p0 476m 11% 5970Mi 22% gke-usa-production-himem-f4630381-06z4 314m 7% 16187Mi 61% gke-usa-production-himem-f4630381-8dr4 1695m 42% 17219Mi 65% gke-usa-production-himem-f4630381-jfgm 460m 11% 6526Mi 24% памяти достаточно

да и должен поидее после этого перекинуть на другую ноду, а не 300+ раз перезапускать под... не?

* контейнер в поде

надо смотрет логи kubelet и может dmesg

лол... пытался, там куча непонятной шняги типа Unsafe core_pattern used with suid_dumpable=2. Pipe handler or fully qualified core dump path required. (просто один из примеров) - то есть вроде бы и ошибка, но с другой стороны хз относится к теме или нет

нигде нет статьи по порядку разбора инцидентов кубернетеса случаем?

была бы полезной

ну вот та фраза говорит, что не может core dump сделать, т.к. sysctl неправильный

а раз ему пришлось core dump делать, то дело плохо)

может ему плохо по другой причине )

в окресностях не видно, что в корку валится?

не, journalctl -u kubelet например говорит все норм

сообщение до этого из dmesg же

из подозрительного только эти строчки: ioremap error for 0xbffff000-0xc0000000, requested 0x2, got 0x0 dmi: Firmware registration failed EXT4-fs (dm-0): couldn't mount as ext3 due to feature incompatibilities EXT4-fs (dm-0): mounting ext2 file system using the ext4 subsystem [/usr/lib/systemd/system/bindmount@.service:6] Failed to add required mount for, ignoring: %I но система в любом случае не моя а GKE, так что единственное что я могу сделать - это пересоздать инстанс ноды :)

поясните за ceph

ceph и flocker это примерно одно и то же?

ceph и flocker это примерно одно и то же?

нет

ceph сторадж. флокер - управлялка к разным стораджам.

cyka blyat decisions decisions...

флокер позорники уже хз сколько ссылку на доки не могут поправить

A flocker volume allows a Flocker dataset to be mounted into a pod.

A cephfs volume allows an existing CephFS volume to be mounted into your pod.

и то и то позволяет маунтить волумы в под

и то и то позволяет маунтить волумы в под

Вольюмы это и есть то, что маунтится в под

Наблюдаю подобное же с версии 17.04 у соседа)

Подскажи ему погрепать netstat по CLOSE_WAIT, похоже в этом причина

какая-то скотина забывает убивать сокеты за собой

причем эта скотина явно запущена в рамках dockerd, потому что рестарт демона сокеты закрывает

ERROR: S client not available

причем эта скотина явно запущена в рамках dockerd, потому что рестарт демона сокеты закрывает

CLOSE_WAIT это как раз закрытый сокет. остается со стороны закрывающей соединение первой

ето понятно, факт в том, что они утекают

причем в моём случае это ещё и kube-proxy

хммм

ftw

ето понятно, факт в том, что они утекают

проблема была, что качает медленно, так? закачка идет по открытому сокету жеж, какая разница что там вокруг

ребят помогите пожалуйста.. есть рабочий гайд как на ubuntu 16.04 накатить?... по всем докам криво или не полностью(

Darknet - темная сторона всемирной паутины @darknets

ребят помогите пожалуйста.. есть рабочий гайд как на ubuntu 16.04 накатить?... по всем докам криво или не полностью(

All in one?

Проще всего на 2 машины ставить из скриптов: https://github.com/coreos/coreos-kubernetes/tree/master/multi-node/generic

Отдельно controller, отдельно worker

Из скриптов на Ubuntu не ставится. Пробовал разные релизы. 1.3.5 1.6.4 . В 1.7 вообще папку с убунтой выпилили (

kubeadm?

Из скриптов на Ubuntu не ставится. Пробовал разные релизы. 1.3.5 1.6.4 . В 1.7 вообще папку с убунтой выпилили (

Проще самому с нуля пилить. А если чисто попробовать - да, kubeadm.

Если с kubeadm делать сетку отдельно настраивать?

Если с kubeadm делать сетку отдельно настраивать?

там плагин вроде как штатно ставится

Проще самому с нуля пилить. А если чисто попробовать - да, kubeadm.

ну я поставил из кукбука злых марсиан, например

Если с kubeadm делать сетку отдельно настраивать?

сетка ставится как аддон, все описано в доке

ну я поставил из кукбука злых марсиан, например

тогда шеф курить детально что и как

ну я поставил из кукбука злых марсиан, например

Ну мне надо иметь полное представление что куда и зачем, и как оно работает:) поэтому пошел по сложному пути)

Ну мне надо иметь полное представление что куда и зачем, и как оно работает:) поэтому пошел по сложному пути)

kubernetes hard way может тогда? Есть мануал на эту тему

https://www.google.ru/search?q=kubernetes+hard+way&oq=kubernetes+hard+way&aqs=chrome..69i57j69i64.215j0j7&sourceid=chrome&ie=UTF-8

Кубеадм все в контейнерах поднимает. Я видел люди делают все пакетными менеджерами и скриптами в systemd... Это нормально? Как лучше?

Да хочется разобраться, пойду сложным путем

Кубеадм все в контейнерах поднимает. Я видел люди делают все пакетными менеджерами и скриптами в systemd... Это нормально? Как лучше?

а тут рецепта нет, от объема зависит, в общем: мы когда изучали остановились на кнтейнерах, но не факт, что когда всего много - через пакеты не будет проще

ну просто берете и считаете время, которое уйдет на саппорт в том и другом случае

серебрянной пули нет

Спасибо всем. Пойду дальше побеждать)

ИМХО чем больше куба крутится внутри куба, тем проще

вплоть до Etcd от которого зависит куб, пускать в кубе

и apiservers