я правильно понимаю, что по функционалу это некоторый гибрид minicube и kargo?

это скорее что-то среднее между minikube и local-up-cluster, но только многонодовое

minikube на данный момент стабильнее, но даёт только одну ноду и использует свою виртуалку

1.6.0 уже почти вот-вот https://github.com/kubernetes/kubernetes/releases/tag/v1.6.0-beta.4

Поскорее бы:)

Я вчера beta3 взял, но AzureDisk на нём все равно медленно форматируется/подключается, хотя вроде должны были исправить

кто-то поставил nginx ingress 0.9.0-beta.3?

Поставил

Работает

Кто-нить озадачивался скрещиванием ODL с Kubernetes?

Навеяно неплохой презентацией https://www.slideshare.net/premsankar/kubernetes-integration-with-odl

Правда я бы выпилил оттуда OS

можно вкратце, чем лучше калико?

если только сеть брать

или это вообще не про это?

можно вкратце, чем лучше калико?

ODL поддерживается в железе

если только сеть брать

Не, калико круто! Только речь про то, чтобы отказаться от OS Чтобы пускать контейнеры на BM

А как со скоростью на двойной виртуализации?

Где двойная?

На вводе-выводе

Вот тут ODL нужен https://kubernetes.io/docs/admin/ovs-networking/

Работает

все рабоатает? продакшн? https://github.com/kubernetes/ingress/issues/451 не беспокоит?

all, как удалить podы в unknown status? образовались после пропадания одного из воркеров сильно надолго

кубер успел переподнять поды до его появления

помог ребут ноды на которой были unknown статусы

подскажите, у кого бареметалл и натроен мультимастер, у вас корректно происходит ребут одной ноды? у меня через раз при ребуте одной ноды кубер показывает что not ready две ноды, это как то можно разрулить? балансир аписерверов хапрокси

подскажите, у кого бареметалл и натроен мультимастер, у вас корректно происходит ребут одной ноды? у меня через раз при ребуте одной ноды кубер показывает что not ready две ноды, это как то можно разрулить? балансир аписерверов хапрокси

А сколько всего нод?

А сколько всего нод?

пока 3

короче какая-то шняга с кластером на гугле: запросы через балансировщик стандартный идут через раз (одна из нод не отвечает) самое интересное что при удалении ноды зараза эта переходит на другую ноду %) что посоветуете сделать чтоб с минимальным даунтаймом хрень отдебажить и/или поправить?

это GKE?

или сам делал на GCE?

GKE

хочу попробовать текущие ноды в дрейн, создать пул с новыми, обновить кластер и грохнуть старые

хз поможет или нет, плюс опять же даунтайм что плохо

не, не помогло - че за хрень

если эту ноду кильнуть то другая красной становится

кто-нибудь сталкивался?

а кто каую файловую систему использует под ОС k8. У нас недавно что-то подвисло на тестовом стенде и поды быстро расплодившись исчерпали inode.

а кто каую файловую систему использует под ОС k8. У нас недавно что-то подвисло на тестовом стенде и поды быстро расплодившись исчерпали inode.

У меня все хорошо на ext4

Правда, у меня OpenShift.

Да у нас ext4 везде. Это первый случай. Когда все успокоили то занятость inode 25%

Да у нас ext4 везде. Это первый случай. Когда все успокоили то занятость inode 25%

Вводите больше нод.

Или можно использовать xfs :)

Это шоурум. Там однонодовый кластер. Дальше Уже минимум 3 ноды. На проде будет три мастера.

Это шоурум. Там однонодовый кластер. Дальше Уже минимум 3 ноды. На проде будет три мастера.

Тогда надо логи курить)

а кто каую файловую систему использует под ОС k8. У нас недавно что-то подвисло на тестовом стенде и поды быстро расплодившись исчерпали inode.

ext4 под ОС, xfs под данные. с докером нормально скрещивается только XFS, как я понимаю

ext4 под ОС, xfs под данные. с докером нормально скрещивается только XFS, как я понимаю

Спасибо

у докера overlay storage driver пожирает inode обычно

Как то исторически aufs ставится

Ресурсов на всё хватает?

Ресурсов на всё хватает?

угу, 3% cpu занято и 20% памяти

Как то исторически aufs ставится

Но не стоит так делать.

Как то исторически aufs ставится

я использую overlayfs2, но она по сути - не FS, с голыми дисками работать не может

Но не стоит так делать.

А почему? У меня как раз были проблемы с оверлей2 даже было время когда мастер kubeadm не хотел активироваться с этой фс.

Кстати в рекомендации встречал "we will continue to recommend users to use the default storage backend, which is Aufs as of now."

aufs?

бгг

она жёстко глючит

особенно в убунту

не встречали когда ломаются permissions?

и ещё сотня багов

просто docker/issues

а вот этот баг просто сказка

https://github.com/docker/docker/issues/13940

я видел его в 3 ядрах из шести в убунтах

то есть то нет то опять опа

в ядрах lts

Да я вкурсе. У меня везде 16.04 и 4.4.0-66

я для себя решил использовать btrfs результаты отличные

А я вот в первый, и, наверно, последний раз, воспользовался CentOS в качестве ОС для Docker

А я вот в первый, и, наверно, последний раз, воспользовался CentOS в качестве ОС для Docker

В чем проблема? Более года в проде, именно centos 7.x и последний docker 1.13

Так получилось, что нужно было развернуть один сервис, а под рукой была только виртуалка с CentOS. Развертывание нужно было для внутреннего использования, поэтому я решил просто поставить докер и в нем развернуть то, что нужно

И все было прекрасно на протяжении нескольких месяцев. Потом виртуалка стала подвисать, а сегодня контейнеры перестали запускаться

Оказалось, что в закончилось место на device mapper, который был в файле на loopback

Это потому-что ты использовал devicemapper и старый докер и ядро не более свежее, у нас ядро с elrepo было, потом стали почти ванильное + патч в одну строку

И не просто закончилось, а к херам закончилось - все решения, которые я встретил сводились у тому, что нужно сделать rm -rf /var/lib/docker и начать сначала

С overlay2 таких проблем нетв

Это потому-что ты использовал devicemapper и старый докер и ядро не более свежее, у нас ядро с elrepo было, потом стали почти ванильное + патч в одну строку

Насколько я видел в баг трекер докера, только последней осенью они вылили *воркарунд*! который не дает полностью закончится месту (так, что еще можно реанимировать все это дело)

И я видел предупреждение о том, что device mapper на лупбеке не стоит использовать а проде (и да, я смотрел, что основная причина - это перформанс, мне это было некритично)

Насколько я видел в баг трекер докера, только последней осенью они вылили *воркарунд*! который не дает полностью закончится месту (так, что еще можно реанимировать все это дело)

Ну удачи, это дело не из простых....

Но вот чтобы поведение по умолчанию было "я работаю пока не сдохну без предупреждения" это что то

И да, я был не лучшего мнения о aufs в убунте

я для себя решил использовать btrfs результаты отличные

я его тоже юзал продолжительное время, но устал от постоянных глюков

хз. aufs не работает, layerfs не работает, layerfs2 ещё нет, devmapper не работает

в дебиане кстати более менее aufs в отличии от убунты)

в дебиане кстати более менее aufs в отличии от убунты)

это как? разные исходники?

ядро разное. собрано с разным конфигом

для примера можешь скачать 4 ядра лтс убунты и сделать zcat /boot/config.gz | grep aufs

или как там она называется. я в мирантисе кучу багов заводил что не работает dir perm

из-за того что в ядре пролюбили включить xattr

выглядит как permission denied при попытке записать в валидную директорию в многослойный докер

например в tomcat9

дебиан просто в сислог гадит. убунта колтрейс в ядро, сервер неадекватен