а чо так?

Слишком много сообщений было первую неделю. :)

Слишком много сообщений было первую неделю. :)

скинуть линк? )

а ща тебя куда занесло?

mail.ru :)

скинуть линк? )

Ну давай :)

mail.ru :)

а, тогда вопросов больше нет про вашу безопасность )

мне знакомый много боли рассказывал :D

которую там испытал

а мейл.ру же вроде генту крутят на серверах или я путаю?

У меня нет.

а мейл.ру же вроде генту крутят на серверах или я путаю?

я слышал у них центось )

хмм а кто ж это был тогда

Мне на собеседовании говорили что есть где-то. Но я не нашёл пока

@azalio короче, Я хз, куда пропадают пакеты, разобраться в том буйстве iptables сейчас не могу

но пакеты приходящие от удаленного хоста тупо не доходят до интерфейса pod'а

но пакеты приходящие от удаленного хоста тупо не доходят до интерфейса pod'а

То есть пакеты попадают на удаленный хост?

да

другую ноду кластера

Обратно тоже приходят?

и возвращаются, Я ловлю их на внешнем интерфейсе

На ноду

да

Ага.

но в под они не попадают

Что в ip ro sh про сеть пода?

и да, они натятся

Что в ip ro sh про сеть пода?

blackhole 172.22.4.0/25 proto bird

как Я понимаю это не хорошо

И все?

blackhole 172.22.4.0/25 proto bird

Это норм.

а нет

172.22.4.3 dev calic6def642fd6 scope link

есть вот еще такое

Вот.

# ip r | grep 172.22.4 blackhole 172.22.4.0/25 proto bird 172.22.4.3 dev calic6def642fd6 scope link

Но есть из пода уходит на свою ноду, там нат, уходит на удаленную с src ноды, возвращается и в под не попадает.

именно

Форвардинг включён в sysctl и в iptables DROP не стоит

вот это Я дебил

простите

sysctl, а бревна Я и не заметил

огромное спасибо, вот, что значит, что с сетями уже лет 5 дела не имел

Ура :)

да

mail.ru :)

ваще ору одни рассказывают как пиздато катят кубы и имеют крутую квалификацию, другие идут по тем же граблям, с которыми столкнулись первые

Ох :)

Значит они имеют, я не имею. Я же не говорю что я невьебаться какой специалист :)

Значит они имеют, я не имею. Я же не говорю что я невьебаться какой специалист :)

не, я скорее про передачу опыта внутри огромной компании

Сначала надо хоть что-то внедрить. Потом будет опыт нарабатываться и можно будет сделать лучше.

То что внедрили в облаке мейла не подходит другим отделам

не, я скорее про передачу опыта внутри огромной компании

та камон, гляньте на провал с amazon prime day

вот уж казалось бы где нужно было все сделать как положено а что в итоге?

https://habrahabr.ru/post/324918/ уже обсуждали?

https://habrahabr.ru/post/324918/ уже обсуждали?

как сделать из docker lxc?

не

как быстро и просто рассказать контейнеру о его лимитах

ну ок, протащили лимиты - хорошо а на сколько всё хорошо в комбинации lxcfs для докера мы выясним потом на проде

проверь :)

не, я скорее про передачу опыта внутри огромной компании

Ты так говоришь, как будто все что не kube-way (который любой текущий станет деприкейтед через полгода от сейчас), это плохо. Ну моднее кубадм папета, и чо? Оф модуль папета текущий для кубера юзает кубадм ровно так же, как это делает спрей, например. Про перенести мастер в один клик это смешно. Или может через кубадм можно без проблем поинитить etcd внутри кластера сразу отказоустойчивый? Или он тебе ha для апи сам настроит? Ой, подумаешь кубспрей даже если забить на центос на 18.04 не работает вообще. Не все что мейнстрим - не говно. Как с кружкой про миллионы пользователей macromedia flash, которые не могут ошибаться.

но ты идешь по пути где граблей сильно больше, чем могло бы быть

Зато когда ты сделаешь kube hardway, ты будешь понимать что там внутри, а не как 90% "операторов кубернетиса", которые все очень быстро подняли, но потом когда оно сломается сразу в чатик с проблемой.

Я поднимал сам, но когда ломается или не заводится бегу в чатик с проблемой ?

я поднимал сам и даже костылики писал в kubespray, а вот недавно решил попробовать kubeadm по оффициальной доке копипастой - ничего у меня не взлетело с первой попытки, не работает source nat в calico, а он по доке с kubernetes backend разворачивается..

Ты так говоришь, как будто все что не kube-way (который любой текущий станет деприкейтед через полгода от сейчас), это плохо. Ну моднее кубадм папета, и чо? Оф модуль папета текущий для кубера юзает кубадм ровно так же, как это делает спрей, например. Про перенести мастер в один клик это смешно. Или может через кубадм можно без проблем поинитить etcd внутри кластера сразу отказоустойчивый? Или он тебе ha для апи сам настроит? Ой, подумаешь кубспрей даже если забить на центос на 18.04 не работает вообще. Не все что мейнстрим - не говно. Как с кружкой про миллионы пользователей macromedia flash, которые не могут ошибаться.

На 18.04 последний kubespray работает вполне, если stubdns отключить

я поднимал сам и даже костылики писал в kubespray, а вот недавно решил попробовать kubeadm по оффициальной доке копипастой - ничего у меня не взлетело с первой попытки, не работает source nat в calico, а он по доке с kubernetes backend разворачивается..

хм, делал тоже самое по всем пунктам и везде все взлетало и даже мультимастер притащил потом после kubeadm

На 18.04 последний kubespray работает вполне, если stubdns отключить

Я правда докер из коробки ставлю

Зато когда ты сделаешь kube hardway, ты будешь понимать что там внутри, а не как 90% "операторов кубернетиса", которые все очень быстро подняли, но потом когда оно сломается сразу в чатик с проблемой.

Да я поставил через спрей и все равно чуть влево вправо и погнали по правилам ипт, и конфигам контейнеров, и чарты разбирать что понять что же там надеплоило.

Так что это надуманно имхо.

Парни, можете подсказать норм сторедж класс для автопровизинга персистент волиум клейм и персистент волиум поднял nfs из helm всё запровизило с хранилищем по host path начинаю провизить через этот сторедж класс другие продукты персистент волиумы не конектятся к подам. Может кто сталкивался

Парни, можете подсказать норм сторедж класс для автопровизинга персистент волиум клейм и персистент волиум поднял nfs из helm всё запровизило с хранилищем по host path начинаю провизить через этот сторедж класс другие продукты персистент волиумы не конектятся к подам. Может кто сталкивался

ниче не понял, вы хотите один и тот же том NFS шарить на несколько PVC?

или вы хотите динамический сторэдж?

Парни, можете подсказать норм сторедж класс для автопровизинга персистент волиум клейм и персистент волиум поднял nfs из helm всё запровизило с хранилищем по host path начинаю провизить через этот сторедж класс другие продукты персистент волиумы не конектятся к подам. Может кто сталкивался

это на каком языке? )))

Это каша в голове :)

Хочу динамический сторедж )

Для HELM

Default отличный стораджкласс, а что у вас за сторадж вообще?

В миникубе всё работает

А когда развернул кубер с коробки дефолт вообще не подтянулся

Мне для дэва над

Для прода у меня AWS

Я хочу динамический сторедж для тестов

Я хочу динамический сторедж для тестов

emtyDir

Я хочу динамический сторедж для тестов

volumes: - name: cache-volume emptyDir: {}

У локальных тестов и local-provisioner сойдет

А кто знает зачем нужен нод анотейшн node.alpha.kubernetes.io/ttl=0 . Нигде не нашел документации по нему. Подозреваю, что это как-то связано с nodeInfo кешем и используется kubelet'ом. Собственно чего спрашиваю, после обновления на 1.11 появилась проблема с kube-scheduler'ом, срабатывает PodFitsHostPorts predicate (FailedScheduling didn't have free ports) при обновлении deployment'а часть подов не скедулится на ноды и висят бесконечное количество времени в статусе Pending пока не ребутнешь kube-scheduler. Собрал свой скедулер, чтобы он выводил дебаг инфо по функции PodFitsHostPorts, вот так: func PodFitsHostPorts(pod *v1.Pod, meta algorithm.PredicateMetadata, nodeInfo *schedulercache.NodeInfo) (bool, []algorithm.PredicateFailureReason, error) { var wantPorts []*v1.ContainerPort if predicateMeta, ok := meta.(*predicateMetadata); ok { wantPorts = predicateMeta.podPorts } else { // We couldn't parse metadata - fallback to computing it. wantPorts = schedutil.GetContainerPorts(pod) } if len(wantPorts) == 0 { return true, nil, nil } existingPorts := nodeInfo.UsedPorts() // try to see whether existingPorts and wantPorts will conflict or not if portsConflict(existingPorts, wantPorts) { fmt.Printf(" nodeInfo: %+v ================ existingPorts: %+v ================ wantPorts: %+v ================ podName: %+v\n\n======================\n\n", nodeInfo.Node().Name, existingPorts["0.0.0.0"], wantPorts, pod.Name) return false, []algorithm.PredicateFailureReason{ErrPodNotFitsHostPorts}, nil } return true, nil, nil } Если portsConflict то выводит значения existingPorts на ноде и wantPorts контейнера. Так вот existingPorts выводит закешированые значения, порты давно не слушаются, а он говорит что слушаются. Если поменять версию скедулера на v1.10.5 такой проблемы не возникает. Kubernetes 1.11.0, calico 3.1 (ibgp full mesh), containerd 1.1.2, ~100 нод в кластере Мой issuse https://github.com/kubernetes/kubernetes/issues/66568 Может кто-то сталкивался с такой проблемой?

А кто знает зачем нужен нод анотейшн node.alpha.kubernetes.io/ttl=0 . Нигде не нашел документации по нему. Подозреваю, что это как-то связано с nodeInfo кешем и используется kubelet'ом. Собственно чего спрашиваю, после обновления на 1.11 появилась проблема с kube-scheduler'ом, срабатывает PodFitsHostPorts predicate (FailedScheduling didn't have free ports) при обновлении deployment'а часть подов не скедулится на ноды и висят бесконечное количество времени в статусе Pending пока не ребутнешь kube-scheduler. Собрал свой скедулер, чтобы он выводил дебаг инфо по функции PodFitsHostPorts, вот так: func PodFitsHostPorts(pod *v1.Pod, meta algorithm.PredicateMetadata, nodeInfo *schedulercache.NodeInfo) (bool, []algorithm.PredicateFailureReason, error) { var wantPorts []*v1.ContainerPort if predicateMeta, ok := meta.(*predicateMetadata); ok { wantPorts = predicateMeta.podPorts } else { // We couldn't parse metadata - fallback to computing it. wantPorts = schedutil.GetContainerPorts(pod) } if len(wantPorts) == 0 { return true, nil, nil } existingPorts := nodeInfo.UsedPorts() // try to see whether existingPorts and wantPorts will conflict or not if portsConflict(existingPorts, wantPorts) { fmt.Printf(" nodeInfo: %+v ================ existingPorts: %+v ================ wantPorts: %+v ================ podName: %+v\n\n======================\n\n", nodeInfo.Node().Name, existingPorts["0.0.0.0"], wantPorts, pod.Name) return false, []algorithm.PredicateFailureReason{ErrPodNotFitsHostPorts}, nil } return true, nil, nil } Если portsConflict то выводит значения existingPorts на ноде и wantPorts контейнера. Так вот existingPorts выводит закешированые значения, порты давно не слушаются, а он говорит что слушаются. Если поменять версию скедулера на v1.10.5 такой проблемы не возникает. Kubernetes 1.11.0, calico 3.1 (ibgp full mesh), containerd 1.1.2, ~100 нод в кластере Мой issuse https://github.com/kubernetes/kubernetes/issues/66568 Может кто-то сталкивался с такой проблемой?

https://github.com/kubernetes/kubernetes/blob/b6f75ac30e863531ac73cfd02a0edd57983cc5c0/staging/src/k8s.io/api/core/v1/annotation_key_constants.go#L59-L62

Это я видел, что значит 0? Не кешировать совсем или кешировать бесконечно долго?

Ты так говоришь, как будто все что не kube-way (который любой текущий станет деприкейтед через полгода от сейчас), это плохо. Ну моднее кубадм папета, и чо? Оф модуль папета текущий для кубера юзает кубадм ровно так же, как это делает спрей, например. Про перенести мастер в один клик это смешно. Или может через кубадм можно без проблем поинитить etcd внутри кластера сразу отказоустойчивый? Или он тебе ha для апи сам настроит? Ой, подумаешь кубспрей даже если забить на центос на 18.04 не работает вообще. Не все что мейнстрим - не говно. Как с кружкой про миллионы пользователей macromedia flash, которые не могут ошибаться.

Знатно припекло. Из этого потока сознания я не понял только почему тебе смешно от возможности перенести мастера в один клик? Всё мейнстрим говно в той или иной степени. Потому что ты надеешься на чужую магию и становишься одним из чатика который "я взял кубе спрей, мне надо было абнавить кластер и теперь у меня всё сломалось, оказалось это бага кубе спрея, как мне откатиццо назад?!"

Хелов , деплою в GCE не создается ингресс

googleapi: Error 400: Invalid value for field 'namedPorts[2].port': '0'. Must be greater than or equal to 1, invalid

в сервисе стоит type: NodePort

кто то сталкивался с подобным?