о, спасибо! погуглю еще по этому параметру

ушел читать)

в манифесте пода используй hostNetwork: true

Так вроде не советуют делать в документации

кста что до Pod (Anti)Affinity — эта байда сейчас не работает с DaemonSets. Я пытаюсь это исправить https://github.com/kubernetes/kubernetes/pull/31136 но меня там спрашивают о юзкейсах. Я там привёл один случай, ещё один товарищ там написал, может тут у кого тоже есть необходимость эту штуку использовать с DS?

что-то я навскидку даже не могу понять, зачем Pod (Anti)Affinity с демонсетами

ну у нас случай с деплоем компонентов опенстека. nova compute nodes - должно быть не более одной на ноду k8s. Там через node affinity задаётся подмножество нод, на которых оно должно работать, а запускается оно через DS. если есть два параллельных деплоя containerized control plane в разных неймспейсах, то правило один фиг должно соблюдаться. соотв. pod antiaffinity можно использовать, чтобы это enforce’ить.

бррр

не понял с первого раза

ща перечитаю

о! еще один кто опенстек деплоить в кубернетс!

там ещё товарищ о юзкейсе пишет: “I have a use-case for pod affinity. I would like to run HDFS in HA mode on kubernetes. There are 3 types of nodes: namenodes, journalnodes and datanodes. For performance, it makes sense to run journalnodes on the same nodes as namenodes. From my understanding, each pod is assigned an IP address, but in the case of HDFS, the namenode and journalnodes need to have their own IP addresses, so pod affinity would be a great candidate for this.”

жееесть

я когда про опенстек в кубере услышал - это был взрыв мозга, но hdfs???!!

я бы просто два разных демонсета сделал (ну то есть одинаковых, но с разными именами)

как workaround

если я правильно понимаю, о чем речь

nodeSelector-то у демонсетов есть

наш случай попытаюсь объяснить - два деплоя какой-то штуки, живущие в разных неймспейсах, через DS запускают нечто на некотором подмножестве нод. про друг друга эти два деплоя ничего не знают. Но _нечто_ не должно запускаться на одной ноде более чем в 1 экземпляре, даже если оно из разных неймспейсов

аааа

все

ага

осознал

т.е. этим деплоям неудобно согласовывать свои nodeSelector’ы (сейчас вместо nodeSelectors принято/скоро будет принято node affinity использовать, node selectors вроде как скоро устаревшими объявят)

блин нодеСелектор - это сильно меньше букв, чем ноде аффинити

и выглядит читабельнее

ну скоро его уберут из аннтоций в просто yaml, будет гораздо короче и читабельнее

а, тогда да

а скоро - это в каких рамках?

1.5, 1..n?

*аннотаций. Довольно скоро, подозреваю, что в 1.5 наверняка

о, тогда совсем круто

хотели, конечно, в 1.4 но пока не шмогли https://github.com/kubernetes/kubernetes/issues/25319

@ivan4th как успехи в запуске openstack в kubernetes ?

эмм, ну я не непосредственно этим здесь занимаюсь. И даже собственно в опенстеке я не очень-то и дока. Моё дело тут в Мирантисе - починять примус, Kubernetes то есть, и оно мне нравится. Работаю тут недавно, но уже даже перестал расстраиваться, что в 2015 в Google не взяли (к чести Google надо сказать, что в Дублин попить гиннеса они меня таки свозили за свой счёт, а отказал мне их Hiring Committee после всех собеседований - маловато готовился и не достаточно осилил кодинг на whiteboard’е)

вот я тоже whiteboard завалил :(

обнимемся :D

(not gay)

:) да я в какой-то момент понял, что в семейном плане трактор не заводится никак, и забросил подготовку

моего знакомого таки взяли, но через полгода! и он на них забил ))

у меня эпопея продолжалась с конца января по середину мая 2015

вот я тоже whiteboard завалил :(

Тоже в google ?

да

да

А сейчас где? Если не секрет?

))

evilmartians.com

кстати про демонсеты

коллеги, а кто-нибудь прометеевский node-exporter в контейнере запускает?

или все по-старинке, на хосте?

я запускаю

а чего с https://github.com/prometheus/node_exporter/issues/66

?

или не мешает?

не мешает

мне вот что интересно

как заставить prometheus использовать tls secrets для проверки etcd?

маунтить volume не вариант. должно работать из k8s secrets

$ curl --cacert ca.pem -H 'Authorization: Bearer улюлю' https://kubernetes.default.svc.kubernetes.local/metrics |grep -i etcd|wc -l 335

я вот так делаю

не то, но у меня есть идейка. надо обдумать

kubectl exeс и kubelet выдает следующее: error: error executing remote command: error executing command in container: operation timeout: context deadline exceeded

ни у кого не было?

вместе с этими логами еще вот это: kubelet[17106]: E0921 12:01:01.644896 17106 generic.go:197] GenericPLEG: Unable to retrieve pods: operation timeout: context deadline exceeded kubelet[17106]: E0921 12:01:33.178902 17106 kubelet.go:927] Container garbage collection failed: operation timeout: context deadline exceeded

ах да... docker...

опять падла повис

@pipopolam у меня кстати трейс другой

чота он зачастил

а стораж-енжин какой?

вот мой strace: $ strace -q -y -v -p 16445 wait4(16452,

да тоже самое, походу

тоже ждет, пока девайс какой-нить разлочится

или мьютекс

docker info | grep -i stor Storage Driver: devicemapper WARNING: Usage of loopback devices is strongly discouraged for production use. Use --storage-opt dm.thinpooldev to specify a custom block storage device. WARNING: No swap limit support

агада

всё дефолтно

вот тоже самое было и у горелика

Maxim Filatov оно еще чот меня дискуражит про лупбэк-девайсы, но я не вполне понимаю, о чем оно Alexander Morozov @bregor ну правильно дискуражит Эта борода ваще не работает Maxim Filatov ачочо? расскажите Alexander Morozov @bregor короче пару лет назад редхат объявил что не работает И они там даже фиксить ничего не будут Maxim Filatov что не работает? Pavel Forkert лупбеки https://docs.docker.com/engine/userguide/storagedriver/device-mapper-driver/ Maxim Filatov опа неожиданно ну вообще это он так из официального пакета работает из https://apt.dockerproject.org/repo Alexander Morozov Ну потому что настройки этого стораджа на админе То есть на тебе

@kay_rus ^^^

т.е. надо бы задать дефолтненький overlayfs?

короче, ведущие собаководы советуют переключаться на Overlay2, либо девайсмаппер с raw-lvm