« Rev
@kubernetes_ru   521
Fwd »


Dmitry
а что кубовей? вообще доступ в поды не иметь?
можно подумать, зачем такая сущность как сервис
Andor
а сервис не предоставляет доступ в поды?
Dmitry
а сервис не предоставляет доступ в поды?
а сервис=прямой доступ в поды?
Andor
не обязательно
Dmitry
когда вы начинаете городить свой доступ в поды, подумайте не делаете ли вы сервис
Andor
окей, на каком адресе сервис будет слушать?
Andor
в случае с бгп и калико
Dmitry
какие еще есть варианты?
Andor
чо?
Alexey
главное иметь маршрут до нужных подстетей, route add сделать и будет
Dmitry
ну айпи - протокол такой
Andor
умно сказал
Andor
прям не придерёшься
Alexey
ip - internet protocol, если точнее
Dmitry
ip - internet protocol, если точнее
можно сразу на rfc ссылку чо
Andor
ну так какой же ip-адрес будет у сервиса, чтобы можно было снаружи его открыть-то?
Andor
не изображайте детей
Alexey
ip адрес пода и будет адресом к которму кто-то там подключается, ну я так понял схему
Andor
так это ж и будет прямой доступ?
Andor
наверное я что-то не понимаю, объясните
Alexey
ну вы у себя подымите куб локальный, пропишите машрут до сети подов, там какой-нибудь route add -net 10.0.0.0/16 gw 192.168.1.2 (адрес хоста на котором под) и всё будет работать. у Андрея вроде как по бгп маршруты до всех подов через их сетевую инфраструктуру доступны.
Sergey
ну так какой же ip-адрес будет у сервиса, чтобы можно было снаружи его открыть-то?
внутренний будет, а зачем его открывать? если нужно выставить наружу - то сервис типа NodePort и балансируете траффик сразу на все ноды без разбора, либо сервис типа LoadBalancer если среда вашего куба поддерживает динамический provisoning балансировщика (AWS, GKE) что вы пытаетесь сделать?
G72K
и зачем вам прямой доступ в поды?
Прямой доступ в поды вообще правильно. Была б у меня ipv6 сеть и поддерживал бы куб ipv6 поды, я б так и сделал
Andrey
у нас тут просто серые кончились...)
G72K
у нас тут просто серые кончились...)
У нас не кончились, но я сетями не рулю, получать диапазоны внутренние бюрократии сильно много, взял случайный из 172 (внутри 10) , использую его во всех кластерах :) Вобщем вопрос процесса, а не технический
Andor
ipv6 хватит всем и каждому
Andor
а разве кубер сам рулит адресами? какая поддержка ipv6 нужна от самого кубера?
G72K
Вово :)
Andor
у того же calico написано, что поддерживается ipv6
G72K
а разве кубер сам рулит адресами? какая поддержка ipv6 нужна от самого кубера?
Ну как минимум в схеме должен уметь хранить и валидировать ipv6. Он сам так же может назначать ip подам (а всякие calico только читают его и настраивают иетерфкйсы) так что поддержка нужна. Был блог с полгода назад, где кто-то запустил полностью ipv6 куб, даже матчи засабмитил, что стало потом не знаю
cent
А кто-то поднимал ранчер на само подписанных сертификата? Можете кинуть ссылку на мануал?
Stanislav
https://kubernetes.io/docs/concepts/cluster-administration/sysctl-cluster/ это?
Dmytro
нет, это через аннотации (судя по всему еще и с версии 1.8 только доступно). У меня обычный контейнер запускаеться как privileged с куском баш кода который и вызывает sysctl
Sergey
нет, это через аннотации (судя по всему еще и с версии 1.8 только доступно). У меня обычный контейнер запускаеться как privileged с куском баш кода который и вызывает sysctl
А можно заюзать специфическое ядро именно для этой БД? А можно ФС по выбору? А можно через кубер рейд нахуевертить?
Etki
> А можно через кубер рейд нахуевертить? А можно через HTTP гнать IP?
Sergey
Можно. openvpn называется
Dmitrii
Можно даже лучше! https://labs.mwrinfosecurity.com/tools/tcp-over-file-tunnel/
Andrey
А можно заюзать специфическое ядро именно для этой БД? А можно ФС по выбору? А можно через кубер рейд нахуевертить?
можно, если сначала внутрь кубера поставить вот это - https://docs.openstack.org/kolla-kubernetes/latest/deployment-guide.html
Andrey
hostnetwork же
в кластере? будем считать это частным случаем nodeport
Andrey
Можно даже лучше! https://labs.mwrinfosecurity.com/tools/tcp-over-file-tunnel/
а вам можно ваши файлики положить вот на эту фс - https://github.com/yarrick/pingfs
Andrey
voyager? https://github.com/appscode/voyager
это ingress controller, который сам по себе надо выставлять наружу
Andrey
спасибо. а есть пример конфигурации, где-нибудь на сайте calico?
там все очень кастомно, выкуривается под конкретную инфру, я ничего готового не встречал, на AWS такое не погоняешь
Andrey
Да, это виндовый nlb, но я просто придрался что такого ограничения нет)
ну, знаем мы этот nlb. Его сам микрософт в продакшн не рекомендует использовать :)
Dmytro
А можно заюзать специфическое ядро именно для этой БД? А можно ФС по выбору? А можно через кубер рейд нахуевертить?
фс по выбору можно вроде в новых версия кубера, в моей 1.5 ext4 прибит гвоздями. Все остальное само собой из коробки нету.
Anton
создал кластер копсом на амазоне, после этого на одну из нод вешаю дополнительный eni с неким ip адресом из другой подсети. Этот ip адрес становится внутренним адресом ноды, перетирая старый и в итоге нода "выпадает" из кластера. Почему это может происходить?
Dmytro
надо на ноде глянуть как добавился этот новый network interface
Sergey
фс по выбору можно вроде в новых версия кубера, в моей 1.5 ext4 прибит гвоздями. Все остальное само собой из коробки нету.
это в любом случае будет работать только для внешних PV, а если хочется низкого latency, то без hostPath не обойтись
Anton
такой софт и его требования
Anton
ip, который был изначально висит на eth0, новый ip добавился на eth1 и стал "InternallP"
Sergey
такой софт и его требования
это какие такие требования? у контейнера должно быть несколько сетевых интерфейсов? просто добавление eni ноде все равно не сделает его доступным внутри контейнера (если только не hostNetworking)
Anton
мы используем multus cni
Anton
он позволяет делегировать управление разными интерфейсами разным другим cni. Например основной интерфейс мы делегируем калико, а второй — ipvlan
Anton
и в поде будет два сетевых интерфейса
Alexey
ну хз, проверь —hostname-override на машине, когда добавляешь новый ip, что там
Dmytro
это в любом случае будет работать только для внешних PV, а если хочется низкого latency, то без hostPath не обойтись
ну тут как, у меня AWS и там так и так EBS все, поэтому отдельно стоящий вольюм даже лучше чем hostpath
Alexey
может там fqdn, и он начинает резолвить второй новый ip
Anton
вероятно, про резолвинг тоже верно
Alexey
в настройках кубелета или переделай на ip нужный или я не очень в амазоновском днс разбираюсь что там сделать можно
Anton
в смысле kube-proxy?
Anton
этот ключ я у kube-proxy нашел
Sergey
ну тут как, у меня AWS и там так и так EBS все, поэтому отдельно стоящий вольюм даже лучше чем hostpath
ну в амазоне тоже есть вариант с эфемерными дисками, но это база должна уже поддерживать (мы на кассандре делали RAID0 над эфемерными SSD). вот кстати даже интересно, а если амазон, то почему не заюзать просто RDS? два клика в вебдваноль интерфейсе и база готова
Alexander
device получилось прокинуть через монтирование
Возврашаюсь к мой проблеме с девайсами docker run -d —privileged —cap-add=ALL —device=/dev/dri/renderD128 Никак не могу победить проброс device в контейнер через kubernetes Ошибочно думал что подклчил его как том. Но посмотрев docker inspect на контейнер запущенный k8s увидел что Devices:[] Направте на путь истенный
Anton
а где файлы конфигурации для кублета и кубпрокси в случае с копсом? что-то нет их в системд
Anton
решили добавлением --node-ip в конфиг кублета
V
ребята а можно один и тот же диск замаунить в разные поды через claim ?
Logan
ceph так может, но write будет только в одном поде
V
остальные это просто поды которые пишут и умирают
« Rev
@kubernetes_ru   521
Fwd »