Max
Calico будет раздавать айпишники из пула если ей подсунуть /27 сеть?
Lucky SB
ты че такой жадный ?
Hankey
Добрый вечер! Товарищи, подскажите пожалуйста, как в kubernetes сделать ограничение по IOPs для определенного приложения? В докере это Runtime constraints on resources https://docs.docker.com/engine/reference/run/ А как в кубернетесе они реализованы? Не смог найти в доке, подскжите пожалуйста
NM
ты че такой жадный ?
Последний блок IPV4 же был выдан на днях :-)
Lucky SB
Последний блок IPV4 же был выдан на днях :-)
а ты реальники на поды выдаешь ?
NM
а ты реальники на поды выдаешь ?
Да чой то ты заработался под вечер :-) шучу
Dmitry
А никто не ковырял podCIDR на нодах? Тот что в спеке у ноды прописан. Не могу найти кто его ставит в ноду. Вручную поменять нельзя, зато удалить можно, и он тупо делает +1, например был 10.244.50.0/24, после удаления поднялся 10.244.51.0/24. Ковырять начал, после того, как наткнулся на баг, в cni конфиг прописалась подсеть 10.244.49.0/24, а у ноды podCIDR 10.244.50.0/24 и вот интересно стало, причём если дропать его из ноды, он не становится как в cni, а просто апается.
Isa
Кто будет в мейл ру в пятницу?
Isa
на воркшоп надо свой ноут брать?
Alexánder
я б взял на всякий но вопрос актуальный
Isa
пожалуйста тэгните если будет инфо
Dmitry
controller-manager же
Да, спасибо, уже выяснил что хотел. Он просто по кругу назначает, если CIDR свободный конечно. А баг видимо в cni где-то, или как-то странно нода забустрапилась.
Dmitry
А в чём баг?
как то так вышло, что у меня cidr ноды не совпадал с cidr в cni на этой ноде
Dmitry
А что за плагин?
kube-router, перезапуск пода в принципе частично помог, но там ещё надо было конфиг cni подправить чтобы он форсил настройки CIDR и переприменял их.
𝚔𝚟𝚊𝚙𝚜
да футь его знат. оно ж только на связку кублет-докердемон действут. в пределах одного узла. так что не должно другой вопрос что тут на systemd ругались, что есть проблемы с реквест-лимит ресурсов на контейнер ... Вроде бы это @kvaps был
тем не менее с cgroupfs, kubeadm при установке выдаёт следующий варнинг: [WARNING IsDockerSystemdCheck]: detected "cgroupfs" as the Docker cgroup driver. The recommended driver is "systemd". Please follow the guide at https://kubernetes.io/docs/setup/cri/
𝚔𝚟𝚊𝚙𝚜
но варнинги сыплятся конечно. я сча образ для нод обновляю, попробую с новым докером
Андрей
Здравствуйте, как узнать причну перезагрузки всех подов (те что stateless перезагрузились по нескольку раз но это из за бд (долго запускалася)) на ноде? Последний раз такое было с месяц назад.
Андрей
В describe Normal SandboxChanged 31m (x2 over 32m) kubelet, vmi310368.contaboserver.net Pod sandbox changed, it will be killed and re-created. Normal Pulling 30m kubelet, vmi310368.contaboserver.net Pulling image "docker.io/bitnami/minideb:stretch" Normal Pulled 30m kubelet, vmi310368.contaboserver.net Successfully pulled image "docker.io/bitnami/minideb:stretch" Normal Created 30m kubelet, vmi310368.contaboserver.net Created container init-chmod-data Normal Started 30m kubelet, vmi310368.contaboserver.net Started container init-chmod-data Normal Pulled 30m kubelet, vmi310368.contaboserver.net Container image "docker.io/bitnami/postgresql:11.5.0-debian-9-r60" already present on machine Normal Created 30m kubelet, vmi310368.contaboserver.net Created container order-storage-postgres-postgresql Normal Started 30m kubelet, vmi310368.contaboserver.net Started container order-storage-postgres-postgresql
Андрей
Только это не понятно Pod sandbox changed, it will be killed and re-created.
Андрей
Что могло поменять песочницу?
Lucky SB
докер рестарт ?
Nikolay
Что могло поменять песочницу?
Возможно какой-то из ресурсов ноды оказался превышен, например, место на диске
Андрей
Есть такое у базы Readiness probe errored: rpc error: code = Unknown desc = failed to exec in container: failed to start exec "b5b7ad431e1d9c795f6922bd688d8593b9ad81b8ebb765f5707f94616502f253": OCI runtime exec failed: fork/exec /snap/microk8s/1073/bin/runc: too many open files: unknown
Андрей
У остальных нет
Андрей
докер рестарт ?
Не могу посмотеть так как micrk8s
Андрей
Они спрятали там докер внутри
Андрей
Я так и не нашёл как до него достучаться
Андрей
Даже так https://github.com/ubuntu/microk8s/commit/7c3311a6d24a0eae482dc09e86471ead41aaa19e
Roman
В ingress nginx уже нельзя использовать mecached как раньше это было принято с nginx )? Лучше бы редис конечно напрямую дергать, а если не найдено то уже сервис который бы с базы брал данные дергать) Как такой механизм реальзуется в кубере?
Валентин
на самом деле кластер у меня на "department.company.com". Думал все приложения на нем будут иметь такой ингрес "appA.department.company.com"
Ингресс они будут иметь такой, какой ты сам пропишешь, т.к. ингрессы ж ты создаешь. Ну и тебе ничто не мешает их вот так и прописывать. А внутри кластера домены вида "сервис.неймспейс.svc.cluster.local" для внутреннего взаимодействия будут сами создаваться, и если тебе надо их где внутри использовать - используй. А ингресс ж наружу
Alex
Есть такое у базы Readiness probe errored: rpc error: code = Unknown desc = failed to exec in container: failed to start exec "b5b7ad431e1d9c795f6922bd688d8593b9ad81b8ebb765f5707f94616502f253": OCI runtime exec failed: fork/exec /snap/microk8s/1073/bin/runc: too many open files: unknown
Если такое повторяется с периодичностью. То мониторьте место на нодах. Если место кончается наступает kubelet evicted - подробности https://kubernetes.io/docs/tasks/administer-cluster/out-of-resource/. Советую настроить ротацию логов на уровне докера, например как указано здесь https://docs.docker.com/config/containers/logging/configure/
Mr.Strange
Господа, разъясните пжлста, плюсы и минусы использования в одном кластере ингресс-контроллера и metallb?
Валентин
Теперь я понял это :) Лучше я присвою кластеру домен отличающийся от того что будет на ингрес.
Лусше оставить кластеру дефолтный cluster.local, если у тебя в организации он нигде не использовался до куба. Больше дефолтов - проще разбираться с ошибками в будущем
George
Ингресс они будут иметь такой, какой ты сам пропишешь, т.к. ингрессы ж ты создаешь. Ну и тебе ничто не мешает их вот так и прописывать. А внутри кластера домены вида "сервис.неймспейс.svc.cluster.local" для внутреннего взаимодействия будут сами создаваться, и если тебе надо их где внутри использовать - используй. А ингресс ж наружу
одна из интересных историй, которая сплошь и рядом. Сервис А и сервис Б в кубернетесе. Оба опубликованы через ингресс, т.к. ими пользуются внешние пользователи. Сервис А так же взаимодействует с сервис Б. И зачастую народ, чтобы не париться - в сервис А прописывают не внутренний ДНС сервиса Б, а пускают через Ингресс. Как думаете - как лучше? Какие недостатки у обоих методов (напрямую и через ингресс)?
George
ингресс - это условно точка входа трафика для вашего приложения в кластер. Т.е. именно, что _точка_входа. Ингресс может быть на нескольких узлах - как для отказоустойчивости, так и для разделения зон ответственности (скажем, один ингресс для всего мира, а второй - для интранета)
George
а metallb - это способ сделать отказоустойчивость как кубернетес апихи, так и ингресса и любого сервиса внутри - т.к. metallb работает примерно как виртуальный айпи адрес. Т.е. такой вот фейловер для нищих.
Alexey
Добрый день. подскажите, пожалуйста, какое сетевое решение можно использовать в таком кейсе: Есть несколько десятков сервисов и каждый отвечает со своего адреса во влане, вланов около десятка. Что в кубере на baremetal можно использовать чтобы каждый сервис(в терминологии кубера) отвечал со своего адреса в определенном влане? Уже нашел, что можно попробовать metallb, потом https://github.com/hainesc/anchor можно попробовать. на последний вариант оставил завести эти вланы на отдельный сервер и с него траефиком прокидывать на кластер кубера. Но может ещё можно как-то эффективнее решить? Сервисы пока http, https, proxy
Mr.Strange
а metallb - это способ сделать отказоустойчивость как кубернетес апихи, так и ингресса и любого сервиса внутри - т.к. metallb работает примерно как виртуальный айпи адрес. Т.е. такой вот фейловер для нищих.
ok, тогда такой вопрос, что если мне нужно давать доступ в мой кластер для http(https) трафика, здесь понятно использую ингресс, а что делать, если мне нужно давать достпу в нутрь кластера для сервисов которые по tcp работают?
Dmitry
часто есть ingress'ы с кастомными ресурсами, которые tcp стримят. А возможно и из коробки через аннотации .Но это надо проверить, могу ошибаться
Alexey
А зачем каждый сервис в отдельный vlan? Если нужна изоляция сервисов друг от друга по сети, можно попробовать использовать networkPolicy.
нужно чтобы некоторые сервисы в нашей компании отвечали каждый со своей подсети. то есть если внутри кластера кубера они будут видеть друг друга это пускай, но вот снаружи должно быть разделение по адресам
Iaroslav
Подскажите а можно ли как-то обмануть куб что бы он считал что у меня больше ядер чем есть, ибо тестирую ранчер а он на 4 ядерной ноде с истио и мониторингом уже забирает 3.5 из 4 ядер(при том что ресурсы и так им обрезаны), хотя реальная нагрузка 1.2 из 4.
George
может проще тупо выкинуть сеть из кубера (фланнель?), завести сервисы напрямую, а потом тупо вланы назначить на КОНКРЕТНЫЕ сервера, а сервисы уже распределить по ним и прибить гвоздями
George
не? плохо?
Mr.Strange
спасибо,буду курить доку
Iaroslav
зачем? поправить реквесты-лимиты в манифестах не?
ранчер их сам создает тупо тыкнув в гуи, там в сумме насобирается штук 15-18 всяких деплойментов и по каждому лазить и уменьшать лимиты затея не веселая.
Alexey
может проще тупо выкинуть сеть из кубера (фланнель?), завести сервисы напрямую, а потом тупо вланы назначить на КОНКРЕТНЫЕ сервера, а сервисы уже распределить по ним и прибить гвоздями
прибить гвоздями пока не хочется, хочется чтобы сервисы поднимались на других серверах если какой-то с сервисом перестанет быть доступен.
George
ранчер хитрый - те же пермишены он регулярно пересоздает, скотина
George
вывод? не пользуйтесь ранчером )
inqfen
И я бы сказал - не деплойте ранчером, можно деплоить через что угодно и ранчер в кластер ставить уже
George
ранчером не ок, а рке - ок
George
а ранчер панель - да, надо ставить уже пост-фактум
George
нету лимитов айопсов в кубере
George
насколько я помню ишью, сами разрабы сказали, что это противоречит идее кубернетеса и типа... досвидос
inqfen
Ну и нормально думаю не завезти