Andor
Читай "без фланнель"
Andor
Либо калико либо вейв
Alexey
Коллеги, тут у меня возник конфликт интересов с нашим тимлидом программистов,
запустил, значит на кластере его приложение, и один из компонентов этого приложения крутится по 1 экземпляру на всех нодах.
Так вот, я хз что оно там внутри делает, но ему нужно много памяти, причём желательно всей, что есть на нодах.
Допустим условно есть 10 нод по 8 гигов. Он в курсе конфигурации, так вот - он их использует из расчёта, что все 8 гигов доступны его приложению. И периодически из-за OOM вылетают другие поды на этих нодах, или поды самого этого компонента. Но его поды очень даже стейтфул, так что им вылетать не нужно.
Он предлагает включить своп на нодах,
Сам кубелет по-умолчанию не любит свап и не запускается без спец опции
Alexey
Вопрос, чем мне грозит использование свапа и этой опции?
Andor
А его можно слать нах?
Sergey
Andor
Он тимлид программистов и мнение каких-то там админов его не волнует, так?
Maksim
Ты еги придожение в своп запихни, пусть потрадуется.
Alexey
ну... можно, я это сделал мягко, но класстер существует, для его разработки.
И вариант с увеличением памяти на нодах, не подходит, т.к. они дороже, а поэтому нужно использовать всю свободную память и он будет это делать, т.к. он типа "думает о рентабельности проекта")
Maksim
Ичпользование свапа грозит не верной оценкой кол-ва вирт памяти на нодах, как следствие сильной деградации чкорости работы подов в свапе.
Andor
А о надёжности системы он не думает, раз приложение убивается по оом?
Alexey
Ты еги придожение в своп запихни, пусть потрадуется.
Ну в том и вопрос - можно ли одни поды в свап пихать, а чтоб всё остальное не страдало?
Maksim
Херовый тимлид)
Andor
Ну и о рентабельности должен манагер заботиться какой-нибудь, явно не тимлид
Maksim
Какой нить хезелкаст или игнайт он там крутит
Andor
Denis
Извиняюсь что отвелекаю от беседы) Подскажите куда копать если контейнер висит в состоянии ContainerCreating?
Andor
Pavel
ну... можно, я это сделал мягко, но класстер существует, для его разработки.
И вариант с увеличением памяти на нодах, не подходит, т.к. они дороже, а поэтому нужно использовать всю свободную память и он будет это делать, т.к. он типа "думает о рентабельности проекта")
Может на отдельные ноды вытащить его приложение, чтобы не аффектило остальные? И пускай там сидит весь в свопе?
Maksim
Извиняюсь что отвелекаю от беседы) Подскажите куда копать если контейнер висит в состоянии ContainerCreating?
В логи контейнера через describe
Andor
У тебя не техническая проблема
Alexey
Я это объяснил ему самому, и он даже понял и сделал выводы.
Но, мне кажется, что в глубине души он сомневвается - у него на компьютере же всё работает.
Denis
у всех не доступно?
Denis
https://hub.docker.com/r/gitlab/gitlab-runner/
Denis
докер хаб отваливается(
Lex
Коллеги, тут у меня возник конфликт интересов с нашим тимлидом программистов,
запустил, значит на кластере его приложение, и один из компонентов этого приложения крутится по 1 экземпляру на всех нодах.
Так вот, я хз что оно там внутри делает, но ему нужно много памяти, причём желательно всей, что есть на нодах.
Допустим условно есть 10 нод по 8 гигов. Он в курсе конфигурации, так вот - он их использует из расчёта, что все 8 гигов доступны его приложению. И периодически из-за OOM вылетают другие поды на этих нодах, или поды самого этого компонента. Но его поды очень даже стейтфул, так что им вылетать не нужно.
Он предлагает включить своп на нодах,
Сам кубелет по-умолчанию не любит свап и не запускается без спец опции
Эскалируй на менеджмент, пусть они решают, но обязательно подготовь свои доводы и варианты решения с учетом стоимости этих решений.
Lex
Ну если с мудаком договорится нельзя.
Alexey
не, он не мудак, просто малоопытный тимлид) я ему донёс точку зрения, просто уточнил про свап - точно же его включать плохая идея)
Anonymous
свап - вообще плохая идея, даже вне кубика
Andor
Давайте опять свапосрач начнём
Anonymous
во всяком случае его преднамеренное использование
Anonymous
а, было уже? извиняйте)
Igor
а к чему пришли в итоге срача? два слова плз, а то я давно интересуюсь; пока решил что свап нужен, чтобы oom не приходил
Alexander
посоветуйте, плз, качественное чтиво по nginx ingress
Anonymous
как правило, срач заканчивается ничем и стороны остаются при своём
Anonymous
посоветуйте, плз, качественное чтиво по nginx ingress
Обязательно чтиво, или видео тоже подойдёт?
Anonymous
Вот неплохой ролик https://t.me/SysadminNotes/695
Denis
Подскажиет, я как понимаю поды могу друг с другом по dns внутреннему общатся?
Anonymous
только если у тебя не фланель )
Anonymous
мыж выяснили с утра, что они не видят друг-друга
Anonymous
https://chrislovecnm.com/kubernetes/cni/choosing-a-cni-provider/
там внизу support matrix. Фича называется Mesh Networking
Denis
Да я утром не мог уследить за диалогом
Denis
У меня тут гитлаб и хочу внутри кластера запустить раннер. Только вот не знаю как этот раннер сконектить с гитлабом
Denis
Denis
вот такую хрень получаю(
Anonymous
раннер коннектится с гитлабом по имени сервиса, либо по ингресу, либо по нод-порту
Anonymous
т.е. нет нужды в под-под коннекте
Denis
раннер коннектится с гитлабом по имени сервиса, либо по ингресу, либо по нод-порту
во, точно. Была такая мысль. Сейчас гитлаб висит на нод порте
Denis
А как получается показать его раннеру?
Denis
Открыть ему так-же node port?
Andor
Ты сам-то как в гитлаб ходишь?
Andor
Раннеру же надо адрес указать
Denis
Ты сам-то как в гитлаб ходишь?
через нод порт. Причем когда регаю раннер все проходит нормально. Потом запускаю под с раннером и получаю ошибку в коннекте
Andor
И ты ему тот же адрес указываешь?
Denis
ага
Anonymous
погоди, ты когда регаешь раннер, ты это делаешь не из пода с раннером?
Denis
я создаю временный раннер и получаю токен. Потом его его передаю через configMap поду с раннером
Denis
kubectl run -it runner-registrator —image=gitlab/gitlab-runner:latest —restart=Never — register
Denis
там специальный раннер есть для этого дела
Anonymous
чёт сложно. Не проще из самого раннера зарегать?
Denis
да пофакту одно и тоже выходит
Denis
сложность в том что как их состыковать)
Anonymous
но ты регаешь один раннер, а потом пытаешься законнектиться другим….Там же не только в токене дело, наверное
Denis
не, все верно. У нас так разрабы делают
Andor
"регать" это лишь подключиться и получить токен
Andor
То что ты его потом используешь в другом инстансе - ваще пофиг
Andor
Должно работать
Anonymous
а этот runner-registrator по какому урлу ходит в гитлаб?
Denis
а этот runner-registrator по какому урлу ходит в гитлаб?
Я ему отдавал nodeport и регистрация проходила. После этого создаю под с раннером . Пробовал регистратору отдать ложный url и он написал что не может сделать сделать конект и ушел в error
𝚔𝚟𝚊𝚙𝚜
правда мы TRILL используем