« Rev
@kubernetes_ru   1081
Fwd »


A
Добрый вечер. Один небольшой вопрос Есть 1 pod в replicaset. На нем выполняется длительная задача и кубернетес убивает этот под, сразу поднимает новый. Никаких лимитов на ресурсы нет. Таймаут LIveness probe очень большой и сервис работает по логам стабильно. Где можно посмотреть причины дестроя? Может есть какая-то статья про такой траблшутинг. Подумал что в логах kubelet, но там ничего нет.
A
а что дескрайбить, того пода уже нет
Rainbow
kubectl get pod -a
A
хах спасибо)
Denis
envsubst уберёт 3 строки =)
Я помню ты советовал мне это) Щас перепиливаю деплой в кубер, думаю там это реализую) Щас главная цель выкинуть Helm
A
Не там его нет. Это 7 часов назад произошло
Rainbow
всегда можно пойти на ноду и сделать docker ps -a, даже если не знать всех фишек куба (делал так, когда осваливался)
A
только живые поды
Rainbow
вариант подождать креша 100% гарантированный 🙈 А так время утекло, не думаю, что можно.
A
А понял, спасибо, надо уведомление видимо ставить
Rainbow
на cron поставить describe в файл в крайнем случае, если редко и ночью. Самые простые варианты предлагаю, понятно, что можно мудрить много чего.
Rainbow
kubectl describe ... > describe$(date)
A
Да там падение очень непредсказуемое. Спасибо ,главное что я понял что просто так не посмотреть)
Denis
Да там падение очень непредсказуемое. Спасибо ,главное что я понял что просто так не посмотреть)
У меня подобные сервисы есть, но отлавливаем их ошибки по историям в логах. Задеплой себе в кластер fluent bit и потом смотри логи через kibana к примеру. Я так делаю)
A
Да проблема в том что у меня Гугл Клауд и пишется огромное количество логов. Плюс инстана есть. И там абсолютно ничего
A
Да я вижу что в этой дате произошло - там просто обрыв в логах kubelet тоже обычные чеки какие то. Ну ладно
Denis
Да проблема в том что у меня Гугл Клауд и пишется огромное количество логов. Плюс инстана есть. И там абсолютно ничего
Я как делаю. Если разрабы говорят что там сервис упал при выгрузке больших данных, то я открываю графану и смотрю промежутки времени когда сервис вел себя аномально или вообще перестал отдавать метрики. Потом в этот временной промежуток чекаю логи и находим ошибку
Denis
Да я вижу что в этой дате произошло - там просто обрыв в логах kubelet тоже обычные чеки какие то. Ну ладно
Событий, почему твой сервис упал может быть куча. Тут только в помощь метрики и логи.
A
В логах приложения и контейнера просто все обрывается а потом логи запуска просто
Yaros
всем привет, есть такая проблема: есть набор сервисов, A, B1, C1, D1. Есть их другая версия, с другой конфигурацией немного: B2, C2, D2. Логинятся все через сервис A после чего он помимо логина может вернуть адреса либо сервисов B1, C1, D1, либо адреса B2, C2, D2 в зависимости от того, кто залогинился. По сути этот сервис просто читает эту информацию из таблицы в базе данных, где написано, что юзер1 - B1 а вот юзер2 - В2. Разумеется версий сервисов может быть больше и нужно постоянно конфигурить кто и куда обращается по каким логинам. Как эту конфигурацию правильно привязать к версиям сервисов в кубернете? Мы сейчас мигрируем инфраструктуру туда и думаем как это сделать правильно. Потому, что все брать из этого сервиса А кажется вообще неверным.
Yaros
Извиняюсь за стену текста, на вопросы по тексту отвечу.
Yaros
возможно это не относится к кубернету напрямую, но сюда поместил, так как думал, что решается чем-то типа консула или чего-то подобного.
Rainbow
похоже на traffic shifting в istio
стикер под istio ещё не завезли...
Yaros
@volarenege и как это решает проблему? Ну то есть как ингресс поможет отправлять определенным образом залогиненых клиентов к определенным сервисам? Кто хранит соответствие это между урлом и сервисом?
Rainbow
Если не болит, если ли смысл пробовать istio, станет проще жить?
Yaros
@vrutkovs чекаю istio, спасибо за наводку 😊
Rainbow
в чем проблема делать /pathB1 /pathC1 /pathD2 ?
Yaros
@alexesDev не совсем понял, там же один и тот же клиент подключается к сервису А
Yaros
кто его разводит на то, к какому сервису ему дальше идти?
Eduard
только самописюкать
Yaros
а кто синхронизирует деплои версий других сервисов и обновляет урлы в А?
Rainbow
multi tenancy это жеж?
Yaros
@alexesDev сейчас так: деплоим сервисы В1 и В2, берем их урлы, этим юзерам прописываем в базе В1, а вот этим В2. Все это руками, благо деплои не так часты. Периодически это путает кто-то из админов и все валится. Думаем как уйти от этого переезжая на к8, а то странно, что также все руками делать
Yaros
@alexesDev но идейно да, сделаем на каждый деплой сервис со своим урлом и засунем их в базу. Это план на сейчас такой.
Yaros
@alexesDev да-да, наш убойный мультитенанси 😊
Rainbow
ну пользователей вы руками делите на 1 и 2? Ну и деплой будет так же... или нужно делить автоматом и уже деплой будет дальше так же.
Rainbow
Я плохо знаю эту сторону, но похоже вам в сторону своего оператора идти...
Yaros
Да, руками делим и это порождает ошибки, разумеется. А что за свой оператор такой?
Rainbow
Да, руками делим и это порождает ошибки, разумеется. А что за свой оператор такой?
Операторы (operators) — это вспомогательное ПО для Kubernetes, призванное автоматизировать выполнение рутинных действий над объектами кластера при определённых событиях
Rainbow
на практике я этого не делал, а тема интересная. По запросу multi tenant kubernetes много чего есть
Yaros
@alexesDev спасибо, буду гуглить! уже смотрю на istio и вот это нашел, вдруг кому полезно будет: https://www.youtube.com/watch?v=xygE8DbwJ7c
Rainbow
Я бы попробовал что-то попроще k8s вроде nomad (просто, чтобы удобно было оркестрировать) + виртуалка на клиента. Меньше шансов ошибиться. Цена таких ошибок в B2B крайне высока.
Yaros
у выбора нет, уже к8s и rancher
PsyDebug
Хмм авито упаковывают мускул базу в мускул контейнер для dev/stage (насколько я помню из доклад) А чем плохо то?
Вполне гуд вариант, если нужно запустить, прогнать тесты, совершить над базой групповое изнасилование и прибить. Но у человека как я понял другая задача
олыч
По увядшей листве?
User
▫️Какой у вас проект или где работаете? Bizzabo - event management platform. ▫️В чём вы специалист? Node, frontend, Docker ▫️Чем можете быть интересны или полезны сообществу? Задаю нубовские вопросы. ▫️Чем интересно сообщество вам? Недавно стал осваивать k8s, может пригодиться помощь бывалых девопсов. ▫️Откуда вы? Харьков, Украина ▫️Как узнали про группу? Предположил, что такая существует, ну и через поиск Телеграм в этом убедился. В сообщении нужно указать тэг #whois
User
По увядшей листве?
По разбитым очкам
олыч
По разбитым очкам
подожди, но там не было увядшей листвы 😳
User
Да не было, не было
User
Но основной посыл ясен, ты тоже в теме, что это цитата из песни
User
лукич жив!
Радует также, что не считаешь автором Летова. Точно шаришь
User
Нас тут за оффтоп не того?
олыч
да, для оффтопа надо в devops_jobs, тут вроде лучше не разводить
Timur
Надо послушать Лукича, как-то он мимо меня прошел совсем...
Yaros
@alexesDev а что не так с istio? я что-то смотрю демку на катакоде и просто кажется очень крутой. Какие подводные камни\проблемы при работе с реальными приложениями?
Vadim
Это как с базами - все боятся и ждут фиксов
Vadim
На прошлом кубконе был доклад про енвой - это + ~10мс к лейтенси
Yaros
+10 мс к каждой коммуникации между сервисами? Или вообще +10?
Vadim
Судя по всему к любым, но тут YMMV
Yaros
я уточнил, так как читал вчера-сегодня их доки и презентации смотрел и они говорят что ох как же они быстры! Поэтому ко всему +10мс как-то сурово ...
Vadim
Это год назад было, может допилили
Dmytro
Да, руками делим и это порождает ошибки, разумеется. А что за свой оператор такой?
А расскажите как это выглядит в плане урлов? Для юзера1 и юзера2 урлы к B1 и B2 одинаковые или разные? Стало интересно
Anonymous
patroni /thread
@Andorka @anti_on @j3qq4_h7h2v_2hch4_m3hk8_6m8vw Парни, я тут немного слоупочу А что вы думаете про postgresql-operator против патронов ?
Stanislav
меня можно не спрашивать - просто не думал на эту тему
Anton
@Andorka @anti_on @j3qq4_h7h2v_2hch4_m3hk8_6m8vw Парни, я тут немного слоупочу А что вы думаете про postgresql-operator против патронов ?
Патрони не пользовал, и не хочется, юзаю stolon, хочется отзывы об операторе и kubedb
Anonymous
да я вот тоже почитал про операторы и загорелся идеей закинуть это дело в кубер. Может получится протащить против идеи про выделенные БД :)
« Rev
@kubernetes_ru   1081
Fwd »