всем привет, есть такая проблема: есть набор сервисов, A, B1, C1, D1. Есть их другая версия, с другой конфигурацией немного: B2, C2, D2. Логинятся все через сервис A после чего он помимо логина может вернуть адреса либо сервисов B1, C1, D1, либо адреса B2, C2, D2 в зависимости от того, кто залогинился. По сути этот сервис просто читает эту информацию из таблицы в базе данных, где написано, что юзер1 - B1 а вот юзер2 - В2. Разумеется версий сервисов может быть больше и нужно постоянно конфигурить кто и куда обращается по каким логинам. Как эту конфигурацию правильно привязать к версиям сервисов в кубернете? Мы сейчас мигрируем инфраструктуру туда и думаем как это сделать правильно. Потому, что все брать из этого сервиса А кажется вообще неверным.

Извиняюсь за стену текста, на вопросы по тексту отвечу.

возможно это не относится к кубернету напрямую, но сюда поместил, так как думал, что решается чем-то типа консула или чего-то подобного.

всем привет, есть такая проблема: есть набор сервисов, A, B1, C1, D1. Есть их другая версия, с другой конфигурацией немного: B2, C2, D2. Логинятся все через сервис A после чего он помимо логина может вернуть адреса либо сервисов B1, C1, D1, либо адреса B2, C2, D2 в зависимости от того, кто залогинился. По сути этот сервис просто читает эту информацию из таблицы в базе данных, где написано, что юзер1 - B1 а вот юзер2 - В2. Разумеется версий сервисов может быть больше и нужно постоянно конфигурить кто и куда обращается по каким логинам. Как эту конфигурацию правильно привязать к версиям сервисов в кубернете? Мы сейчас мигрируем инфраструктуру туда и думаем как это сделать правильно. Потому, что все брать из этого сервиса А кажется вообще неверным.

обозвать ингрес разными урлами?

всем привет, есть такая проблема: есть набор сервисов, A, B1, C1, D1. Есть их другая версия, с другой конфигурацией немного: B2, C2, D2. Логинятся все через сервис A после чего он помимо логина может вернуть адреса либо сервисов B1, C1, D1, либо адреса B2, C2, D2 в зависимости от того, кто залогинился. По сути этот сервис просто читает эту информацию из таблицы в базе данных, где написано, что юзер1 - B1 а вот юзер2 - В2. Разумеется версий сервисов может быть больше и нужно постоянно конфигурить кто и куда обращается по каким логинам. Как эту конфигурацию правильно привязать к версиям сервисов в кубернете? Мы сейчас мигрируем инфраструктуру туда и думаем как это сделать правильно. Потому, что все брать из этого сервиса А кажется вообще неверным.

похоже на traffic shifting в istio

похоже на traffic shifting в istio

стикер под istio ещё не завезли...

@volarenege и как это решает проблему? Ну то есть как ингресс поможет отправлять определенным образом залогиненых клиентов к определенным сервисам? Кто хранит соответствие это между урлом и сервисом?

Если не болит, если ли смысл пробовать istio, станет проще жить?

@vrutkovs чекаю istio, спасибо за наводку ?

в чем проблема делать /pathB1 /pathC1 /pathD2 ?

@alexesDev не совсем понял, там же один и тот же клиент подключается к сервису А

@volarenege и как это решает проблему? Ну то есть как ингресс поможет отправлять определенным образом залогиненых клиентов к определенным сервисам? Кто хранит соответствие это между урлом и сервисом?

return 301

кто его разводит на то, к какому сервису ему дальше идти?

только самописюкать

кто его разводит на то, к какому сервису ему дальше идти?

"А" который сервис

а кто синхронизирует деплои версий других сервисов и обновляет урлы в А?

а кто синхронизирует деплои версий других сервисов и обновляет урлы в А?

у вас в базе лежит кому куда, откуда она знает?

multi tenancy это жеж?

@alexesDev сейчас так: деплоим сервисы В1 и В2, берем их урлы, этим юзерам прописываем в базе В1, а вот этим В2. Все это руками, благо деплои не так часты. Периодически это путает кто-то из админов и все валится. Думаем как уйти от этого переезжая на к8, а то странно, что также все руками делать

@alexesDev но идейно да, сделаем на каждый деплой сервис со своим урлом и засунем их в базу. Это план на сейчас такой.

@alexesDev да-да, наш убойный мультитенанси ?

ну пользователей вы руками делите на 1 и 2? Ну и деплой будет так же... или нужно делить автоматом и уже деплой будет дальше так же.

Я плохо знаю эту сторону, но похоже вам в сторону своего оператора идти...

Да, руками делим и это порождает ошибки, разумеется. А что за свой оператор такой?

Да, руками делим и это порождает ошибки, разумеется. А что за свой оператор такой?

Операторы (operators) — это вспомогательное ПО для Kubernetes, призванное автоматизировать выполнение рутинных действий над объектами кластера при определённых событиях

на практике я этого не делал, а тема интересная. По запросу multi tenant kubernetes много чего есть

@alexesDev спасибо, буду гуглить! уже смотрю на istio и вот это нашел, вдруг кому полезно будет: https://www.youtube.com/watch?v=xygE8DbwJ7c

Я бы попробовал что-то попроще k8s вроде nomad (просто, чтобы удобно было оркестрировать) + виртуалка на клиента. Меньше шансов ошибиться. Цена таких ошибок в B2B крайне высока.

у выбора нет, уже к8s и rancher

Хмм авито упаковывают мускул базу в мускул контейнер для dev/stage (насколько я помню из доклад) А чем плохо то?

Вполне гуд вариант, если нужно запустить, прогнать тесты, совершить над базой групповое изнасилование и прибить. Но у человека как я понял другая задача

По увядшей листве?

▫️Какой у вас проект или где работаете? Bizzabo - event management platform. ▫️В чём вы специалист? Node, frontend, Docker ▫️Чем можете быть интересны или полезны сообществу? Задаю нубовские вопросы. ▫️Чем интересно сообщество вам? Недавно стал осваивать k8s, может пригодиться помощь бывалых девопсов. ▫️Откуда вы? Харьков, Украина ▫️Как узнали про группу? Предположил, что такая существует, ну и через поиск Телеграм в этом убедился. В сообщении нужно указать тэг #whois

По увядшей листве?

По разбитым очкам

По разбитым очкам

подожди, но там не было увядшей листвы ?

Да не было, не было

Но основной посыл ясен, ты тоже в теме, что это цитата из песни

Но основной посыл ясен, ты тоже в теме, что это цитата из песни

лукич жив!

лукич жив!

Радует также, что не считаешь автором Летова. Точно шаришь

Нас тут за оффтоп не того?

Радует также, что не считаешь автором Летова. Точно шаришь

есть немного.

да, для оффтопа надо в devops_jobs, тут вроде лучше не разводить

Надо послушать Лукича, как-то он мимо меня прошел совсем...

@alexesDev а что не так с istio? я что-то смотрю демку на катакоде и просто кажется очень крутой. Какие подводные камни\проблемы при работе с реальными приложениями?

Это как с базами - все боятся и ждут фиксов

@alexesDev а что не так с istio? я что-то смотрю демку на катакоде и просто кажется очень крутой. Какие подводные камни\проблемы при работе с реальными приложениями?

Куб сложен. Истио ещё слой добавить. Я не против истио и куба. Я про сложность и ошибки

На прошлом кубконе был доклад про енвой - это + ~10мс к лейтенси

+10 мс к каждой коммуникации между сервисами? Или вообще +10?

Судя по всему к любым, но тут YMMV

я уточнил, так как читал вчера-сегодня их доки и презентации смотрел и они говорят что ох как же они быстры! Поэтому ко всему +10мс как-то сурово ...

Это год назад было, может допилили

Да, руками делим и это порождает ошибки, разумеется. А что за свой оператор такой?

А расскажите как это выглядит в плане урлов? Для юзера1 и юзера2 урлы к B1 и B2 одинаковые или разные? Стало интересно

patroni /thread

@Andorka @anti_on @j3qq4_h7h2v_2hch4_m3hk8_6m8vw Парни, я тут немного слоупочу А что вы думаете про postgresql-operator против патронов ?

меня можно не спрашивать - просто не думал на эту тему

@Andorka @anti_on @j3qq4_h7h2v_2hch4_m3hk8_6m8vw Парни, я тут немного слоупочу А что вы думаете про postgresql-operator против патронов ?

Патрони не пользовал, и не хочется, юзаю stolon, хочется отзывы об операторе и kubedb

да я вот тоже почитал про операторы и загорелся идеей закинуть это дело в кубер. Может получится протащить против идеи про выделенные БД :)

@Andorka @anti_on @j3qq4_h7h2v_2hch4_m3hk8_6m8vw Парни, я тут немного слоупочу А что вы думаете про postgresql-operator против патронов ?

Патрони - тоже оператор

Патрони не пользовал, и не хочется, юзаю stolon, хочется отзывы об операторе и kubedb

Они уже сделали поддержку пула?

А расскажите как это выглядит в плане урлов? Для юзера1 и юзера2 урлы к B1 и B2 одинаковые или разные? Стало интересно

multi tenancy он подтвердил. Изоляция приложения под каждого клиента. Как у slack

Они уже сделали поддержку пула?

Кто именно?)

Столон

Или всё ещё говорят "делайте пул в приложении"?

Нет пула, да и в целом к кубу гвоздями прибивается

Соткой и насквозь?

Я тут постгрес оператора от кранчи посмтрел... жалкое зрелище

Я тут постгрес оператора от кранчи посмтрел... жалкое зрелище

Kubedb не лучше, в принципе. Мы его щас тестируем и готовим список тасков на допиливание.

есть еще от zalando оператор

Те же чарты с инит скриптами. Вид сбоку

Заметил что данная беда случается с k8s 1.12 и версией докера 17.03. Завтра дома попробую с более новой версией докера проверить

Я как раз планировал свою песочницу до 1.12 обновлять, вот и попробую воспроизвести. Только у меня докер 18.06, планирую помаленьку вкатываться в crio/containerd. Кстати, кто какие отзывы может дать о работе альтернативных рантаймов в продакшене?

Я тут постгрес оператора от кранчи посмтрел... жалкое зрелище

Я пока доки кранчи поковырял, там многое ручками, kubedb посимпатичней показался

Я пока доки кранчи поковырял, там многое ручками, kubedb посимпатичней показался

Там, на самом деле, куча приколов. Например, в ходе тестов выяснилось, что leader election абсолютно не учитывает состояние бд, поэтому при сносе данных с одной базы она пересоздавалась чистой из инит-скриптов и смогла получить лидерство, а все остальные реплики, одна из которых должна была бы стать мастером, дружно писали в лог о том, что ID у мастера и слейва отличаются. Плюс, иначе как руками пока что отдельно взятую реплику из бэкапов не восстановить. Вот, что сходу пока выяснили.

есть еще от zalando оператор

Патрони

Причём патрони не прибит гвоздями к куберу

Причём патрони не прибит гвоздями к куберу

ну то есть изначально под кубер не создавался, как и stolon прикручивается сбоку, и приюивается гвоздями?

Там, на самом деле, куча приколов. Например, в ходе тестов выяснилось, что leader election абсолютно не учитывает состояние бд, поэтому при сносе данных с одной базы она пересоздавалась чистой из инит-скриптов и смогла получить лидерство, а все остальные реплики, одна из которых должна была бы стать мастером, дружно писали в лог о том, что ID у мастера и слейва отличаются. Плюс, иначе как руками пока что отдельно взятую реплику из бэкапов не восстановить. Вот, что сходу пока выяснили.

это kubedb?

Насколько мне известно - всё с ним норм

это kubedb?

Да. Вообще, мне кажется, что операторы без тестов и чтения исходников юзать не стоит.

Там, на самом деле, куча приколов. Например, в ходе тестов выяснилось, что leader election абсолютно не учитывает состояние бд, поэтому при сносе данных с одной базы она пересоздавалась чистой из инит-скриптов и смогла получить лидерство, а все остальные реплики, одна из которых должна была бы стать мастером, дружно писали в лог о том, что ID у мастера и слейва отличаются. Плюс, иначе как руками пока что отдельно взятую реплику из бэкапов не восстановить. Вот, что сходу пока выяснили.

А как данные сносили? Я первый раз запустил без персистенс пулов. И грохнул под с мастером. И похоже куб под запустил вперед оператрра и там как раз пустая база получилась. В итоге все поды убились, новые создавались. Данные помылись

А как данные сносили? Я первый раз запустил без персистенс пулов. И грохнул под с мастером. И похоже куб под запустил вперед оператрра и там как раз пустая база получилась. В итоге все поды убились, новые создавались. Данные помылись

Внезапный rm -rf с вольюма

А, еще можете пришибить под с репликой во время recovery mode

И еще, иногда при одновременном убийстве всех экземпляров все они потом запускаются в качестве реплик

Короче, уронить кластер pgsql под управлением kubedb как нефиг делать

Я как раз планировал свою песочницу до 1.12 обновлять, вот и попробую воспроизвести. Только у меня докер 18.06, планирую помаленьку вкатываться в crio/containerd. Кстати, кто какие отзывы может дать о работе альтернативных рантаймов в продакшене?

Похоже разобрался в чем беда была. Там ставил Calico 3.2 . Сейчас решил попробовать 2.6 и все нормально завелось

Надо патрони поковырять, на фоне ваших историй stolon попредсказуемей, если дропнуть бд он говорит что id базы отличается и переключит мастера на реплику, а там где занулено нужно сделать removekeeper,

И нуленка стенет репликой и с мастера закопирует данные

Похоже разобрался в чем беда была. Там ставил Calico 3.2 . Сейчас решил попробовать 2.6 и все нормально завелось

Я как раз месяц назад апгрейднулся с 2.6 до последней версии. Кстати, я в калико заметил такой прикол, что networkpolicy ломают коннект к подам через сервисы, напрямую нормально. Думаю, это связано с nat-outgoing: true в параметрах пула.

Надо патрони поковырять, на фоне ваших историй stolon попредсказуемей, если дропнуть бд он говорит что id базы отличается и переключит мастера на реплику, а там где занулено нужно сделать removekeeper,

Фейловер - это не единственная задача, которая нужна от оператора, увы. У нас просто планируется в будущем управление туевой хучей бд, поэтому без оператора никуда, пусть даже и допиливать придется.

Подскажите для postgresql в kubernetes вы что используете? Nodeport, loadbancer, ingress?

Подскажите для postgresql в kubernetes вы что используете? Nodeport, loadbancer, ingress?

Nodeport

(но вообще я бы постгрес не держал в кубернетисе)

почему?

(но вообще я бы постгрес не держал в кубернетисе)

я про это

Подскажите для postgresql в kubernetes вы что используете? Nodeport, loadbancer, ingress?

Мне доступ извне сети кластера к нему не нужен, но если нужно будет выставить наружу, то амазоновский nlb должен подойти. Если доступ с виртуалок, не входящих в кластер, то там можно маршруты по bgp анонсировать, думаю.