Nikita
Я уже объяснял зачем мне нужен rwx.
Nikita
Поды могут юзать один сторадж. Во-вторых поды при апдейте могут подняться на другой ноде и попытаться заюзать сторадж, привязанный к поду на первой ноде.
inqfen
Я уже объяснял зачем мне нужен rwx.
Скорее rwx - это то, чего нужно избежать, и юзать только когда никак по-другому нельзя
George
1. Могут, но зачастую это не надо. 2. Ты создаёшь проблему на ровном месте делая размазанный сторедж. Повторю вопрос - если разработка своя и нет требований по скорости хранилища, то почему не юзать объектное хранилище?
George
Если речь про Легаси, то там почти наверняка тоже стоит избегать распределенного стораджа, rwx и гластера
George
Т.е. там всратое легаси ? Ну, удачи тогда 🖐
Nikita
Т.е. там всратое легаси ? Ну, удачи тогда 🖐
Ну так о чем и речь. Всратое легаси, которое необходимо поднимать на дев кластере. На проде этого нет. Точнее есть, но запущено иначе и в кубер не поедет, пока не будет переписано. Но для тестирования и разработки ПРИХОДИТСЯ это поднимать в кубере. Поэтому мне приходится страдать и держаться за сраный гластер с rwx.
Nikita
Тут вам не единороги и пони с розовыми облаками, а реальная жизнь.
inqfen
Аргументы?
1. усложение хранилища (rwx не так просто) 2. отсутствие нормального контроля фс (угадай кто у тебя иноды насоздавал, на вполне реальном хранилище) 3. из второго - влияние друг на друга (а запись это делает гораздо сильнее чтения) ну и еще 1000 и 1 проблема, с которыми можно поесть гавна в прямом проде
George
У меня тоже реальная жизнь. Которая позволяет А) не деплоить такое Легаси в куб Б) а даже если оно туда едет - ну, нет требований по стабильности
George
Ну, сдохло оно на дев кластере и сдохло. Он на то и дев
Nikita
У меня тоже реальная жизнь. Которая позволяет А) не деплоить такое Легаси в куб Б) а даже если оно туда едет - ну, нет требований по стабильности
Да я бы рад также или совсем без легаси. Не я же придумал такие условия) Но под них приходится делать инфру.
Nikita
Это даже интересно.
Boriss
@kvaps а нету ли какого up-to-date гайда за линстор к 1.16 версии без использования луп девайсов и твоего kube-linstor'a? я попробовал поставить, выкачав с из гита...создал сторэджкласс, добавляю вольюм - unsupported protocol scheme ошибка
George
К сожалению, нет. Это неинтересно. Есть 100500 более полезных и интересных вещей. Ну, если только не быть фриком и интравертом
George
Тогда ок
George
Ага, потом нечего на митапах рассказать ? 😂😂😂😂
inqfen
1. Усложнение да, куда без него. 2. В плане? ЗАчем угадывать, есть pvc и pv. Все прозрачно. 3. ВЛияние друг на друга чего?
1. зис 2. если некоторому хранилищу станет немного плохо - хуй ты угадаешь почему, причем это будут именно угадайки 3. есть новый под например, после обновления, обновился, схавал диск своей записью - благодаря записи они живут в одном загончике - старые тоже не могут писать
inqfen
пункт 3 активно практиковался одно время эластиком
Nikita
Новый под начал что-то делать != работает
Ну ок, тогда будет висеть два пода.
Nikita
В чем сложность понять где косяк?)
inqfen
сложности большой прямо нет, сложность в эксплуатации ты себе создаешь, как сказал бы йода
Nikita
Подобных проблем не было ни разу.
inqfen
Не было не значит не будет
Nikita
Поэтому наоборот, я делаю жизнь проще себе и разрабам с qa)
inqfen
Твой трудный путь - избежать и предсказать)
Nikita
Что там такого начнет делать под, чтобы забить вольюм?
George
Йода в треде 😋
Nikita
Этот под генератор файлов?)
inqfen
Что там такого начнет делать под, чтобы забить вольюм?
java приложение со статистикой, java быстрая, а статистики много, вот тебе пример из жизы
Nikita
java приложение со статистикой, java быстрая, а статистики много, вот тебе пример из жизы
А что за новости такие, приложение работает, а под нет? Значит кривой startupprobe сделан.
Nikita
А если проба нет, то и проблемы такой не возникнет тем более.
inqfen
А что за новости такие, приложение работает, а под нет? Значит кривой startupprobe сделан.
Мы не можем знать пока оно не начало считать и выдавать результаты, работает оно или нет
Nikita
Этого достаточно для убийства старого пода.
inqfen
И в определеннный момент пробой мы сможем проверить, что да, оно работает - и поднять
George
Если ты ориентируешься только на запуск приклада, а не на то, что оно фактически работает и готово к обработке данных, то это не зероу даунтайм и далее по списку
Nikita
Этого недостаточно
Я же написал выше - без пробы. Для кубера этого достаточно.
Nikita
Если с пробой - нужна нормальная проба. У нее есть таймауты и лимиты.
Nikita
Лично у меня везде пробы и все в целом прозрачно.
Nikita
И самое главное - чем в таком случае спасёт локал стор и объектное?)
George
Я не услышал кейса зачем поду rwx. Только пока что речь шла про дев кластер и легаси. А проба... Ну, она в целом нужна верная, безотносительно монтирования pvc/pv Под специфику приложения. С этим спорить.... Бессмысленно
Nikita
rwx для доступа к pv нескольких подов на разных нодах. Или одновременно работающих и так надо, или при апдейте деплоя, если обновлённый под встал на другой ноде.
George
В поде что ?
Nikita
Где?
Nikita
Однонодовый гластер
George
Т.е. он снаружи от кубера ? А кубер многонодовый, ну, ок.
Nikita
Кубер многонод. Внутри кубера гластер без репликации, тк она не нужна.
Fedor
Кубер многонод. Внутри кубера гластер без репликации, тк она не нужна.
Коллега, мне кажется или вы легаси тащите в кубер?
Nikita
Коллега, мне кажется или вы легаси тащите в кубер?
Я уже затащил) Это необходимо для тестовых нужд и разработки.
George
Кубер многонод. Внутри кубера гластер без репликации, тк она не нужна.
Ок, аргумент, что под может переехать с ноды на ноду и надо ему подкинуть тот же pvc - принимается. Тогда действительно вариантов нет 😭
George
Другой вопрос, что локал вольюм прибивает под к ноде автоматом
Nikita
Сейчас да. Я его пока не успел перетестить. Когда он только появился был не очень.
Nikita
Надо проверить ещё раз.
George
И он никуда оттуда не сдернется. Единственное, что я в этом кейсе не изучал - что будет если ёмкости ноды (cpu/mem) не хватит и мы изменили лимиты в деплйменте
Nikita
Меня, кстати, удивило что в режиме без репликации гластер оказался быстрее лонгхорна по иопсам.
Nikita
Тестил тут ради интереса просто )
George
В лонгхорн вероятно репликация неотключаемая и / или протокол медленный сам по себе.
Nikita
Оказался медленнее на 10%.
George
А в случае однонодового гластера не возникало его желание с nfs сравнить ?
Nikita
Нет, не добрался до нфс. Ну и теперь вместе с нфс надо текущий локал стор проверять. С гластером иопсы падают в сравнении с hostPath в пять раз)
Nikita
Хочется без таких потерь.
inqfen
но с ним иопсы могут падать совершенно непредсказуемо, а могут и не падать, тут как попрет и что используешь
Boriss
noobTime: Есть 3 вида access в разных сториджах по разному их доступность. Я к примеру поставил Linstor, он мне баундит вольюмы любого вида, однако когда я скейлю поды...контейнеры не поднимаются изза ошибок... за вольюмы...такое у меня работало токо с cephfs. doublenoobTime: к примеру вордпресс... мне нужно чтобы куча подов читала с одного вольюма, это реально сделать без rwm? Допустим я держу вп на одном вольюме...удалил под, создался новый и он подхватил этот вольюм...а если машине хана? А вольюм был на ней?