в самой ее возможности

ладно, я докапываюсь зря.

злой с утра, пардон.

ура

короче я тоже слегка злой сейчас, прошу прощения, подостыл

Господа, а как посмотреть из-за чего не создается load balancer?

Он просто висит в статусе - создается

describe

?

платформа GCP?

да

describe

ну как минимум

Failed to create load balancer for service backend-namespace/backend-loadbalancer: failed to create forwarding rule ad736fb1fa38811e7b45642010a80010: googleapi: Error 403: Quota 'IN_USE_ADDRESSES' exceeded. Limit: 8.0, quotaExceeded

ну какие то адреса кончились)

наверно реальные)

Ктото использует https://rook.github.io/? пробую прикоутить его и есть несколько проблемных точек

Там написано что внутри у него цеф, можно расходиться

Там написано что внутри у него цеф, можно расходиться

Почему? Чем он плох?

Почему? Чем он плох?

ceph на русском означает "не работает "

Фиговый он

и какие же альтернативы?

просим-просим

ceph на русском означает "не работает "

это исключительно твои проблемы)

и твоего сетапа

предлагаю воздержаться от оскорблений и выслушать все стороны

rook выглядит крайне опасно, как минимум потому, что я бы не стал запускать систему хранения для контейнера внутри юзерспейс-контейнера

Ктото использует https://rook.github.io/? пробую прикоутить его и есть несколько проблемных точек

что это, если в двух словах ? облачное решение?

что это, если в двух словах ? облачное решение?

Облако хранения. Можно объединить венты что находятся на нодах. Я ищю вариант локал сториджа, поскольку имею серваки с несколькими винтами на которых поставлены ноды. А внешнего хранилища нету

и какие же альтернативы?

Ну вот в данном случае звучит так как раз мол ничего другого нет то возьмем что есть. Отличная альтернатива - nutanix, с кубиком думаю интеграция нормальная будет, сторейдж драйвер есть

Ну вот в данном случае звучит так как раз мол ничего другого нет то возьмем что есть. Отличная альтернатива - nutanix, с кубиком думаю интеграция нормальная будет, сторейдж драйвер есть

ты поехал на своём нутаникс просто наглухо кейс: куб bare metal, под ним ceph, куда тут nutanix?

Ну вот в данном случае звучит так как раз мол ничего другого нет то возьмем что есть. Отличная альтернатива - nutanix, с кубиком думаю интеграция нормальная будет, сторейдж драйвер есть

ни разу не видел нутаникса в работе. Dynamical provisioning там работает? Кроме коммерческого нутаникса есть варианты?

ты поехал на своём нутаникс просто наглухо кейс: куб bare metal, под ним ceph, куда тут nutanix?

Зачем рассматривать мертворожденный кейс?

Зачем рассматривать мертворожденный кейс?

а я вот сейчас так живу и мне норм

ни разу не видел нутаникса в работе. Dynamical provisioning там работает? Кроме коммерческого нутаникса есть варианты?

Не использовать распределенную фс без необходимости

а я вот сейчас так живу и мне норм

Когда сломается поговорим

?

Когда сломается поговорим

сломается что?

Всё

Всё

а ну ок

Не использовать распределенную фс без необходимости

так и кубернетес тогда использовать не надо

все на один сервак

ибо нефиг

потому как если не использовать распределенные системы - для каждого обслуживания надо останавливать все узлы, использующие хранилище

так и кубернетес тогда использовать не надо

Где логика и параллель?

Изучить идеологию микросервисов стоит значит, а не пытаться закостылять

у тебя профдеформация

Вали лучше с текущей работы

у тебя профдеформация

Причем тут это? У нас то как раз костыли, а кубик больше про микросервисы, а там все очень понятно

Вали лучше с текущей работы

Ты уж определись валить или оставаться ?

Ты уж определись валить или оставаться ?

судя по тому, как ты на веб проекты советуешь нутаникс мне кажется надо принимать успокоительное

судя по тому, как ты на веб проекты советуешь нутаникс мне кажется надо принимать успокоительное

Я не советую нутаникс на веб проекты, я советую не использовать костыли

Для тех кто только что присоединился канал по Nutanix @nutanix_russia канал про Ceph @ceph_ru на этом заканчиваем offtop

а все так хорошо начиналось...

а все так хорошо начиналось...

ты про срач?)

ceph на русском означает "не работает "

Глеб, насколько я знаю, у тебя боли с цеф отчасти из-за железа, не?

ceph на русском означает "не работает "

всё работает.

насчет kubespray вопрос, по умолчанию идет kubelet_deployment_type: host и при инсталяции из контейнера скопирует бинарник на хост. есть смысл какой то в том чтобы не в докере запускать kubelet или наоборот?

да какая по сути разница? -) Докер хорош процессовой составляющей...но можно и в чистых бинарях держать

Думайте сами, решайте сами...в докере или нет....

Глеб, насколько я знаю, у тебя боли с цеф отчасти из-за железа, не?

да в целом то и боле нет, у нас сейчас в общем то всё работает, ну разве что не так как ждали те кто это придумал :D

всё работает.

ну это опять же говорит только о размере вашей инсталяции в пару тб данных и околонулевом ио

да в целом то и боле нет, у нас сейчас в общем то всё работает, ну разве что не так как ждали те кто это придумал :D

Только у тебя CEPH от тионикс и твоё мандения не валидно.

смысл в том что кубернетис продолжатель идеологии микросервисов - микросервисам не нужно такое хранилище

смысл в том что кубернетис продолжатель идеологии микросервисов - микросервисам не нужно такое хранилище

ну ну

что ну ну?

смысл в том что кубернетис продолжатель идеологии микросервисов - микросервисам не нужно такое хранилище

i'd oppose!

что ну ну?

то что это твои влажные мечты

ну могу только в гугл послать поискать книжки

по факту всё равно вылезает необходимость стораджа под подом

по факту всё равно вылезает необходимость стораджа под подом

и? в чём противоречие то?

я не предалгаю тебе в опероте держать поды

идеология цефа убивает идеологию кубернетиса

потому что весь кубернетис становится зависим от одного сервиса

идеология цефа убивает идеологию кубернетиса

с чего бы?

у меня куб и цеф в куб идут RBD тома + от CEPH я получаю s3 хранилище

потому что весь кубернетис становится зависим от одного сервиса

таким же образом все сохраняющие данные микросервисы зависимы от бд

таким же образом все сохраняющие данные микросервисы зависимы от бд

про бд отдельный разговор

но в плане микросервисов бд тоже много

эта проблема решается не за счет уничтожения зависимости, а за счет придания ей устойчивости

эта проблема решается не за счет уничтожения зависимости, а за счет придания ей устойчивости

но в случае с цефом ты делаешь единую точку отказа

ну, я не спец по цефу, но разве он не работает без проблем в случае потерь нод?

у меня куб и цеф в куб идут RBD тома + от CEPH я получаю s3 хранилище

зачем для того что бы получить s3 использовать цеф?

зачем для того что бы получить s3 использовать цеф?

а что надо использовать на 100тб s3?

ну, я не спец по цефу, но разве он не работает без проблем в случае потерь нод?

ну при правильном сайзинге ты скажем так можешь почти не ощутить, но факторов очень много - нужна жирная сеть, маленькие серверы ну т.е. с ограничем в десятки тб на ноду и т.д.

ну, инструмент надо правильно готовить

ну, инструмент надо правильно готовить

после правильной готовки цеф по стоимости выходит как нормально энтерпрайзное решение

ну, мне казалось сейчас именно функциональные аспекты обсжудались

ну при правильном сайзинге ты скажем так можешь почти не ощутить, но факторов очень много - нужна жирная сеть, маленькие серверы ну т.е. с ограничем в десятки тб на ноду и т.д.

есть микроинсталяции CEPH

и ты мне так и не ответил на вопрос что использовать для s3 если данных 100тб+

есть микроинсталяции CEPH

так я тебе еще раз повторяю - в микросервисной архитектуре это костыль

а что надо использовать на 100тб s3?

да что угодно, хоть минио

да что угодно, хоть минио

100тб в minio? да ты точно отъехавший

так я тебе еще раз повторяю - в микросервисной архитектуре это костыль

костыль - но вот такой вот реальный мир

100тб в minio? да ты точно отъехавший

в чём проблема? я думаю ты не собирал кластер и не тестил