Привет. Вчера задалась занимательным вопросом. Web-приложения чудесно чувствуют себя в кубике. А вчера решила загнать в куб кластер Nifi. Соответственно, провела тесты. Для этого на DEV у меня была абсолютно идентичная инфраструктура - и два кластера из трех серверов - Kubernetes Statefulset и просто кластер nifi. В самом последнем и самом лучшем тесте (с просто hostpath) Кластер на кубернетесе показал результат в 4 раза хуже, чем без кубика. тест - генерация 5 миллионов мелких файлов и запись в лог, всё. Так вот внимание, вопрос - что вы делаете с такими приложениями? Есть ли какой-то вариант улучшить результаты работы с диском? У кого-нибудь был такой опыт?

отпишись только. Что у докера проблемы с io слышал от https://flant.ru/... на практике так лично и не проверил.

всё идентично, абсолютно одинаковые пайплайны запущены на кластере кубера и не кубера . I/o утилизация и там и там 20-30% (хороший запас), Xmx (это java приложение) выделено одинаково, используется примерно одинаково)Но за одинаковое время Kuber генерирует 4млн файлов и записывает 1,5 млн, а некубер генерирует 5 млн и записывает 5. По утилизации io, по памяти, по CPU у кубера было, куда двигаться. Вот я и не понимаю, куда копать еще.

да, была такая мысль без кубика проверить. Спасибо, попробую vfs и просто в докере. Хотелось сразу красиво 😃

ну это же точно будет быстрее работать, чем hostpath?

скажите, а где докер вмешивается в data path вольюмов?

https://youtu.be/CgCLPYJRxbU?t=41m42s Я написал, что только слышал, лично руки не доходят.

+ небольшая вероятность, что docker может покоцать volume и... все база у меня вне кластера. В кластере 99% stateless приложения.

старовер?

mq тоже не сажаем в кластер значит

вы же слышите что там говорят про Ceph, а не про докер, в плане медленного io?

уже обсуждали?

уже обсуждали?

Привет. Вчера задалась занимательным вопросом. Web-приложения чудесно чувствуют себя в кубике. А вчера решила загнать в куб кластер Nifi. Соответственно, провела тесты. Для этого на DEV у меня была абсолютно идентичная инфраструктура - и два кластера из трех серверов - Kubernetes Statefulset и просто кластер nifi. В самом последнем и самом лучшем тесте (с просто hostpath) Кластер на кубернетесе показал результат в 4 раза хуже, чем без кубика. тест - генерация 5 миллионов мелких файлов и запись в лог, всё. Так вот внимание, вопрос - что вы делаете с такими приложениями? Есть ли какой-то вариант улучшить результаты работы с диском? У кого-нибудь был такой опыт?

Потому что цепх дно ебаное для записи

Джентльмены, подскажите, как вы организуете деплой всякого квазистатического в кластере? таких вещей как дашборд, днс-аддон и т.д.

Джентльмены, подскажите, как вы организуете деплой всякого квазистатического в кластере? таких вещей как дашборд, днс-аддон и т.д.

https://youtu.be/CgCLPYJRxbU?t=41m42s Я написал, что только слышал, лично руки не доходят.

Хороший доклад. Вообще у флант все доклады хороши.

спасибо, будут ещё круче)

ага, прям после доклада хочется пойти к руководству и сказать "давай заплатим и отцепитесь от меня" =)

Ага, и еще давайте уволим меня я не нужен. :))))

код за 5 лет почти без док не даст меня так просто уводить к сожалению.

Да это понятно, надо же пожаловаться 🙈 когда есть возможность.

код за 5 лет почти без док не даст меня так просто уводить к сожалению.

Можно еще и страховку жизни попросить

мне не дали дешевую машину купить, типа небезопасно))

стикер не актуальный, он ща пиздец поправился

Можно еще и страховку жизни попросить

Смеюсь в голосину) Управление рисками, блин)

И страховку кода.

несекурная тачка небось зубило

кстати, тема для стартапа "ваш bus factor = 1? купите страховку"

Ну или раделить риски увеличив бас фактор до трех например

Ее даже упоминать опасно не то что ездить :)))

Ребят. Кто-нибудь прикручивал к куберу Single-Sign-On? Идея состоит в том, чтобы логиниться в дашборд или консоль с помощью гуглового аккаунта, в котором будет разделение ролей для юзеров. В какую сторону лучше смотреть? Dex/keycloack/etc? Можно ли интегрировать это как-то без подобного посредника, или непосредственно крутить его в самом кубере?

мы используем okta

Я правильно понял, что это саасная штука, которая позволяет не хостить у себя условный dex, при этом за это надо платить деньги? И если да, то как тарификация идет, за счет количества юзеров или fix-price?

Мы используем https://github.com/cloudposse/charts/tree/master/incubator/portal https://docs.cloudposse.com/kubernetes-platform-services/dashboard/cluster-portal/ Github как Single Sign On Правда нет разделения по группам - просто способ сделать аутентификацию для dashboards.