Apache Spark on Kubernetes - Spark 2.2.0 Documentation https://apache-spark-on-k8s.github.io/userdocs/

Разврат

@lebertech спасибо за ссылку

Есть финтех-проект? Участвуйте в GenerationS и поборитесь за 15 000 000 рублей! Успейте подать заявку на участие в акселераторе GenerationS до 31 октября 2017: https://goo.gl/dpGHR2

https://hortonworks.com/blog/yinception-yarn-based-container-cloud-certify-hadoop-hadoop/ мы запустили хадуп кластер внутри твоего хадуп кластера...

@gurinderu https://habrahabr.ru/company/flant/blog/339120/

эт к чему?

я вообще не понимаю зачем нужен ранчер)

@krivdaallstarts а он кстате сетку кидает сам или нет?

кубернетес же на готовом запускается только

под сеткой ты что имеешь ввиду?

сделать чтобы все ноды друг друга видили?

iptablesвалидный?

локалку хорошую между тачками ну и да чтобы ноды друг друга видели

ранчер то просто запустить - мастер поднял - на каждой ноде запустил дочерний процесс ранчера - и все готово

эт всегда ручками делается

не всегда

ранчер не умеет циску и прочее)

вон у дс ос тож калико и вив есть

эт про виртуальную сеть

дцос и без них нормально виртуалит)

плохо)

мезоса плюхи теряются

ну типа ты не сможешь два инстанса одной и тойже фигни на одной ноде поднять

придется руками колхозить

а ранчер виртуал сетью сам занимается

ток там с ремоут сервис дискавери тоже была какая-то особенность

Эм

Почему ?

Все ты можешь

как это?

ну типа адрес ноды x.x.x.x порт n и ты хочешь 5 сервисов динамически разовраичвать

Я ж говорю. По дефолту дцос создаёт сеть сам

неа

ну сеть да

Да

не вирутальную

и я про ранчер писал

Виртуальную именно

ну да

калико бесполезна)

Калико полезна

Но в кубере

вот я когда хотел на 3 тачках 6 инстансов аккумуло развернуть в дс ос

С докером?

конечно

порты пересекались конечно же он не смог

прост нужно было бридж выбрать

)))

)) не

короч не получалось

Да

ну эт было год назад

я хз чо ща

Докер сеть давно бридж умеет)

а

постой

нет

и как это поможет мне 3 одинаковых инстанса на одной ноде поднять

чтоб порты были одинаковые и ипы разные

не не

и не видели они друг друга почемуто на разных нодах

Порты разные

Ща объясню

не над я знаю все я те о проблемах говорю

и о том почему вив и калико нужны

да ранчер вообще гавно какоет не нужное)

в общем смотри

если ты юзаешь бридж мод

каждый контеинер получает свои ip

и каждый биндится спокойно

чтоб это попадало во внешку делается iptables правило автоматом

с форвардингом

эт делает сам докер

теперь насчет dcos. Ты впринципе можешь создать внутри кластера сколь угодно много внутренних сетей

какие вы техники используете в стриминг задачах, когда нужно к примеру держать некоторый справочник большой на каждой ноде, но при этом обновлять его нужно раз в сутки?

гуавовский кеш с протуханием через сутки, и возможностью принудительной инвалидации по стуку

гарантий как-то получить , что на всех нодах синхронизировано)

какие вы техники используете в стриминг задачах, когда нужно к примеру держать некоторый справочник большой на каждой ноде, но при этом обновлять его нужно раз в сутки?

как вариант - аккумулятор + unpersist при наполнении аккумулятора до определенного уровня

ну или время можно использовать :)

гарантий как-то получить , что на всех нодах синхронизировано)

apache ignite)