Чем вам ярн лучше подошёл?

ez на емр ланчится

ну как , у тебя есть некоторый dwh компании , тебе нужно делать разные операции с данными

и ты используешь Спарк , хайв и прочие прелести жизни

Вроде как весь хадуп стек на мезосе должен раниться без проблем

Вроде как весь хадуп стек на мезосе должен раниться без проблем

вроде или как бы ?

вроде

там спарк свой у них

плюс сборок я не видел с мезосом

Да и никто не мешает их вместе юзать

да не Ник короч мы положили изза того что не нужно пока мы рнд команда по большей части и не занимаемся слишком сильно оркестровкой

Да и никто не мешает их вместе юзать

ну как бы , у тебя есть ярн, он выполняет все , зачем тебе ещё какой то фреймворк ?

ну как бы , у тебя есть ярн, он выполняет все , зачем тебе ещё какой то фреймворк ?

искать варианты получше

искать варианты получше

чем будет мезос удобнее в рамках dwh компании где в основном повторяющиеся etl джобы ?

не знаю; знал бы - отвечал не так размазано

мож сча офлайнеры придут типа данилы

чем будет мезос удобнее в рамках dwh компании где в основном повторяющиеся etl джобы ?

планировщик бы нормальный

и солид мнение выскажут

у нас джобы могут быть связаны в процесс, но выполняться на разных хранилищах была раньше информатика, но её выжгли вскоре после архитектора есть еще вариант через цепелин запускать, но там тупой крон а на менеджер ресурсов большей частью мне пофиг

мне даже интересно, чего может не хватать в том же ярне

У ярна ж нет цпу шедулинга?

есть

там фейрискедулер умеет

ну тогда хз в чем разница, кроме того, что мезос докеров умеет

эт который cfs?

как это крон тупой

мне даже интересно, чего может не хватать в том же ярне

я тоже не знаю

@gurinderu риквстируем CA ярна и мезоса

как скедулера для спаркобмазаных жоб

так ярн тож умеет докер

да умеет) докер контейнеры под ярном

ярн сам по себе не си группы юзает ж

вопщим ник

го CA и опенсорсь

а мы почитаем и попиарим тебя

ярн сам по себе не си группы юзает ж

https://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/DockerContainerExecutor.html

капасити тоже умеет в cpu только там линуксконтейнерс нужно врубать

если я ничего не путаю

https://www.slideshare.net/mKrishnaKumar1/mesos-vs-yarn-an-overview

Кришна Кумар все знает об этом

Хари Кришна

Кришна Кумар все знает об этом

дай угадаю, ты сам не смотрел

https://data-flair.training/blogs/comparison-between-apache-mesos-vs-hadoop-yarn/

точно не смотрел

конечно нет, у меня заблочен слайдшеир ?

конечно нет, у меня заблочен слайдшеир ?

давай подскажу контору в Питере, где не заблокирован ;)

тинькофф!

gridgain

у кривды не залочен

извините за флуд, но в этом чатике бывают другие стикеры?)

какой-то не очень стикер

профунктор и не очень =(

у кривды не залочен

у меня akka.io не открывается

а монго?

mongo.io

а кто нибудь пробовал несколько идентичных стримов в одной джобе запускать?

например ssc.fileStream

а какие проблемы возникли?

оно как то непараллельно джобы на разных стримах делает)

один батч одного стрима обрабатывается, все остальные курят

и да, я на каждом стример свою обработку делаю

без объединения стримов в один

https://blogs.apache.org/foundation/entry/the-apache-software-foundation-announces26

The Apache Software Foundation Announces Apache® Hadoop® v3.0.0 General Availability

смотрите какая штукуевина https://www.dremio.com/

Что за дилдодельфин

В чем суть?

Что за дилдодельфин

*фейспалм* нарвал

*фейспалм* нарвал

Ну согласись не лучшая иконочка

Ну согласись не лучшая иконочка

на западе это один из топ-мимими зверей

Не удивительно

смотрите какая штукуевина https://www.dremio.com/

В чем прикол?

Не удивительно

https://www.youtube.com/watch?v=ykwqXuMPsoc

Жми кнопку даунлоад, все что ты делал до этого бессмысленно?

Пожалуй не буду смотреть

В чем прикол?

сайт красивый же

Я так понял замена жупитеру или зеплину?

В чем прикол?

вообще подобное уже делали и не раз меняется только набор интеграций тут похоже еще морду прикрутили

Я так понял замена жупитеру или зеплину?

нет, они не умеют делать запрос одновременно из разных хранилищ

Я так понял замена жупитеру или зеплину?

Спасибо, теплее

нет, они не умеют делать запрос одновременно из разных хранилищ

Эм, а нах оно тогда

подозреваю, что это аля https://drill.apache.org

Эм, а нах оно тогда

в смысле? написать один запрос, который выполнится сразу на нескольких хранилищах без организации дополнительного ETL слоя