мы вобще в нашем микрокластере пришли к решению, когда manage сервисы всех решений крутятся на 2-3 выделенных нодах, а весь компьют\сторадж ровно размазан по остальным нодам.

https://www.safaribooksonline.com/library/view/spark-the-definitive/9781491912201/

Нам надо сделать приложение, работающее с HDFS\Hive но нужно поддерживать несколько дистрибутивов (Hortonworks\Cloudera\IBM) и стоит вопрос как избежать jar hell работая с либьами самого хадупа в кластере. Есть какие-то best practise? Посоветуйте

https://www.coursera.org/learn/scala-spark-big-data Вышел

как же она быстро говорит в курсе по спарку

еще очень обидело, что скриншоты не обноыили под актуальные данные

есть в монге коллекция на 100миллионов записей, если юзать агрегатор монги то это занимает вечность и сама база в это время в окололежачем состоянии. на сколько есть смысл юзать спарк чтобы сделать агрегации?

есть в монге коллекция на 100миллионов записей, если юзать агрегатор монги то это занимает вечность и сама база в это время в окололежачем состоянии. на сколько есть смысл юзать спарк чтобы сделать агрегации?

Ты это в Спарк будешь загружать вечно)

Но попробовать нужно

Ты это в Спарк будешь загружать вечно)

Можно как то паралeлизацию выгрузки сдeлать попробовать, можeт и норм будeт да

Монга упрeтся вочтонить и всe

https://github.com/mongodb/mongo-hadoop

через коннектор вроде оно быстро выгружает в bson, так что не должно быть с этим проблем

через коннектор вроде оно быстро выгружает в bson, так что не должно быть с этим проблем

но не 100лямов

Может кто-то помочь с Ambari UI? http://stackoverflow.com/questions/42906503/add-a-combo-box-for-custom-service-in-ambari-ui

посоны а никто не зиповал / гзиповал директории на хдфс? надо руками писать мр джобу? готового ничего нет?

Ну можно не МР, а что-то более высокоуровневое. Например в хайве создать таблицу со сжатым стором и переложить. Или пигом.

да, это видел

А у компрешин кодека ничего нет?

ну, по файлово можно им, думаю)

Пигом 3 строчки по идее.

Как вариант можно использовать HAR (Hadoop ARchives), пример команды sudo -u hdfs hadoop archive -archiveName files.har -p /user/spark -r3

ну, по файлово можно им, думаю)

Ну эт ж 3 строчки кода

да я наверное пофайлово и сделаю; у меня стрим байтов есть; очень удобно будет сразу гзиповано файл записать

как вы логируете шелл скрипты запущенные в оззи?

Дорогие друзья! Мы строили-строили и, наконец, построили. 27 апреля собираем практиков и энтузиастов Apache Spark у себя на Мансарде! Расскажем, как перевели (почти) все наши ETL и ML пайплайны на Spark и как переехали на вторую версию. Познакомимся и пообщаемся! https://rambler-co-e-org.timepad.ru/event/470664/

спасибо

Дорогие друзья! Мы строили-строили и, наконец, построили. 27 апреля собираем практиков и энтузиастов Apache Spark у себя на Мансарде! Расскажем, как перевели (почти) все наши ETL и ML пайплайны на Spark и как переехали на вторую версию. Познакомимся и пообщаемся! https://rambler-co-e-org.timepad.ru/event/470664/

в скала ру сделайте)

в скала ру сделайте)

done

?

Кто-нибудь занимался обновлением broadcast values в стриминге апачевском, есть какие-нибудь библиотеки ?

Hey, спаркисты, скажите пожалуйста, как вы хендлите ошибки при обработке rddшек , map в Try заворачиваете, ведете ли лог ошибок парсинга ?

Через Try, но он иногда поднимаен на верх нетот exp.

каким образом подымаете?

Try, Failure(e), но бывает, что в лог выводится, "table not found exception", хотя на самом деле свалилось с другим ex'м. Пока не решали не как.

А какой еще опыт есть?

try не монадный; и эксепшоны кидать не помню где но с монадой кде-то было не удобно.

Ну Failure выплевывать в кафку и там уже какую-то обработку другой джобой делать может или еще что

Через Try, но он иногда поднимаен на верх нетот exp.

Да, это плата за ленивые вычисления

Тут зарелизили новую версию клаудеры: https://www.cloudera.com/documentation/enterprise/release-notes/topics/cdh_rn_new_in_cdh_511.html#cdh_new_in_511

а HDF кто в проде использует?

Тут зарелизили новую версию клаудеры: https://www.cloudera.com/documentation/enterprise/release-notes/topics/cdh_rn_new_in_cdh_511.html#cdh_new_in_511

как-то все для облака

Кто нибудь знает есть эл.книги по спарк?

в сафари букс много, ну и официальная документация

Сафари?

safaribooks

https://www.safaribooksonline.com/search/?query=spark Я правильно понял?

да

выбор большой, какой именно будет полезен?

Рекомендую эту http://shop.oreilly.com/product/mobile/0636920028512.do

И эту http://shop.oreilly.com/product/mobile/0636920046967.do

Но вообще полезность целью измеряется

Первая очень сильно устарела

Но вообще полезность целью измеряется

Спасибо за ссылки. Цель изучить спарк (начинаю) для ML

Spark ml - это очень странная штука. Например gbm и rf др сих пор не умеют вероятности классов выдавать.

а если Spart ML + Spark R?

Тут скорее Spark для подготовки данных, R для локального обучения. Но там много граблей с сериализацией, скоростью, памятью

В общем смотрите трансляцию с нашего митапа по спарку, про многое расскажем