Собственно предлагаю обсуждать все вопросы связанные с Apache Hadoop стеком: Деплой Spark джоб, работат с дистрибутивам от Hortonworks , Cloudera и так далее

Кто, как спарк джобы деплоит?

Кто-нибудь запускает Спарк в jupyter?

Кто-нибудь запускает Спарк в jupyter?

Насколько мне известно, датасайнтисты делают там свою науку, после чего показывают свой ноутбук разработчику. и он его уже на Scala реализует

Мы ноутбуки не используем

Хотел тоже попробовать

Сам не пробовал но вроде не сложно: https://docs.continuum.io/anaconda-scale/howto/spark-overview#

Хочу ручками попробовать hadoop, как сделать свой кластер и тд и тп и как бы в домашних условиях, а не в конторе с готовой инфраструктурой. Это вообще реально? Как вы начинали осваивать hadoop?

Хочу ручками попробовать hadoop, как сделать свой кластер и тд и тп и как бы в домашних условиях, а не в конторе с готовой инфраструктурой. Это вообще реально? Как вы начинали осваивать hadoop?

Есть дистрибутивы от CLoudera и Hortonworks

в чём их особенность? они для локальных машин?

У них есть сандбоксы, где все предустановлено. Единственное, нужна машина у которой памяти хотябы 8 , алучше 16 гигабайт.

Ты просто качаешь образ диска и запускаешьп под виртуальной машиной, если всё лагает и тормозит, то стоит отключить что0нибудь из сервисов

спасиб) сегодня начну

а как с книжками/курсами рускоязычными?

или норм только на english?

Нормально только на английском

Хотя по самому хадупу вышла книга на русском от орейли, Apache Hadoop полное руководство.

Она в качестве основ подойдет

?

Но сейчас непосредственно на хадупе мало кто считает ( считай леджаси уже)

а со спарком вроде получше для локальных машин

Кто какие задачи решает на работе хадупом/спарком?

Кто какие задачи решает на работе хадупом/спарком?

ETL обычный, как правило , причём решаем периодически тем же хайвом с тезом, очень удобно получается

Для тех кто интересуется послледними новостями рекомендую подписаться на https://www.hadoopweekly.com/

Про внутренее устроиство Spark лучше этого я ничего не видел (не для новичков) https://www.gitbook.com/book/jaceklaskowski/mastering-apache-spark/details

Про внутренее устроиство Spark лучше этого я ничего не видел (не для новичков) https://www.gitbook.com/book/jaceklaskowski/mastering-apache-spark/details

Очень хорошо по исхоникам лазить :)

а как с книжками/курсами рускоязычными?

для совсем новичка например вот курс на русском https://stepik.org/course/Hadoop-%D0%A1%D0%B8%D1%81%D1%82%D0%B5%D0%BC%D0%B0-%D0%B4%D0%BB%D1%8F-%D0%BE%D0%B1%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%BA%D0%B8-%D0%B1%D0%BE%D0%BB%D1%8C%D1%88%D0%B8%D1%85-%D0%BE%D0%B1%D1%8A%D0%B5%D0%BC%D0%BE%D0%B2-%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85-150/syllabus

Очень хорошо по исхоникам лазить :)

Согласен. Но имхо исходники + Mastering Apache Spark 2.0 профит быстрей.

религия кривой мордочки

ну да

Приглашайте народ :)

Чокого

https://www.coursera.org/learn/big-data-analysys

Свершилось, курс по спарку от EPFL таки обещают выпустить в ближайшее время. Заэнроллиться можно тут: https://www.coursera.org/learn/big-data-analysys Собственно, если покопаться в опциях, то он бесплатный.

Да неужели

ага, собственно , обещают в феврале

я, вроде как, разрабатываю под спарк, но собираюсь пройти

Буду знать, кого мучить если что ?

курсы под спарк

курсы под спарк

хорошо же

Я наконец увижу, как выглядит автор курса )

Привет всем, где нибудь пошаговое инструкция есть использование Amazon кластеры для запуска R Spark или вообще можно в amazon запустить R Spark?

Привет всем, где нибудь пошаговое инструкция есть использование Amazon кластеры для запуска R Spark или вообще можно в amazon запустить R Spark?

https://aws.amazon.com/blogs/big-data/running-sparklyr-rstudios-r-interface-to-spark-on-amazon-emr/

Спасибо???

Решал ли кто проблему сохранения рдд на хдфс на фиксированное количество файлов?

это бин пэкинг; слишокм обще задачу ты поставил)

а куда обще, есть рдд , по которому нужно сделать сейв ту хдфс и чтобы получилось после сохранения ровно столько то файлов ( или меньше )

В Хайве это решается относительно просто