вообщем, спарк2 в упор не хочет жрать hive-site.xml в --files и от этого не знает ничего про существующий метастор

и это происходит на yarn-cluster. На yarn-client все ок

а он точно должен его жрать? вдруг в этом режиме он и не умеет?

на спарке 1 это было необходимым условием его работы

при создании HiveContext подтягивались параметры из hive-site.xml

теперь с .enableHiveSupport наверное все по-другому стало

но факт - spark.catalog.listTables у меня пустой на yarn-cluster

--files /path/to/hive-site.xml#hive-site.xml при условии наличия на всех executor не помогает? spark-submit из CLI или Oozie и т.п.?

да, этот файл я как раз и скармливаю

из CLI

https://stackoverflow.com/questions/45477155/missing-hive-site-when-using-spark-submit-yarn-cluster-mode это не оно?

пробовал, результат тот же ?

а если прямо все проперти в командную строку spark submit засунуть, подхватывает?

пропертизы хайва?

пробовал, результат тот же ?

val spark = SparkSession.builder.enableHiveSupport().getOrCreate() ?

ага

ну, примерно так поступает livy, например. ему можно скормить через рест конфиги с классификаторами, а он уже формирует командную строку сабмита на десяток килобайт. и вроде hive-site тоже есть (я сам правда именно его не юзаю, но с другими компонентами нет проблем)

разобрался

я conf создавал по старинке new SparkConf

и его скармливал при билде sparkSession

?

мде, классика. если что-то не работает, значит с вероятность 99% ошибка на стороне программиста...

Работающего с зе бест фреймворк еве.

Привет! Вопрос насчёт Спарка. Можно ли его использовать отдельно от хадупа и hdfs? Т.е. брать данные, например, из postgresql и писать туда же.

Привет! Вопрос насчёт Спарка. Можно ли его использовать отдельно от хадупа и hdfs? Т.е. брать данные, например, из postgresql и писать туда же.

Можно

Можно

И это может быть именно кластер, а не в local моде?

И это может быть именно кластер, а не в local моде?

Mesos, Kubernetes, etc.

без разницы

база будет узким местом скорее всего :)

И это может быть именно кластер, а не в local моде?

https://spark.apache.org/docs/latest/cluster-overview.html

Ну емана, RTFM :)

база будет узким местом скорее всего :)

Видел я кейсы даже с DB2.

Именно

Привет! Вопрос насчёт Спарка. Можно ли его использовать отдельно от хадупа и hdfs? Т.е. брать данные, например, из postgresql и писать туда же.

DataSource API

Спасибо большое!

>Можно ли его использовать отдельно от хадупа и hdfs? Был кейс ssh -> hbase

Mesos, Kubernetes, etc.

Т.е. на несколько серверов нужно поставить что-то типа mesos, ceph, kubernetnes и на виртуальном сервере запускать Спарк? А как с выделением ресурсов и прочих конфигов для executor'ов?

Т.е. на несколько серверов нужно поставить что-то типа mesos, ceph, kubernetnes и на виртуальном сервере запускать Спарк? А как с выделением ресурсов и прочих конфигов для executor'ов?

Спарк прекрасно работает вообще без RM

ему только ZK надо для того, чтобы AM HA было

И насколько это всё удобно поддерживать/разрабатывать относительно хадупа?

Зависит от целей и архитектуры, тащемта. Таскать с собой хадуп ради одного только спарка - то еще удовольствие.

Вон, как правильно @tenKe заметил, можно по хардкору по ZK. Чуть больше думаешь о ресурсах, зато желтых слонов пасти не надо. Опсы поди счастливы будут.

Проще научить девопсов пасти зелёного слоника (hdp), чем поддерживать пайплайн rdbms->spark->rdbms

И это не из-за спарка)

Т.е. на несколько серверов нужно поставить что-то типа mesos, ceph, kubernetnes и на виртуальном сервере запускать Спарк? А как с выделением ресурсов и прочих конфигов для executor'ов?

Это если тебе нужен RM. Необязательно это YARN.

У нас админы уже точно умеют пасти слонов. А вот насчёт остального - не знаю, есть вероятность, то нет. Т.е. с одной стороны хочется облегчить систему. В том числе есть мнение, что хадуп - это не супер быстро) Но, с другой стороны, не понятно, как разделять ресурсы, делать очереди и расставлять приоритеты.

Ну и как хранить - тоже вопрос.

Просто в parquet можно, но не очень удобно в формате ad-hoc посмотреть, что там лежит.

зепелинчика сверху положить и норм

Это если тебе нужен RM. Необязательно это YARN.

Ресурс менеджер какой-то точно нужен. Точнее, не какой-то, а удобный и более-менее гибкий.

зепелинчика сверху положить и норм

Хм. Вообще можно. Не то, чтобы он супер удобный был, конечно.

ну дело привычки

у меня еще presto сверху есть, можно его, но там надо еще hive metastore будет

Ещё в ярне мне нравится мониторинг происходящего. Те же графики очереди, вкоров, памяти и т.п. Есть ли рм, которые можно поставить отдельно и в которых есть что-то подобное? Ну и возможность работы со Спарком + разделение ресурсов? Или всё-таки не выпендриваться и поставить старый добрый хадуп?))

Проще научить девопсов пасти зелёного слоника (hdp), чем поддерживать пайплайн rdbms->spark->rdbms

В большинстве случаев появление такого пайплайна происходит отнюдь не из-за нелюбви к хадупу :)

Ещё в ярне мне нравится мониторинг происходящего. Те же графики очереди, вкоров, памяти и т.п. Есть ли рм, которые можно поставить отдельно и в которых есть что-то подобное? Ну и возможность работы со Спарком + разделение ресурсов? Или всё-таки не выпендриваться и поставить старый добрый хадуп?))

Дык а почему бы и не поставить, если опсы и архи не бунтуют?

Дык а почему бы и не поставить, если опсы и архи не бунтуют?

Просто объем данных предполагается небольшой. Несколько террабайт. Но есть желание использовать spark ml для построения различных моделей. Есть вероятность, правда, что объем данных сильно вырастет, но все равно пока это все выглядит как одна-две датаноды. Не больше))

Просто объем данных предполагается небольшой. Несколько террабайт. Но есть желание использовать spark ml для построения различных моделей. Есть вероятность, правда, что объем данных сильно вырастет, но все равно пока это все выглядит как одна-две датаноды. Не больше))

Compute node поверх S3 можно

Compute node поверх S3 можно

Спасибо большое! Теперь все гораздо понятнее) Пойду читать подробнее что как делать)

Не рассматриваешь AWS? EMR, там YARN.

Не рассматриваешь AWS? EMR, там YARN.

облачные нельзя( - не секъюрно(

всем доброго дня! извиняюсь за ламерство - а что нужно установить и настроить, если на сервере нужен только kafka producer? все равно ставить все?

всем доброго дня! извиняюсь за ламерство - а что нужно установить и настроить, если на сервере нужен только kafka producer? все равно ставить все?

Кафка в без кластера уже давно 1 бинарь считай

всем доброго дня! извиняюсь за ламерство - а что нужно установить и настроить, если на сервере нужен только kafka producer? все равно ставить все?

нет, тебе нужны только либы для твоего приложения :)

спасибо, ну то есть что бы воспользоваться на произвольном сервере клиентскими скриптами из kafka/bin/ не надо ничего более ставить?

или хотя бы java - нужно?

а, клиентскими скриптами

я думал ты про апи продюсера

В принципе сам брокер тебе не нужен, тебе понадобятся джава, джарники, которые юзаются в скриптах и сами скрипты. Но я бы не заморачивался и поставил весь пакет, чтобы потом не тратить время на поиск отсутствующих конфигов

В принципе сам брокер тебе не нужен, тебе понадобятся джава, джарники, которые юзаются в скриптах и сами скрипты. Но я бы не заморачивался и поставил весь пакет, чтобы потом не тратить время на поиск отсутствующих конфигов

А что там ставить? wget 1 архив, сделать 1 юнит и 2 строчки в конфиг

понял, спасибо всем!

все сделал, все получилось

ambari кто юзает?

я думаю много кто

я юзаю например

+

на этапе Customize Services нифига не происходит, ошибок не пишет

базы ему все создал в postgresql

а красным сервисы не горят?

всё подрубил

нет

тогда проблема может быть с браузером

там довольно каприсны яваскрипт

хром то ему чем не понравился

хром должен быть норм

фаерфокс норм

у меня то, что ты описываешь было в ИЕ

и в старом файерфоксе

после обновления до последней версии все стало кокакола

у меня Version 71.0.3559.6 (Official Build) dev (64-bit)

точно не старый

ну я бы все равно в первую очередь попробовал бы другой браузер