Ребята из Rambler сделали отдельню группу по Apache Spark @moscowspark , предлагаю присоединиться!

ну не

пусть к нам идут

Вбрось

на правах рекламы

@krivdaallstarts

ну или я могу вбросить

ну или я могу вбросить

там те же люди сидят

Сразу вопрос, писал ли кто эффективно паркет стримингом, так, чтобы оно как-то буфферизировало запись , а не каждый микробатч записывало , решает ли эту задачу новый стракчерал стриминг ?

я мб попохжу отвечу как с орком коллега делал

я мб попохжу отвечу как с орком коллега делал

вот это будет круто

вот это будет круто

нет инфы короче ?

он _хотел_ этим занятья но корчое мы решили не далть это

Привет всем Есть pyspark, который упорно работает на одной машине вместо четырех при работе через жупайтер. Стоит hortonworks HDP 2.6, YARN 2.7.3, Spark2 2.1.1 Если запускать через спарк-сабмит тестовый пример PYSPARK_DRIVER_PYTHON=python3 spark-submit --master yarn --deploy-mode cluster --driver-memory 16g --executor-memory 16g --executor-cores 6 pi.py то запускается, все ок, действительно работает распределенно Через жупайтер даже если при запуске SparkSession.builder.appName("testing").master('yarn').getOrCreate() то приложение все равно spark.master=local[*] Вообще конфиги прописываю в амбари, но есть ощущение иногда, что они игнорятся В чем может быть проблема? Что сделать, чтобы работало через jupyter как надо? ?

а как jupyter запускаете?

а как jupyter запускаете?

jupyter вместе с pyspark'ом запускается в переменных окружения драйвер прописан SPARK_HOME=/usr/hdp/current/spark2-client SPARK_CLASSPATH=/usr/share/java/postgresql-42.1.1.jar PYSPARK_PYTHON=python3 PYSPARK_DRIVER_PYTHON=jupyter SPARK_MAJOR_VERSION=2 PATH=/usr/hdp/current/spark2-client/bin:/usr/lib:/usr/local/anaconda3/bin PYSPARK_SUBMIT_ARGS= --master yarn --deploy-mode client --driver-memory 16g --executor-memory 16g --executor-cores 3 --num-executors 11 --conf spark.executor.extraClassPath=/usr/share/java/postgresql-42.1.1.jar --driver-class-path /usr/share/java/postgresql-42.1.1.jar --jars /usr/share/java/postgresql-42.1.1.jar PYTHONPATH=/usr/hdp/current/spark2-client/python: PYSPARK_DRIVER_PYTHON_OPTS=notebook --allow-root

а HADOOP_CONF_DIR прописан где-нибудь?

а HADOOP_CONF_DIR прописан где-нибудь?

в амбари прописано так export HADOOP_HOME=${HADOOP_HOME:-{{hadoop_home}}} export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-{{hadoop_conf_dir}}}

echo $HADOOP_CONF_DIR что выведет?

echo $HADOOP_CONF_DIR что выведет?

ничего

¯\_(ツ)_/¯

я вот не уверен что ему действительно нужны конф диры

типа он по дефолту должен знать, как к ярну ломиться?

у него в $SPARK_CONF могут лежать необходимые *-site.xml для YARN/HDFS

да на всякий случай думаю все надо засетапить попробовать

ок, сейчас пропишу $HADOOP_HOME и $HADOOP_CONF_DIR

добавила, нужно перезапустить все или оно и так подцепит переменные?

в амбари добавляли?

в амбари есть export HADOOP_HOME=${HADOOP_HOME:-{{hadoop_home}}} export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-{{hadoop_conf_dir}}}

по быстрому можно просто export HADOOP_CONF_DIR=... и посмотреть, что получится

в смысле?

в терминале пишете export HADOOP_CONF_DIR=... , проверяете echo $HADOOP_CONF_DIR и запускаете юпитер

в терминале пишете export HADOOP_CONF_DIR=... , проверяете echo $HADOOP_CONF_DIR и запускаете юпитер

так добавила, переменные есть теперь в окружении сейчас проверю jupyter

в джупитере можно дернуть объект хадуп конфига

и распечатать его свйоства и адреса хадуп кор и сайт кор

тогда станет ясно чего не хватает

из спарк сешна он достается

sc.getConf().getAll() это?

[('spark.history.kerberos.keytab', 'none'), ('spark.eventLog.enabled', 'true'), ('spark.driver.memory', '16G'), ('spark.app.id', 'local-1501231645396'), ('spark.history.ui.port', '18081'), ('spark.driver.extraLibraryPath', '/usr/hdp/current/hadoop-client/lib/native:/usr/hdp/current/hadoop-client/lib/native/Linux-amd64-64'), ('spark.yarn.queue', 'default'), ('spark.executor.id', 'driver'), ('spark.app.name', 'testing'), ('hive.metastore.warehouse.dir', 'file:/home/jupyter/notebooks/spark-warehouse'), ('spark.driver.host', '*******'), ('spark.executor.extraLibraryPath', '/usr/hdp/current/hadoop-client/lib/native:/usr/hdp/current/hadoop-client/lib/native/Linux-amd64-64'), ('spark.driver.port', '37460'), ('spark.history.fs.logDirectory', 'hdfs:///spark2-history/'), ('spark.yarn.historyServer.address', '***.ru:18081'), ('spark.sql.catalogImplementation', 'hive'), ('spark.history.kerberos.principal', 'none'), ('spark.rdd.compress', 'True'), ('spark.history.provider', 'org.apache.spark.deploy.history.FsHistoryProvider'), ('spark.driver.extraClassPath', '/usr/share/java/postgresql-42.1.1.jar'), ('spark.executor.extraClassPath', '/usr/share/java/postgresql-42.1.1.jar'), ('spark.serializer.objectStreamReset', '100'), ('spark.master', 'local[*]'), ('spark.submit.deployMode', 'client'), ('spark.eventLog.dir', 'hdfs:///spark2-history/')]

т.е., подхватилось всё, кроме spark.master

ага. даже если from pyspark.sql import SparkSession spark = SparkSession.builder\ .master('yarn')\ .appName("testing")\ .getOrCreate() все равно локал

ну то есть в sc.getConf().getAll() он конечно yarn, но в итоге local

а вы запускаете юпитер просто строкой jupyter notebook, я правильно понял?

а вы запускаете юпитер просто строкой jupyter notebook, я правильно понял?

не, jupyter вместе с пайспарком запускается PYSPARK_PYTHON=python3 PYSPARK_DRIVER_PYTHON=jupyter PYTHONPATH=/usr/hdp/current/spark2-client/python: PYSPARK_DRIVER_PYTHON_OPTS=notebook --allow-root

JupyterSparkSession пробовался?

можно ммм руками показать где конфиги хадупа лежат

кстате говоря

может не yarn нужен а yarn-client ?

JupyterSparkSession пробовался?

это что за зверь?

м.б., попробуете вот так PYSPARK_PYTHON=python3 PYSPARK_DRIVER_PYTHON=jupyter PYSPARK_DRIVER_PYTHON_OPTS='notebook' pyspark --master yarn --driver-memory 20G --conf "spark.driver.maxResultSize=7G"

может не yarn нужен а yarn-client ?

по докам вроде просто yarn нужен

м.б., попробуете вот так PYSPARK_PYTHON=python3 PYSPARK_DRIVER_PYTHON=jupyter PYSPARK_DRIVER_PYTHON_OPTS='notebook' pyspark --master yarn --driver-memory 20G --conf "spark.driver.maxResultSize=7G"

в PYSPARK_DRIVER_PYTHON_OPTS дописать pyspark —master yarn —driver-memory 20G —conf ? ок, сейчас попробую

можно ммм руками показать где конфиги хадупа лежат

??

не-не, вы —master не в OPTS прописываете, а прям как аргумент в pyspark передайте

JupyterSparkSession .builder() .jupyter() .yarn("HADOOP_CONF_DIR here") .master("yarn-client") .appName("supaname") .getOrCreate()

не-не, вы —master не в OPTS прописываете, а прям как аргумент в pyspark передайте

так это же уже и так прописано PYSPARK_SUBMIT_ARGS= --master yarn --deploy-mode client --driver-memory 16g --executor-memory 16g --executor-cores 3 --num-executors 11 --conf spark.executor.extraClassPath=/usr/share/java/postgresql-42.1.1.jar --driver-class-path /usr/share/java/postgresql-42.1.1.jar --jars /usr/share/java/postgresql-42.1.1.jar

но я могу ошибаться; я на питоне не пишу : D

JupyterSparkSession .builder() .jupyter() .yarn("HADOOP_CONF_DIR here") .master("yarn-client") .appName("supaname") .getOrCreate()

там что-то такого вообще нет) только просто SparkSession

ах

это скала...

простите

ну попытка перетащить на скалу была хороша

так это же уже и так прописано PYSPARK_SUBMIT_ARGS= --master yarn --deploy-mode client --driver-memory 16g --executor-memory 16g --executor-cores 3 --num-executors 11 --conf spark.executor.extraClassPath=/usr/share/java/postgresql-42.1.1.jar --driver-class-path /usr/share/java/postgresql-42.1.1.jar --jars /usr/share/java/postgresql-42.1.1.jar

а где у вас там pyspark значится? я прост его там в упор не вижу)

а где у вас там pyspark значится? я прост его там в упор не вижу)

а зачем ему там значиться, если это и так PYSPARK_SUBMIT_ARGS?

ну, тогда не знаю

pyspark запускается из консоли и подхватывает все эти переменные, видимо.

ЧСХ, гуглеж выдал вот такое https://gist.github.com/cogfor/903c911c9b1963dcd530bbc0b9d9f0ce

--master yarn-client видимо, Григорий таки прав

--master yarn-client видимо, Григорий таки прав

ок, ща поправлю в переменной

разделение yarn-client на master и deployMode произошло вроде с 1.6.0, а тут версия спарка какая?

разделение yarn-client на master и deployMode произошло вроде с 1.6.0, а тут версия спарка какая?

2.1.1

тогда странно, на —master yarn-client должно ругаться что deprecated

ок, тогда оставлю yarn) хорошо не успела поменять

тогда странно, на —master yarn-client должно ругаться что deprecated

+

не работает?

да мисконфиг какой-то