@hadoopusers

Страница 100 из 182
Grigory
17.05.2018
08:31:53
ааа

криво читаю

Евгений
17.05.2018
08:34:38
Проброшены порты 7077 и порт цеппелина
https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.6.4/bk_reference/content/yarn-ports.html

Попробуйте ещё вот эти пробросить

Google
Евгений
17.05.2018
08:35:18
8050, 8025

Polina
17.05.2018
09:13:40
Спасибо Пробросила, но не помогло Вроде с ними у него проблем не было ` DEBUG [2018-05-17 10:51:13,734] ({IPC Client (1871007270) connection toAAAAAAAAAAAAA:8020 from root} Client.java[receiveRpcResponse]:1082) - IPC Client (1871007270) connection to AAAAAAAAAAAAA:8020 from root got value #17 DEBUG [2018-05-17 10:51:13,735] ({pool-2-thread-4} ProtobufRpcEngine.java[invoke]:253) - Call: mkdirs took 4639ms DEBUG [2018-05-17 10:51:13,736] ({IPC Parameter Sending Thread #1} Client.java[run]:1025) - IPC Client (1871007270) connection to AAAAAAAAAAAAA:8020 from root sending #18 DEBUG [2018-05-17 10:51:16,205] ({IPC Client (1871007270) connection to AAAAAAAAAAAAA:8020 from root} Client.java[receiveRpcResponse]:1082) - IPC Client (187 1007270) connection to AAAAAAAAAAAAA:8020 from root got value #18 DEBUG [2018-05-17 10:51:16,205] ({pool-2-thread-4} ProtobufRpcEngine.java[invoke]:253) - Call: setPermission took 2469ms DEBUG [2018-05-17 10:51:16,208] ({IPC Parameter Sending Thread #1} Client.java[run]:1025) - IPC Client (1871007270) connection to AAAAAAAAAAAAA:8020 from root sending #19 DEBUG [2018-05-17 10:51:17,199] ({IPC Client (1871007270) connection to AAAAAAAAAAAAA:8020 from root} Client.java[receiveRpcResponse]:1082) - IPC Client (1871007270) connection toAAAAAAAAAAAAA:8020 from root got value #19 DEBUG [2018-05-17 10:51:17,200] ({pool-2-thread-4} ProtobufRpcEngine.java[invoke]:253) - Call: delete took 993ms INFO [2018-05-17 10:51:17,200] ({pool-2-thread-4} Logging.scala[logInfo]:54) - Deleted staging directory hdfs://AAAAAAAAAAAAA/user/root/.sparkStaging/application_1522841261160_288148 ERROR [2018-05-17 10:51:17,200] ({pool-2-thread-4} Logging.scala[logError]:91) - Error initializing SparkContext. java.lang.NullPointerException at scala.collection.mutable.ArrayOps$ofRef$.newBuilder$extension(ArrayOps.scala:190) at scala.collection.mutable.ArrayOps$ofRef.newBuilder(ArrayOps.scala:186) at scala.collection.TraversableLike$class.filterImpl(TraversableLike.scala:246) at scala.collection.TraversableLike$class.filter(TraversableLike.scala:259) at scala.collection.mutable.ArrayOps$ofRef.filter(ArrayOps.scala:186) at org.apache.spark.deploy.yarn.Client$$anonfun$prepareLocalResources$6.apply(Client.scala:541) at org.apache.spark.deploy.yarn.Client$$anonfun$prepareLocalResources$6.apply(Client.scala:537) at scala.collection.mutable.ArraySeq.foreach(ArraySeq.scala:74) at org.apache.spark.deploy.yarn.Client.prepareLocalResources(Client.scala:537) at org.apache.spark.deploy.yarn.Client.createContainerLaunchContext(Client.scala:882) at org.apache.spark.deploy.yarn.Client.submitApplication(Client.scala:171) at org.apache.spark.scheduler.cluster.YarnClientSchedulerBackend.start(YarnClientSchedulerBackend.scala:56) at org.apache.spark.scheduler.TaskSchedulerImpl.start(TaskSchedulerImpl.scala:156) at org.apache.spark.SparkContext.<init>(SparkContext.scala:509) at org.apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2320) at org.apache.spark.sql.SparkSession$Builder$$anonfun$6.apply(SparkSession.scala:868) at org.apache.spark.sql.SparkSession$Builder$$anonfun$6.apply(SparkSession.scala:860) at scala.Option.getOrElse(Option.scala:121) at org.apache.spark.sql.SparkSession$Builder.getOrCreate(SparkSession.scala:860) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:498) at org.apache.zeppelin.spark.Utils.invokeMethod(Utils.java:38) at org.apache.zeppelin.spark.Utils.invokeMethod(Utils.java:33) at org.apache.zeppelin.spark.SparkInterpreter.createSparkSession(SparkInterpreter.java:371) at org.apache.zeppelin.spark.SparkInterpreter.getSparkSession(SparkInterpreter.java:233) at org.apache.zeppelin.spark.SparkInterpreter.open(SparkInterpreter.java:826) at org.apache.zeppelin.interpreter.LazyOpenInterpreter.open(LazyOpenInterpreter.java:70) a

t org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer$InterpretJob.jobRun(RemoteInterpreterServer.java:491) at org.apache.zeppelin.scheduler.Job.run(Job.java:175) at org.apache.zeppelin.scheduler.FIFOScheduler$1.run(FIFOScheduler.java:139) at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511) at java.util.concurrent.FutureTask.run(FutureTask.java:266) at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:180) at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) at java.lang.Thread.run(Thread.java:748) DEBUG [2018-05-17 10:51:17,201] ({pool-2-thread-4} AbstractLifeCycle.java[setStopping]:194) - stopping org.spark_project.jetty.server.Server@6bc264b1 DEBUG [2018-05-17 10:51:17,201] ({pool-2-thread-4} Server.java[doStop]:418) - Graceful shutdown org.spark_project.jetty.server.Server@6bc264b1 by DEBUG [2018-05-17 10:51:17,202] ({pool-2-thread-4} AbstractLifeCycle.java[setStopping]:194) - stopping Spark@34e6e87e{HTTP/1.1}{0.0.0.0:4040} DEBUG [2018-05-17 10:51:17,202] ({pool-2-thread-4} AbstractLifeCycle.java[setStopping]:194) - stopping org.spark_project.jetty.server.ServerConnector$ServerConnectorManager@627ae61c DEBUG [2018-05-17 10:51:17,202] ({pool-2-thread-4} AbstractLifeCycle.java[setStopping]:194) - stopping org.spark_project.jetty.io.SelectorManager$ManagedSelector@42f7ec7a keys=0 selected=0 DEBUG [2018-05-17 10:51:17,202] ({pool-2-thread-4} SelectorManager.java[doStop]:433) - Stopping org.spark_project.jetty.io.SelectorManager$ManagedSelector@42f7ec7a keys=0 selected=0 DEBUG [2018-05-17 10:51:17,202] ({pool-2-thread-4} SelectorManager.java[submit]:481) - Queued change org.spark_project.jetty.io.SelectorManager$ManagedSelector$Stop@18075a7 DEBUG [2018-05-17 10:51:17,203] ({SparkUI-217-selector-ServerConnectorManager@627ae61c/0} SelectorManager.java[select]:603) - Selector loop woken up from select, 0/0 selected DEBUG [2018-05-17 10:51:17,203] ({SparkUI-217-selector-ServerConnectorManager@627ae61c/0} SelectorManager.java[runChange]:526) - Running change org.spark_project.jetty.io.SelectorManager$ManagedSelector$Stop@18075a7 ​ ​ INFO [2018-05-17 10:51:17,282] ({pool-2-thread-4} Logging.scala[logInfo]:54) - Stopped Spark web UI at http://172.18.0.5:4040 WARN [2018-05-17 10:51:17,319] ({dispatcher-event-loop-1} Logging.scala[logWarning]:66) - Attempted to request executors before the AM has registered! DEBUG [2018-05-17 10:51:17,320] ({pool-2-thread-4} AbstractService.java[enterState]:452) - Service: org.apache.hadoop.yarn.client.api.impl.YarnClientImpl entered state STOPPED DEBUG [2018-05-17 10:51:17,321] ({pool-2-thread-4} ClientCache.java[stopClient]:97) - stopping client from cache: org.apache.hadoop.ipc.Client@7620c018 INFO [2018-05-17 10:51:17,321] ({pool-2-thread-4} Logging.scala[logInfo]:54) - Stopped INFO [2018-05-17 10:51:17,322] ({dispatcher-event-loop-2} Logging.scala[logInfo]:54) - MapOutputTrackerMasterEndpoint stopped! INFO [2018-05-17 10:51:17,323] ({pool-2-thread-4} Logging.scala[logInfo]:54) - MemoryStore cleared INFO [2018-05-17 10:51:17,323] ({pool-2-thread-4} Logging.scala[logInfo]:54) - BlockManager stopped INFO [2018-05-17 10:51:17,324] ({pool-2-thread-4} Logging.scala[logInfo]:54) - BlockManagerMaster stopped WARN [2018-05-17 10:51:17,324] ({pool-2-thread-4} Logging.scala[logWarning]:66) - Stopping a MetricsSystem that is not running INFO [2018-05-17 10:51:17,324] ({dispatcher-event-loop-0} Logging.scala[logInfo]:54) - OutputCommitCoordinator stopped! INFO [2018-05-17 10:51:17,328] ({pool-2-thread-4} Logging.scala[logInfo]:54) - Successfully stopped SparkContext ERROR [2018-05-17 10:51:17,328] ({pool-2-thread-4} Utils.java[invokeMethod]:40) - java.lang.reflect.InvocationTargetException at sun.reflect.NativeMethodAccessorImpl.invoke0(Nati

eterServer.java:491) at org.apache.zeppelin.scheduler.Job.run(Job.java:175) at org.apache.zeppelin.scheduler.FIFOScheduler$1.run(FIFOScheduler.java:139) at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511) at java.util.concurrent.FutureTask.run(FutureTask.java:266) at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:180) at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) at java.lang.Thread.run(Thread.java:748) INFO [2018-05-17 10:51:17,330] ({pool-2-thread-4} SchedulerFactory.java[jobFinished]:137) - Job remoteInterpretJob_1526543464400 finished by scheduler org.apache.zeppelin.spark.SparkInterpreter1929622239 `

ve Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:498) at org.apache.zeppelin.spark.Utils.invokeMethod(Utils.java:38) at org.apache.zeppelin.spark.Utils.invokeMethod(Utils.java:33) at org.apache.zeppelin.spark.SparkInterpreter.createSparkSession(SparkInterpreter.java:371) at org.apache.zeppelin.spark.SparkInterpreter.getSparkSession(SparkInterpreter.java:233) at org.apache.zeppelin.spark.SparkInterpreter.open(SparkInterpreter.java:826) at org.apache.zeppelin.interpreter.LazyOpenInterpreter.open(LazyOpenInterpreter.java:70) at org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer$InterpretJob.jobRun(RemoteInterpreterServer.java:491) at org.apache.zeppelin.scheduler.Job.run(Job.java:175) at org.apache.zeppelin.scheduler.FIFOScheduler$1.run(FIFOScheduler.java:139) at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511) at java.util.concurrent.FutureTask.run(FutureTask.java:266) at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:180) at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) at java.lang.Thread.run(Thread.java:748) Caused by: java.lang.NullPointerException at scala.collection.mutable.ArrayOps$ofRef$.newBuilder$extension(ArrayOps.scala:190) at scala.co llection.mutable.ArrayOps$ofRef.newBuilder(ArrayOps.scala:186) at scala.collection.TraversableLike$class.filterImpl(TraversableLike.scala:246) at scala.collection.TraversableLike$class.filter(TraversableLike.scala:259) at scala.collection.mutable.ArrayOps$ofRef.filter(ArrayOps.scala:186) at org.apache.spark.deploy.yarn.Client$$anonfun$prepareLocalResources$6.apply(Client.scala:541) at org.apache.spark.deploy.yarn.Client$$anonfun$prepareLocalResources$6.apply(Client.scala:537) at scala.collection.mutable.ArraySeq.foreach(ArraySeq.scala:74) at org.apache.spark.deploy.yarn.Client.prepareLocalResources(Client.scala:537) at org.apache.spark.deploy.yarn.Client.createContainerLaunchContext(Client.scala:882) at org.apache.spark.deploy.yarn.Client.submitApplication(Client.scala:171) at org.apache.spark.scheduler.cluster.YarnClientSchedulerBackend.start(YarnClientSchedulerBackend.scala:56) at org.apache.spark.scheduler.TaskSchedulerImpl.start(TaskSchedulerImpl.scala:156) at org.apache.spark.SparkContext.<init>(SparkContext.scala:509) at org.apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2320) at org.apache.spark.sql.SparkSession$Builder$$anonfun$6.apply(SparkSession.scala:868) at org.apache.spark.sql.SparkSession$Builder$$anonfun$6.apply(SparkSession.scala:860) at scala.Option.getOrElse(Option.scala:121) at org.apache.spark.sql.SparkSession$Builder.getOrCreate(SparkSession.scala:860) ... 20 more INFO [2018-05-17 10:51:17,329] ({pool-2-thread-4} SparkInterpreter.java[createSparkSession]:372) - Created Spark session ERROR [2018-05-17 10:51:17,329] ({pool-2-thread-4} Job.java[run]:181) - Job failed java.lang.NullPointerException at org.apache.zeppelin.spark.Utils.invokeMethod(Utils.java:38) at org.apache.zeppelin.spark.Utils.invokeMethod(Utils.java:33) at org.apache.zeppelin.spark.SparkInterpreter.createSparkContext_2(SparkInterpreter.java:391) at org.apache.zeppelin.spark.SparkInterpreter.createSparkContext(SparkInterpreter.java:380) at org.apache.zeppelin.spark.SparkInterpreter.getSparkContext(SparkInterpreter.java:146) at org.apache.zeppelin.spark.SparkInterpreter.open(SparkInterpreter.java:828) at org.apache.zeppelin.interpreter.LazyOpenInterpreter.open(LazyOpenInterpreter.java:70) at org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer$InterpretJob.jobRun(RemoteInterpr

Куски лога

Grigory
17.05.2018
09:15:45
а если ты в настройках интерпретатора вместо ярна заюзаешь local[*] работать будет?

ну чисто из интереса проверь

Polina
17.05.2018
09:20:20
Угу, он синтаксис хотя бы проверил)

Grigory
17.05.2018
09:20:31
отлично

думаю дело в ярне

не засетаплена HADOOP_CONF_DIR

и скорее всего yarn.application.classpath в ярн сайте

Google
Grigory
17.05.2018
09:20:59
ну догадки ^

типа у него либ не хватает заставить чтото работать

Polina
17.05.2018
09:21:08
Ок, спасибо большое!

Эшер
17.05.2018
09:21:18
Куски лога
в pastebin лучше подобное засовывать и сюда только ссылку

Polina
17.05.2018
09:28:54
Проверила конфиги, они из паппета одинаково приехали :D как на тачку где всё работает, так и в докер

Это разные машины, но они смотрят на один хадуп

Grigory
17.05.2018
09:29:50
ясно в итоге в чем дело то или нет а то не понятно

Евгений
17.05.2018
09:32:58


А можно конфиг сабмита посмотреть?

Polina
17.05.2018
09:34:59
А как его посмотреть?)

Евгений
17.05.2018
09:35:14
Ну, какие в запилине настройки проставлены

В интерпретаторе

Polina
17.05.2018
09:39:07
Настройки одинаковые как в докере, как и на машине Могу скинуть Настройки Спарка нужны?

Евгений
17.05.2018
09:41:46
Да

Kirby
17.05.2018
09:47:06
подскажите, что на интервью реально могут спросить на позицию с hadoop/bash и питон для пайплайнов в продуктовую компанию? Гуглится только детский сад какой-то. Знаю, что будет сложнее. До этого собесы конечно были, но на другие позиции.

Polina
17.05.2018
09:47:58
args master yarn-client spark.app.name Zeppelin spark.cores.max 100 spark.executor.instances 100 spark.executor.memory spark.yarn.queue default zeppelin.R.cmd R zeppelin.R.image.width 100% zeppelin.R.knitr true zeppelin.R.render.options out.format = 'html', comment = NA, echo = FALSE, results = 'asis', message = F, warning = F zeppelin.dep.additionalRemoteRepository spark-packages,http://dl.bintray.com/spark-packages/maven,false; zeppelin.dep.localrepo local-repo zeppelin.interpreter.localRepo /usr/local/zeppelin/local-repo/2DD5716CG zeppelin.interpreter.output.limit 102400 zeppelin.pyspark.python python2.7 zeppelin.spark.concurrentSQL false zeppelin.spark.importImplicit true zeppelin.spark.maxResult 1000 zeppelin.spark.printREPLOutput true zeppelin.spark.sql.stacktrace false zeppelin.spark.useHiveContext false

Евгений
17.05.2018
09:50:37
Хм, вроде ничего такого особенного, из-за чего могли бы быть проблемы

Google
Kirby
17.05.2018
09:52:26
пасиб

Антон
17.05.2018
10:07:48
#job Крупной компании нефтехимической отрасли требуются инженер-разработчики. Требования к кандидату ниже. В случае появления вопросов пишите в личку. Условия и задачи интересные. Вилка по рынку. Подробнее о направлении работы: h_t_t_p://hh.ru/article/312408?hash=34b4486f82965d4f9a0540e2546f4ba7. Основная деятельность: • Автоматизация операционных аналитических задач; • Создание, поддержка, оптимизация моделей хранения данных; • Разработка и оптимизация алгоритмов анализа данных; • Интеграция данных в КХД; • Интеграция BigData решений c сторонними системами; • Разработка интерфейсов доступа к данным; Образование: Высшее техническое, желательно профильное (вычислительная математика, теория алгоритмов, программирование, прикладная математика, эконометрика, системный анализ и тому подобные специальности) Опыт работы по специальности • В Интернет - компаниях / в подразделениях операторских компаний, занимающихся Интернет – бизнесом / в компаниях – разработчиках ПО / В подразделениях компаний, занимающихся построением систем обработки данных • Опыт работы архитектора/разработчика для линейки Big Data от 3 лет Практический опыт • Проектирование, запуск и обслуживание систем обработки больших данных; • Разработка механизмов обработки потоков данных; • Разработка механизмов пакетного анализа данных; • Знание технических принципов обработки Big data, понимание основных этапов обработки и анализа данных, инструментов и методов, применяемых в этой области; • Работа с продуктами линейки Cloudera; • Архитектурное и практическое понимание MPP систем и реляционных БД (понимание принципов и паттернов организации хранилищ данных); • Опыт работы с большими массивами структурированных и не структурированных данных; • Опыт работы по построению дизайнов моделей данных; • Опыт работы с инструментами визуализации данных; Квалификация и опыт разработчика ПО • Знание высокоуровневых языков программирования (Python, Scala, Java, в части ETL задач и анализа данных); • Продвинутое знание SQL; • Знание языка программирования или дополнительных библиотек для статистической обработки данных и работы с графикой (R Language, Python (Pandas, matplotlib, numpy, scikit-learn, MPLib); • Знания алгоритмов в сфере высоконагруженной обработки данных при помощи распределённых вычислений (MR); • Умение работы с Avro, Parquet форматом данных; • Умение работы с распределенным хранилищем HDFS; • Знание и умение работы ETL инструментами.; • Знание и умение работы с MQ (Kafka, RabbitMQ).; • Понимание и умение работы с стеком продуктов: Spark, Spark Streaming, HBase, Impapa, Hive, ES, Pig, Flink, PyData; • Умение разрабатывать UDF для различных сред анализа данных; • Знание и умение работать с RDBMS, MPP, noSQL баз данных; • Знание интерфейсов, методов управления разработкой и конфигурациями. Дополнительно • Знание английского языка на уровне чтения технической документации, на разговорном уровне дополнительный плюс. • Отличные аналитические навыки, способность видеть новые пути решения задач Желательно • Опыт внедрения систем/продуктов по работе с Big Data

Dmitry
17.05.2018
10:09:12
AMQP != Kafka

и даже вилки нет

Антон
17.05.2018
10:11:15
В личку все вопросы. Вилка по рынку, хорошие условия от кандидата зависит.

спс, сделал

Dmitry
17.05.2018
10:12:11
Ну тут так то принято вилку озвучивать

Но конечно, у сибура звездный состав: Тимченко, Михельсон, Шамалов

Daniel
17.05.2018
10:17:03
а зачем ссылку надо было делать h_t_t_p?

Dmitry
17.05.2018
10:17:26
Был кстати чувак один, Гордин, он нашу с Кривдой кафедру закончил

Антон
17.05.2018
10:17:30
а зачем ссылку надо было делать h_t_t_p?
Телеграмм ссылки подгружает ?

Dmitry
17.05.2018
10:17:32
лол

Grigory
17.05.2018
10:18:19
ну картиночки грузит да

Daniel
17.05.2018
10:18:21
Телеграмм ссылки подгружает ?
ох уж эти проблемы нефтянки

Евгений
17.05.2018
10:22:26
ve Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:498) at org.apache.zeppelin.spark.Utils.invokeMethod(Utils.java:38) at org.apache.zeppelin.spark.Utils.invokeMethod(Utils.java:33) at org.apache.zeppelin.spark.SparkInterpreter.createSparkSession(SparkInterpreter.java:371) at org.apache.zeppelin.spark.SparkInterpreter.getSparkSession(SparkInterpreter.java:233) at org.apache.zeppelin.spark.SparkInterpreter.open(SparkInterpreter.java:826) at org.apache.zeppelin.interpreter.LazyOpenInterpreter.open(LazyOpenInterpreter.java:70) at org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer$InterpretJob.jobRun(RemoteInterpreterServer.java:491) at org.apache.zeppelin.scheduler.Job.run(Job.java:175) at org.apache.zeppelin.scheduler.FIFOScheduler$1.run(FIFOScheduler.java:139) at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511) at java.util.concurrent.FutureTask.run(FutureTask.java:266) at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:180) at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) at java.lang.Thread.run(Thread.java:748) Caused by: java.lang.NullPointerException at scala.collection.mutable.ArrayOps$ofRef$.newBuilder$extension(ArrayOps.scala:190) at scala.co llection.mutable.ArrayOps$ofRef.newBuilder(ArrayOps.scala:186) at scala.collection.TraversableLike$class.filterImpl(TraversableLike.scala:246) at scala.collection.TraversableLike$class.filter(TraversableLike.scala:259) at scala.collection.mutable.ArrayOps$ofRef.filter(ArrayOps.scala:186) at org.apache.spark.deploy.yarn.Client$$anonfun$prepareLocalResources$6.apply(Client.scala:541) at org.apache.spark.deploy.yarn.Client$$anonfun$prepareLocalResources$6.apply(Client.scala:537) at scala.collection.mutable.ArraySeq.foreach(ArraySeq.scala:74) at org.apache.spark.deploy.yarn.Client.prepareLocalResources(Client.scala:537) at org.apache.spark.deploy.yarn.Client.createContainerLaunchContext(Client.scala:882) at org.apache.spark.deploy.yarn.Client.submitApplication(Client.scala:171) at org.apache.spark.scheduler.cluster.YarnClientSchedulerBackend.start(YarnClientSchedulerBackend.scala:56) at org.apache.spark.scheduler.TaskSchedulerImpl.start(TaskSchedulerImpl.scala:156) at org.apache.spark.SparkContext.<init>(SparkContext.scala:509) at org.apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2320) at org.apache.spark.sql.SparkSession$Builder$$anonfun$6.apply(SparkSession.scala:868) at org.apache.spark.sql.SparkSession$Builder$$anonfun$6.apply(SparkSession.scala:860) at scala.Option.getOrElse(Option.scala:121) at org.apache.spark.sql.SparkSession$Builder.getOrCreate(SparkSession.scala:860) ... 20 more INFO [2018-05-17 10:51:17,329] ({pool-2-thread-4} SparkInterpreter.java[createSparkSession]:372) - Created Spark session ERROR [2018-05-17 10:51:17,329] ({pool-2-thread-4} Job.java[run]:181) - Job failed java.lang.NullPointerException at org.apache.zeppelin.spark.Utils.invokeMethod(Utils.java:38) at org.apache.zeppelin.spark.Utils.invokeMethod(Utils.java:33) at org.apache.zeppelin.spark.SparkInterpreter.createSparkContext_2(SparkInterpreter.java:391) at org.apache.zeppelin.spark.SparkInterpreter.createSparkContext(SparkInterpreter.java:380) at org.apache.zeppelin.spark.SparkInterpreter.getSparkContext(SparkInterpreter.java:146) at org.apache.zeppelin.spark.SparkInterpreter.open(SparkInterpreter.java:828) at org.apache.zeppelin.interpreter.LazyOpenInterpreter.open(LazyOpenInterpreter.java:70) at org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer$InterpretJob.jobRun(RemoteInterpr
Такое ощущение, что сабмит от рута запускается, так ли это?

Спарк от рута не хочет работать вроде

Polina
17.05.2018
10:39:49
Спарк от рута не хочет работать вроде
Это внутри докера Докер тупа рут Попробую другого пользака)

Евгений
17.05.2018
10:40:55
От zeppelin

Anastasia
17.05.2018
10:42:21
Телеграмм ссылки подгружает ?
а нажать крестик на ссылке подгруженной перед отправкой-не?)

Polina
17.05.2018
12:47:40
spark_env.sh был примонтирован не туда куда надо В нем был HADOOP_HOME, который не находился спарком Но всё это только после рестарта цеппелина под пользователем zeppelin, от рута в докере он работать никак не хотел Домонтирую и отпишусь

Google
Polina
17.05.2018
12:57:55
программист

Artem
17.05.2018
12:59:16
Питон?

Polina
17.05.2018
12:59:29
+

KrivdaAllStars
17.05.2018
13:38:58
Теперь вы инженер

Admin


Polina
17.05.2018
13:50:39
ещё нет :D DEBUG [2018-05-17 16:48:43,715] ({pool-2-thread-7} Logging.scala[logDebug]:58) - client token: N/A diagnostics: N/A ApplicationMaster host: N/A ApplicationMaster RPC port: -1 queue: root.default start time: 1526564886285 final status: UNDEFINED tracking URL: http://NN:8088/proxy/application_1522841261160_290222/ user: rootспарк пытается запустить джобу от рута и она пожизненно остаётся в UNDEFINED) ресурсы на кластере есть и ОЗУ и ЦПУ

Евгений
17.05.2018
14:00:07
Андефайнед это норм

Polina
17.05.2018
14:01:30
оно так висит минут 10 и киляется) мне кажется, что это не очень норм ?

Евгений
17.05.2018
14:08:36
От рута это не норм

А запилин уже не от рута запущен?

Polina
17.05.2018
14:10:21
в компоузе написано от zeppelin другой вопрос - докатилось ли оно)

выглядит так как будто от рута

Евгений
17.05.2018
14:19:54
Руту ресурсы просто не выдают

Там ещё в hdfs core-site.xml нужно прописывать хосты

Для того юзера, который запускает ярн приложение

Может в этом как раз проблема

Для рута не прописаны

hadoop.proxyuser.<user>.hosts = * hadoop.proxyuser.<user>.groups = *

Это в core-site.xml, и перезагрузить хдфс и ярн

Google
Евгений
17.05.2018
14:31:01
Тогда можно и из-под рута будет запустить

Polina
17.05.2018
14:31:32
это странно, но не в докере тоже от рута

и всё работает ?

whoamiroot

хотя в core-site root нет в проксиюзерах

Евгений
17.05.2018
14:52:24
А сабмит тоже от рута запускается?

Не в докере

Евгений
17.05.2018
15:06:10
А в самом ярне можно в аппмастер зайти?

Polina
17.05.2018
15:12:29
у того что с хоста запускали - да тот что из докера вообще в ярне отсутствует я в логах его номер нашла

похоже он до ярна не достукивается всё-таки

а, не, вру, вот он его создал ACCEPTED UNDEFINED в AM такое написано Application application_1522841261160_290685 failed 2 times due to AM Container for appattempt_1522841261160_290685_000002 exited with exitCode: 10 For more detailed output, check application tracking page:https://history_job_server/proxy/application_1522841261160_290685/Then, click on links to logs of each attempt. Diagnostics: Exception from container-launch. Container id: container_1522841261160_290685_02_000001 Exit code: 10 Stack trace: ExitCodeException exitCode=10: at org.apache.hadoop.util.Shell.runCommand(Shell.java:604) at org.apache.hadoop.util.Shell.run(Shell.java:507) at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:789) at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:213) at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:302) at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:82) at java.util.concurrent.FutureTask.run(FutureTask.java:262) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1152) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:622) at java.lang.Thread.run(Thread.java:748) Container exited with a non-zero exit code 10 Failing this attempt. Failing the application.

exit code 10 - if an uncaught exception occurred

Евгений
17.05.2018
15:28:05
А yarn logs совсем никак не работает?

Страница 100 из 182