мож и правда чтото не докинуто

в логах нашлось такое 18/05/17 18:12:24 DEBUG Shell: Failed to detect a valid hadoop home directory java.io.IOException: HADOOP_HOME or hadoop.home.dir are not set. at org.apache.hadoop.util.Shell.checkHadoopHome(Shell.java:302) at org.apache.hadoop.util.Shell.<clinit>(Shell.java:327) at org.apache.hadoop.util.StringUtils.<clinit>(StringUtils.java:79) at org.apache.hadoop.yarn.conf.YarnConfiguration.<clinit>(YarnConfiguration.java:601) at org.apache.spark.deploy.yarn.YarnSparkHadoopUtil.newConfiguration(YarnSparkHadoopUtil.scala:64) at org.apache.spark.deploy.SparkHadoopUtil.<init>(SparkHadoopUtil.scala:50) at org.apache.spark.deploy.yarn.YarnSparkHadoopUtil.<init>(YarnSparkHadoopUtil.scala:49) at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method) at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57) at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45) at java.lang.reflect.Constructor.newInstance(Constructor.java:526) at java.lang.Class.newInstance(Class.java:383) at org.apache.spark.deploy.SparkHadoopUtil$.liftedTree1$1(SparkHadoopUtil.scala:387) at org.apache.spark.deploy.SparkHadoopUtil$.yarn$lzycompute(SparkHadoopUtil.scala:385) at org.apache.spark.deploy.SparkHadoopUtil$.yarn(SparkHadoopUtil.scala:385) at org.apache.spark.deploy.SparkHadoopUtil$.get(SparkHadoopUtil.scala:410) at org.apache.spark.deploy.yarn.ApplicationMaster$.main(ApplicationMaster.scala:764) at org.apache.spark.deploy.yarn.ExecutorLauncher$.main(ApplicationMaster.scala:787) at org.apache.spark.deploy.yarn.ExecutorLauncher.main(ApplicationMaster.scala) 18/05/17 18:12:24 DEBUG Shell: setsid exited with exit code 0опять хомяк хадупа не виден у меня он задан в /usr/local/spark/conf/spark-env.shнаверное это что-то не то, да? ? и дальше много такого 18/05/17 18:12:35 ERROR ApplicationMaster: Failed to connect to driver at 172.18.0.5:45867, retrying ... 18/05/17 18:12:35 ERROR ApplicationMaster: Failed to connect to driver at 172.18.0.5:45867, retrying ... 18/05/17 18:12:35 ERROR ApplicationMaster: Failed to connect to driver at 172.18.0.5:45867, retrying ... 18/05/17 18:12:36 ERROR ApplicationMaster: Failed to connect to driver at 172.18.0.5:45867, retrying ...172.18.0.5 - ip контейнера

сейчас поменяю бридж на хост, но у меня не всегда компоуз рестартится)

в логах нашлось такое 18/05/17 18:12:24 DEBUG Shell: Failed to detect a valid hadoop home directory java.io.IOException: HADOOP_HOME or hadoop.home.dir are not set. at org.apache.hadoop.util.Shell.checkHadoopHome(Shell.java:302) at org.apache.hadoop.util.Shell.<clinit>(Shell.java:327) at org.apache.hadoop.util.StringUtils.<clinit>(StringUtils.java:79) at org.apache.hadoop.yarn.conf.YarnConfiguration.<clinit>(YarnConfiguration.java:601) at org.apache.spark.deploy.yarn.YarnSparkHadoopUtil.newConfiguration(YarnSparkHadoopUtil.scala:64) at org.apache.spark.deploy.SparkHadoopUtil.<init>(SparkHadoopUtil.scala:50) at org.apache.spark.deploy.yarn.YarnSparkHadoopUtil.<init>(YarnSparkHadoopUtil.scala:49) at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method) at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57) at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45) at java.lang.reflect.Constructor.newInstance(Constructor.java:526) at java.lang.Class.newInstance(Class.java:383) at org.apache.spark.deploy.SparkHadoopUtil$.liftedTree1$1(SparkHadoopUtil.scala:387) at org.apache.spark.deploy.SparkHadoopUtil$.yarn$lzycompute(SparkHadoopUtil.scala:385) at org.apache.spark.deploy.SparkHadoopUtil$.yarn(SparkHadoopUtil.scala:385) at org.apache.spark.deploy.SparkHadoopUtil$.get(SparkHadoopUtil.scala:410) at org.apache.spark.deploy.yarn.ApplicationMaster$.main(ApplicationMaster.scala:764) at org.apache.spark.deploy.yarn.ExecutorLauncher$.main(ApplicationMaster.scala:787) at org.apache.spark.deploy.yarn.ExecutorLauncher.main(ApplicationMaster.scala) 18/05/17 18:12:24 DEBUG Shell: setsid exited with exit code 0опять хомяк хадупа не виден у меня он задан в /usr/local/spark/conf/spark-env.shнаверное это что-то не то, да? ? и дальше много такого 18/05/17 18:12:35 ERROR ApplicationMaster: Failed to connect to driver at 172.18.0.5:45867, retrying ... 18/05/17 18:12:35 ERROR ApplicationMaster: Failed to connect to driver at 172.18.0.5:45867, retrying ... 18/05/17 18:12:35 ERROR ApplicationMaster: Failed to connect to driver at 172.18.0.5:45867, retrying ... 18/05/17 18:12:36 ERROR ApplicationMaster: Failed to connect to driver at 172.18.0.5:45867, retrying ...172.18.0.5 - ip контейнера

Я в такие моменты начинаю втыкать параметры во все конфиги, в которые их можно воткнуть, а потом, если заработало, то убираю по одному, пока не перестанет работать)

я уже в хадуп-енв влепила :D и тут кончилась тачка под докером))

Всем привет! Давно не слышались. Вчера вел переговоры с новой площадкой, которая готова взять на себя расходы и заботы, чтоб привезти на Moscow Spark какую-нибудь звезду. В связи с этим я еще раз кидаю клич и прошу накидывать варианты, кого бы вы хотели увидеть-услышать-выпить пива?

Matei Zaharia

день третий поднимаем спарк в докере сводки с фронта https://pastebin.com/wpKBRNBk если я правильно поняла, он пытается стучаться в АМ в нули 0.0.0.0:8032

видимо, не туда приехал yarn-site.xml

Потом статью на Хабр с ссылью на рабочий образ ??

ахахха, обязательно) поможете из песочницы выбраться

hey guys where can i get USECASES or poc's for practicing in hadoop ingestion tools like pig ,flume,hive etc?

hey guys where can i get USECASES or poc's for practicing in hadoop ingestion tools like pig ,flume,hive etc?

hortonworks and cloudera webpages

день третий поднимаем спарк в докере сводки с фронта https://pastebin.com/wpKBRNBk если я правильно поняла, он пытается стучаться в АМ в нули 0.0.0.0:8032

Тоже хотели на докер переходить. И спарк в том числе. Что-то страшно после этого=)))

но можно же взять готовый зеппенлин образ

но можно же взять готовый зеппенлин образ

А может есть у кого-нибудь готовый 0.8.0 образ?)

Ну, вдруг)

Тоже хотели на докер переходить. И спарк в том числе. Что-то страшно после этого=)))

у меня просто примонтировано не туда а то что монтируется приезжает через раз) если не упарываться с CI-CD - таких проблем быть не должно, видимо

Да, у нас к этому жестких требований нет

у меня просто примонтировано не туда а то что монтируется приезжает через раз) если не упарываться с CI-CD - таких проблем быть не должно, видимо

интересно почему это делаете вы а не админ

потому что я программист инфраструктуры и хочу ?

?какие то прям ужасы, ops инженеры скор вымрут

Всем привет ещё раз и спасибо за помощь! день 4, спарк работает, цеппелин работает, пиг работает, но иногда валится pig streaming первый раз отрабатывает нормально, а на второй падает с NPE не сообщив об этом в логах интерпретатора. Помогает только рестарт интерпретатора я правильно понимаю, что второй раз он вычитывает из какого-то своего кэша результат? в чём может быть проблема, куда копать? ?

падает и в докере и на тачке

недавно обновляла пиг на 0.16.0 и ставила тез на тачке используется mapreduce, в докере тез падает везде

java.lang.NullPointerException at org.apache.pig.PigServer.registerCode(PigServer.java:658) at org.apache.pig.parser.RegisterResolver.parseRegister(RegisterResolver.java:53) at org.apache.pig.tools.grunt.GruntParser.processRegister(GruntParser.java:465) at org.apache.pig.tools.pigscript.parser.PigScriptParser.parse(PigScriptParser.java:550) at org.apache.pig.tools.grunt.GruntParser.parseStopOnError(GruntParser.java:231) at org.apache.pig.PigServer.registerScript(PigServer.java:780) at org.apache.pig.PigServer.registerScript(PigServer.java:857) at org.apache.pig.PigServer.registerScript(PigServer.java:820) at org.apache.zeppelin.pig.PigInterpreter.interpret(PigInterpreter.java:99) at org.apache.zeppelin.interpreter.LazyOpenInterpreter.interpret(LazyOpenInterpreter.java:97) at org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer$InterpretJob.jobRun(RemoteInterpreterServer.java:498) at org.apache.zeppelin.scheduler.Job.run(Job.java:175) at org.apache.zeppelin.scheduler.FIFOScheduler$1.run(FIFOScheduler.java:139) at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511) at java.util.concurrent.FutureTask.run(FutureTask.java:266) at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:180) at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) at java.lang.Thread.run(Thread.java:748)

java.lang.NullPointerException at org.apache.pig.PigServer.registerCode(PigServer.java:658) at org.apache.pig.parser.RegisterResolver.parseRegister(RegisterResolver.java:53) at org.apache.pig.tools.grunt.GruntParser.processRegister(GruntParser.java:465) at org.apache.pig.tools.pigscript.parser.PigScriptParser.parse(PigScriptParser.java:550) at org.apache.pig.tools.grunt.GruntParser.parseStopOnError(GruntParser.java:231) at org.apache.pig.PigServer.registerScript(PigServer.java:780) at org.apache.pig.PigServer.registerScript(PigServer.java:857) at org.apache.pig.PigServer.registerScript(PigServer.java:820) at org.apache.zeppelin.pig.PigInterpreter.interpret(PigInterpreter.java:99) at org.apache.zeppelin.interpreter.LazyOpenInterpreter.interpret(LazyOpenInterpreter.java:97) at org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer$InterpretJob.jobRun(RemoteInterpreterServer.java:498) at org.apache.zeppelin.scheduler.Job.run(Job.java:175) at org.apache.zeppelin.scheduler.FIFOScheduler$1.run(FIFOScheduler.java:139) at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511) at java.util.concurrent.FutureTask.run(FutureTask.java:266) at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:180) at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) at java.lang.Thread.run(Thread.java:748)

не особо информативно

ошибка выше предоставленных записей

тез 0.7?

тез 0.7?

угу

tez-0.7.1-1.el6.noarch

ошибка выше предоставленных записей

что это значит?

что это значит?

даже в субботу работают, майл ру эксплуататоры

что это значит?

то что вы не предоставили полный лог

то что вы не предоставили полный лог

подскажи, пожалуйста, где достать полный лог я скину

то что вы не предоставили полный лог

я думаю лог больше смысла было бы выложить на dpaste.com

чем сюда

в логах интерпретатора пига нет ошибки NPE

а в логах контейнера

нет контейнера и джобы

оно падает до того

в лог интерпретатора вообще ничего не пишет

java.lang.NullPointerException at org.apache.pig.PigServer.registerCode(PigServer.java:658) at org.apache.pig.parser.RegisterResolver.parseRegister(RegisterResolver.java:53) at org.apache.pig.tools.grunt.GruntParser.processRegister(GruntParser.java:465) at org.apache.pig.tools.pigscript.parser.PigScriptParser.parse(PigScriptParser.java:550) at org.apache.pig.tools.grunt.GruntParser.parseStopOnError(GruntParser.java:231) at org.apache.pig.PigServer.registerScript(PigServer.java:780) at org.apache.pig.PigServer.registerScript(PigServer.java:857) at org.apache.pig.PigServer.registerScript(PigServer.java:820) at org.apache.zeppelin.pig.PigInterpreter.interpret(PigInterpreter.java:99) at org.apache.zeppelin.interpreter.LazyOpenInterpreter.interpret(LazyOpenInterpreter.java:97) at org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer$InterpretJob.jobRun(RemoteInterpreterServer.java:498) at org.apache.zeppelin.scheduler.Job.run(Job.java:175) at org.apache.zeppelin.scheduler.FIFOScheduler$1.run(FIFOScheduler.java:139) at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511) at java.util.concurrent.FutureTask.run(FutureTask.java:266) at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:180) at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) at java.lang.Thread.run(Thread.java:748)

откуда этот лог?

предоставьте полный лог

из ячейки цеппелина

это полный

грустно

при первом запуске возвращает результат, при втором NPE угу(

пойдемте лучше наебенимся, шаббат же

final Log4jFileAppender fa = appender; final WriterAppender ptk = pigToKettleAppender; Thread runThread = new Thread() { public void run() { try { int[] executionStatus = grunt .parseStopOnError(false); logBasic(BaseMessages чтот тип такого в настройках?

Цеппелин вообще жуткое нестабильное дерьмо и перезапуск интерпретатора - это штатная операция, без которой он не работает нормально. Также как и перезапуск всего цеппелина с килянием всех Спарк процессов ( следующий этап если с интерпретатором не взлетело). У нас у каждого аналитика свой цеппелин в виртуалке, где он может перезапускать все когад угодно никому не мешая. Плюс все они перезапускаются ночью по крону полностью. Так их также удобно мониторить - кто занял кластер, кто пишет очень много аутпута и пр. вещи.

С нпе хз, много что может быть

ад какой...

Быстрый вопрос

Количество spark executors должно быть равно количеству ядер на ноде?

Количество spark executors должно быть равно количеству ядер на ноде?

Как твое сердце подскажет

Ну типо ты всего хочешь добиться? Максимальной эффективности?

Количество spark executors должно быть равно количеству ядер на ноде?

https://community.hortonworks.com/questions/56240/spark-num-executors-setting.html

spark.executor.cores = The number of cores to use on each executor

Количество spark executors должно быть равно количеству ядер на ноде?

побольше контекста

а то там как угодно можно

вон там тебе верно написали, обрати внимания на колво ядер на ехекутор и от колов ядер в кластере твоем.

а то там как угодно можно

Invalid resource request, requested virtual cores < 0, or requested virtual cores > max configured, requestedVirtualCores=4, maxVirtualCores=2 У меня по 2 CPU на ноде, всего нод 5. При параметре spark.executor.cores=4 падает ошибка выше

ну а зачем ты 4 ядра запросил при доустпных двух

каждый экзекутор ток на одной машине может быть в твоем вариант можно либо 5 экзекуторов по 2 спу каждому дать ну или 10 и каждому по одному ядру выдать

что будет быстрее от твоей задачи зависит

это при учете что эти тачки только под спарк (:

это при учете что эти тачки только под спарк (:

не-а, не только

Выходит, рабочий конфиг - только 2 в моем случае?

поч?

один можешь

один можешь

А ну, это да))

(:

Спасибо

Цеппелин вообще жуткое нестабильное дерьмо и перезапуск интерпретатора - это штатная операция, без которой он не работает нормально. Также как и перезапуск всего цеппелина с килянием всех Спарк процессов ( следующий этап если с интерпретатором не взлетело). У нас у каждого аналитика свой цеппелин в виртуалке, где он может перезапускать все когад угодно никому не мешая. Плюс все они перезапускаются ночью по крону полностью. Так их также удобно мониторить - кто занял кластер, кто пишет очень много аутпута и пр. вещи.

Там вроде можно настроить чтобы рестарт интерпретатора происходил локально на определенных тетрадочках. Хотя да, иногда лучше рубануть сразу всё :D в мире хадупа есть хоть что-то, что не забагованно чуть более чем полностью?

ад какой...

Зато тепло

Там вроде можно настроить чтобы рестарт интерпретатора происходил локально на определенных тетрадочках. Хотя да, иногда лучше рубануть сразу всё :D в мире хадупа есть хоть что-то, что не забагованно чуть более чем полностью?

как что-то может быть больше ,чем полностью?

http://lurkmore.to/Чуть_более,_чем_наполовину

Зато тепло

да и на улице уже тепло

лол што

Кубинский интернет

лол што

Ну, про чуть менее, чем полностью я в курсе =)) Но не чуть более =)

Use Google translate Или зеркала