Всем привет ? 0) есть spark-streaming жоба которая пишет в хайв 1) сначала она была в client моде и все работало … 2) … пока не пришел cluster мод и начал падать с Table or view not found 3) гугл подсказал сделать --files /etc/hive/conf/hive-site.xml но теперь падает с IllegalArgumentException: u"Error while instantiating 'org.apache.spark.sql.hive.HiveSessionState’: на моменте инициализации HiveContext spark 2.1.0

как собран ? ввпечатление, что джарника явно не хватает

Всем привет ? 0) есть spark-streaming жоба которая пишет в хайв 1) сначала она была в client моде и все работало … 2) … пока не пришел cluster мод и начал падать с Table or view not found 3) гугл подсказал сделать --files /etc/hive/conf/hive-site.xml но теперь падает с IllegalArgumentException: u"Error while instantiating 'org.apache.spark.sql.hive.HiveSessionState’: на моменте инициализации HiveContext spark 2.1.0

https://issues.apache.org/jira/browse/SPARK-20256

вообще много разных ссылок и багов гугол выдал по такой проблеме )

Именно что много, но большинство не подходят ибо в client-mode все работает

Именно что много, но большинство не подходят ибо в client-mode все работает

джарки точно видит? есть возможность хайвовые джарки с сабмитом передать?

spark-submit \ --class com.github.gbraccialli.spark.HiveCommand \ --master yarn-cluster \ --num-executors 1 \ --driver-memory 1g \ --executor-memory 1g \ --executor-cores 1 \ --files /usr/hdp/current/spark-client/conf/hive-site.xml \ --jars /usr/hdp/current/spark-client/lib/datanucleus-api-jdo-3.2.6.jar,/usr/hdp/current/spark-client/lib/datanucleus-rdbms-3.2.9.jar,/usr/hdp/current/spark-client/lib/datanucleus-core-3.2.10.jar \

датануклеус еще

https://community.hortonworks.com/questions/5798/spark-hive-tables-not-found-when-running-in-yarn-c.html

известная проблема

:)

джарники прокидывались, датануклеус не помог помогла смена etc/hive/conf/hive-site.xml на /usr/hdp/current/spark-client/conf/hive-site.xml хотя я целенаправленно думал что первый лучше (в нем 780 строк, против 10 строк второго)

джарники прокидывались, датануклеус не помог помогла смена etc/hive/conf/hive-site.xml на /usr/hdp/current/spark-client/conf/hive-site.xml хотя я целенаправленно думал что первый лучше (в нем 780 строк, против 10 строк второго)

Sad

Хозяйке на заметку: cron driven деплой плох тем, что можно столкнуться с ограничением количества тредов на пользователя под которым куча задач запускается

https://datamoth.github.io

Для батч джобов.

https://datamoth.github.io

не увидел на лендинге, там есть планировщик?

Oozie как планировщик

Для батч джобов.

я думаю на эирфлоу перейдем все таки

Джобы на чём пишете?

на скале и хайве

в основном три вещи, хайв, спрак, спарк стриминг

да мы тож на эирфлоу

https://datamoth.github.io

но я посмотрю, спасибо

но я не знаю истиных причин, мое мнение что команда бывших питонистов просто в проекте

но мы их всех на скалу перетащили

да мы тож на эирфлоу

у меня руки не доходят, с я даже не пока не знаю сколько железа нужно

у меня руки не доходят, с я даже не пока не знаю сколько железа нужно

эт петон там все ez pz

но он конечно может выжрать дофига

но для старта что угодно подойдет а там по ситуации посмотришь

но я посмотрю, спасибо

деплой компилируемых вещей пока еще не сделан

у нас aws батч и емр жобы им шедулятся всякие даги не самые простые со статуами разными и ветками тыры пыры

сам эирфлоу в контейнерах

у нас aws батч и емр жобы им шедулятся всякие даги не самые простые со статуами разными и ветками тыры пыры

для aws вообще как бы все хорошо

там безос за всех побеспокоился , как я понял

безос?

а https://ru.wikipedia.org/wiki/%D0%91%D0%B5%D0%B7%D0%BE%D1%81,_%D0%94%D0%B6%D0%B5%D1%84%D1%84

а

Кто-то сталкивался с relaxLocality для ResourceRequest в YARN? Я пытаюсь отправить АМ на определённую ноду, а эта штука ни в какую

коллеги, кто юзал https://toree.apache.org

мы используем

и на скаламитапе московском мой ноутбук был жупитер с этим кернелом

кул, а запись есть?

не понял пока как депенденси добавлять

гихаб есть)

сча

https://github.com/pomadchin/geotrellis-gis-on-scala

там чет дока еле живая

@pomadchin можешь сказать куда смотреть если мне например хочется котов затащить

@pomadchin можешь сказать куда смотреть если мне например хочется котов затащить

https://github.com/pomadchin/geotrellis-gis-on-scala/blob/master/scripts/build.sh#L27

но это старый тори)

у нас сча что-то новое и я точно не знаю как оно там живет. Должно быть не сложно тоже

мне зеппелин прост удобнее; не надо ждать долго пока емр бутстрапнет ноды

ну я просто натнкулся на убер докер от юпитера

там и питончик и скалка

и вот это вот все

хотел поробовать

знатоки говорят тори лучше чем зепедин

какпо мне тут Эксобар прав больше

Зепелин убогий, по крайней мере чем spark-notebook

да похоже на то

жупитер какой-то более гибкий посоны карту в него встроили и рил тайм ее рисуют

Зепелин убогий, по крайней мере чем spark-notebook

Правда у последнего убогая дока

ну у тори доки счиатай нет

или я не там смотрел?

честно говооря - мне вообще все доки этих нотбукво кажутся ниоч и аутдейтед.

я просто хотел в датасайнс поиграть чутка

но от питона меня воротит

scala one love

но от питона меня воротит

а придецца

да уж

да не обязательно зависит от задач

есть же плюсы, р, джулия, джава/скала, луа

и наверняка го, простопотому что все остальное с фатальным недостатком

ну р никак не лучше питона

@pomadchin у тебя весь апач стек?

@gurinderu wat?

Ну у тебя все продукты апача юзаются? Просто куда не ткни у тебя это есть

мафия опенсорса просто

А dcos почему не привёз?

да он не всрался просто

ну в смсле не панацея)

Ну вообще мезос экзекутор наверное штука не плохая

я немного ушел в сторону архитектуры ферймворка и всякого такого а не оркестровки

Учитывая что ты Спарком обмазан

мммм не совсем

Ну вообще мезос экзекутор наверное штука не плохая

ярн лучше

не помню что именно но мезос хоть и интересный но ярн нам лучше подошел; хотя конечно же возможно не так говтоил его

ярн лучше

Ага)

Чем вам ярн лучше подошёл?

во первых потому что хайв с ним работает и ещё добрая половина фреймворков