а есть среди нас те, кто побеждал в боях с крб+спарк+кафка?

Что такое крб?

Kerberos

а есть среди нас те, кто побеждал в боях с крб+спарк+кафка?

а какие проблемы там?

на керберосе кубер поднимай и в кубере спарки и кафки

ну вы понели

на керберосе кубер поднимай и в кубере спарки и кафки

Лол

А нах вообще Керберос

а какие проблемы там?

при создании стрима вываливается в странные ошибки типа EOFException

А нах вообще Керберос

разврат любят

при создании стрима вываливается в странные ошибки типа EOFException

а какая разница то, докеризировано все пускаешь там как обычные спарки кафки но ток в контейнерах

а какая разница то, докеризировано все пускаешь там как обычные спарки кафки но ток в контейнерах

не ну хочется нативно все сделать - оно же вроде как поддерживает ?

даже в интернетах у людей получалось

А нах вообще Керберос

банки любят керберос

а какая разница то, докеризировано все пускаешь там как обычные спарки кафки но ток в контейнерах

ну есть разница, нужно уметь некоторые ключи

да я пошутил прост неудачно

иначе будут с оом падать )

мммм в крадце у меня не было проблем

просто в локалке запер

носекурно

а какие ошибки кербероса?

ты мог не ограничивать контеинер по памяти

ты мог не ограничивать контеинер по памяти

... это было про кубер ... абстрактность

а какие ошибки кербероса?

если бы до кербероса дело дошло)

оно валится раньше

а покажи пример ошибки

название банка можно вырезать @gurinderu

o.a.s.SparkException: java.io.EOFException: Received -1 when reading from channel, socket has likely been closed

вообщем не оч информативно

а это когда мастер стартуешь или когда слейв ноды?

когда только создание стрима идет

на драйвере

т.е. кластер норм работает?

да, есессна)

а шелл как работает? драйвер в той же сети?

коллеги, с Azure DataLake Analytics кто-нибудь дело имел? какое-то оно адово медленное, если использовать свой managed код в job-е

как драйвер запущен? эт спарк сабмит или конектишся к мастеру

да, тут все ок. Кластер боевой, работает уже больше года. Крб+спарк + остальное норм работает

спарк-сабмит ярн-клиент в шелле и ярн-кластер не в шелле

А может в секпоинтах чтото старое

при этом нифи прикрутили чтобы он в керберизированную кафку писал и читал

а вот спарк чото не хочет)

*чекпоинтах

А может в секпоинтах чтото старое

до чекпоинтов не доходит)

@pomadchin чет спарк настраивать на мезосе заипался

может local[*] воткнуть)

Я не про сохранение а про восстановление

Ты начинаешь читать топик а чекпоиниах инфа о том что ты уже читал

На createDirectStream падает же?

@pomadchin чет спарк настраивать на мезосе заипался

так ты же говорил, что все просто, просто из юниверса поставь и все заработает

кривда сечет

так ты же говорил, что все просто, просто из юниверса поставь и все заработает

не, зеплин свой

хотя можно конечно их взять

а вот спарк чото не хочет)

А у тебя не стриминг ...сорри:-)

@pomadchin java.lang.NullPointerException at org.apache.zeppelin.spark.Utils.invokeMethod(Utils.java:38) at org.apache.zeppelin.spark.Utils.invokeMethod(Utils.java:33) at org.apache.zeppelin.spark.SparkInterpreter.createSparkContext_2(SparkInterpreter.java:398) at org.apache.zeppelin.spark.SparkInterpreter.createSparkContext(SparkInterpreter.java:387) at org.apache.zeppelin.spark.SparkInterpreter.getSparkContext(SparkInterpreter.java:146) at org.apache.zeppelin.spark.SparkInterpreter.open(SparkInterpreter.java:843) at org.apache.zeppelin.interpreter.LazyOpenInterpreter.open(LazyOpenInterpreter.java:70) at org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer$InterpretJob.jobRun(RemoteInterpreterServer.java:491) at org.apache.zeppelin.scheduler.Job.run(Job.java:175) at org.apache.zeppelin.scheduler.FIFOScheduler$1.run(FIFOScheduler.java:139) at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511) at java.util.concurrent.FutureTask.run(FutureTask.java:266) at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:180) at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) at java.lang.Thread.run(Thread.java:748)

лол

@pomadchin java.lang.NullPointerException at org.apache.zeppelin.spark.Utils.invokeMethod(Utils.java:38) at org.apache.zeppelin.spark.Utils.invokeMethod(Utils.java:33) at org.apache.zeppelin.spark.SparkInterpreter.createSparkContext_2(SparkInterpreter.java:398) at org.apache.zeppelin.spark.SparkInterpreter.createSparkContext(SparkInterpreter.java:387) at org.apache.zeppelin.spark.SparkInterpreter.getSparkContext(SparkInterpreter.java:146) at org.apache.zeppelin.spark.SparkInterpreter.open(SparkInterpreter.java:843) at org.apache.zeppelin.interpreter.LazyOpenInterpreter.open(LazyOpenInterpreter.java:70) at org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer$InterpretJob.jobRun(RemoteInterpreterServer.java:491) at org.apache.zeppelin.scheduler.Job.run(Job.java:175) at org.apache.zeppelin.scheduler.FIFOScheduler$1.run(FIFOScheduler.java:139) at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511) at java.util.concurrent.FutureTask.run(FutureTask.java:266) at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:180) at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) at java.lang.Thread.run(Thread.java:748)

2 варианта: 1. Простой: перезапусти интерпреттер 2. Если не поможет: внимательно кури логи цеппелина на сервере - там будет информация, говорящая о том - почему он контекст запустить не может.. Например - указана папка с jarниками, в которой есть симлинк, ведущий вникуда

@gurinderu да те правильно подсказали

да

еще может быть, что ты в класспас сунул не ту либу и случился какойто косяк

только вот докер имедж эт и он рестартится

не над интерпретатор перезапускать

export SPARK_EXECUTOR_URI=<URL of spark-2.2.1.tar.gz uploaded above>.

ппц

export SPARK_EXECUTOR_URI=<URL of spark-2.2.1.tar.gz uploaded above>.

А назачем тебе его трогать? Все что надо - это spark_home (или как-то так) надо правильно задать, ну и hive/conf в класспас добавить для удобства....

После этого он вполне себе работает..

Остальное - уже украшательство... Например заставить его работать под авторизованным пользователем (для контроля и для работы с пулами в ярне) Ещё там с чем то секс был, не помню уже.. Но для старта ему почти ничего не нужно

Ну вот хз

Над глянуть что там за spark_home

https://zeppelin.apache.org/docs/0.7.3/interpreter/spark.html#configuration

Надо указать: 1. Мастер ярна 2. Спарк_хоум 3. Параметры контейнеров в ярне

Остальное (для начала) можно не трогать

У меня нет ярна

Думаю что может быть не правильный мезос урл

Над проверить

Он по сути формирует консольную команду spark_submit

Так что можешь попробовать там мезос указать.. может сработает )

Ну либо local[100500] ?

Вроде он умеет с мезос работать

Только НЕ рекомендую через настройки интерпреттера работать.. как минимум у меня они не применлись.. Надо править файлик - тогда все работает

Они ж файл перезаписывают

Какая разница)

Там как-то хитро... Есть файл conf/zeppelin-env.sh , он подключается и реально применяется - в итоге я через него всё настроил А есть настройки в гуи - они как-то на половину работают, как минимум в спарк-интерпреттере.... Тут работают, там не работают...

В общем решил проблему, но чем решилась непонятно

Рандомно чтот натыкал

Рандомно чтот натыкал

Всегда работает для меня.

Главное потом ещё незадокументировать.

Ещё момент как это масштабировать

Прост второй инстанса и хапрокси будет ли достаточно