это CSD, там все скрипты..

Как?

ну это если ты хочешь сам цепелин керберизовать

я думаю тебе это не нужно

если он не в кластере

ну это если ты хочешь сам цепелин керберизовать

Ясно. Не думаю что в этом есть необходимость

Он не в кластере

ну тогда забей попробуй для начала как я тебе скинул

ща найду

Спасибо!

ну разумеется сначала надо создать пользователя zeppelin в AD

да кстати команда для АД была

для мит керберос в гугле куча гайдов есть годных

Вроде уже нашел. У меня ad поэтому mit пока не нужен

Волна народу из Moscow Spark?

Ой, скоро 700 человек

кто не знал

Срочно в номер! ? Apache Kafka 2.0 released! ?

Давай сводку апдуйтов

Авиакомпаний

А кто нужен-то? Там всякие люди бывают :)

Привет. Подключить Zeppelin к Клуадера кластеру не получилось. Попробовал установить с юзером hdfs и его keytab. Что я сделал криво? Вот ошибки и скрин interpreter:

java.lang.ClassNotFoundException: org.apache.hadoop.security.UserGroupInformation$AuthenticationMethod at java.net.URLClassLoader.findClass(URLClassLoader.java:381) at java.lang.ClassLoader.loadClass(ClassLoader.java:424) at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:349) at java.lang.ClassLoader.loadClass(ClassLoader.java:357) at org.apache.zeppelin.jdbc.security.JDBCSecurityImpl.getAuthtype(JDBCSecurityImpl.java:73) at org.apache.zeppelin.jdbc.JDBCInterpreter.isKerboseEnabled(JDBCInterpreter.java:215) at org.apache.zeppelin.interpreter.KerberosInterpreter.open(KerberosInterpreter.java:64) at org.apache.zeppelin.jdbc.JDBCInterpreter.open(JDBCInterpreter.java:174) at org.apache.zeppelin.interpreter.LazyOpenInterpreter.open(LazyOpenInterpreter.java:69) at org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer$InterpretJob.jobRun(RemoteInterpreterServer.java:617) at org.apache.zeppelin.scheduler.Job.run(Job.java:188) at org.apache.zeppelin.scheduler.ParallelScheduler$JobRunner.run(ParallelScheduler.java:162) at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511) at java.util.concurrent.FutureTask.run(FutureTask.java:266) at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:180) at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) at java.lang.Thread.run(Thread.java:748)

java.lang.ClassNotFoundException: org.apache.hadoop.security.UserGroupInformation$AuthenticationMethod at java.net.URLClassLoader.findClass(URLClassLoader.java:381) at java.lang.ClassLoader.loadClass(ClassLoader.java:424) at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:349) at java.lang.ClassLoader.loadClass(ClassLoader.java:357) at org.apache.zeppelin.jdbc.security.JDBCSecurityImpl.getAuthtype(JDBCSecurityImpl.java:73) at org.apache.zeppelin.jdbc.JDBCInterpreter.isKerboseEnabled(JDBCInterpreter.java:215) at org.apache.zeppelin.interpreter.KerberosInterpreter.open(KerberosInterpreter.java:64) at org.apache.zeppelin.jdbc.JDBCInterpreter.open(JDBCInterpreter.java:174) at org.apache.zeppelin.interpreter.LazyOpenInterpreter.open(LazyOpenInterpreter.java:69) at org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer$InterpretJob.jobRun(RemoteInterpreterServer.java:617) at org.apache.zeppelin.scheduler.Job.run(Job.java:188) at org.apache.zeppelin.scheduler.ParallelScheduler$JobRunner.run(ParallelScheduler.java:162) at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511) at java.util.concurrent.FutureTask.run(FutureTask.java:266) at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:180) at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) at java.lang.Thread.run(Thread.java:748)

гуглится оно, джарников не хватает в класспасе у тебя

java.lang.ClassNotFoundException: org.apache.hadoop.security.UserGroupInformation$AuthenticationMethod at java.net.URLClassLoader.findClass(URLClassLoader.java:381) at java.lang.ClassLoader.loadClass(ClassLoader.java:424) at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:349) at java.lang.ClassLoader.loadClass(ClassLoader.java:357) at org.apache.zeppelin.jdbc.security.JDBCSecurityImpl.getAuthtype(JDBCSecurityImpl.java:73) at org.apache.zeppelin.jdbc.JDBCInterpreter.isKerboseEnabled(JDBCInterpreter.java:215) at org.apache.zeppelin.interpreter.KerberosInterpreter.open(KerberosInterpreter.java:64) at org.apache.zeppelin.jdbc.JDBCInterpreter.open(JDBCInterpreter.java:174) at org.apache.zeppelin.interpreter.LazyOpenInterpreter.open(LazyOpenInterpreter.java:69) at org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer$InterpretJob.jobRun(RemoteInterpreterServer.java:617) at org.apache.zeppelin.scheduler.Job.run(Job.java:188) at org.apache.zeppelin.scheduler.ParallelScheduler$JobRunner.run(ParallelScheduler.java:162) at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511) at java.util.concurrent.FutureTask.run(FutureTask.java:266) at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:180) at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) at java.lang.Thread.run(Thread.java:748)

Так ты ведь вроде к спарку подключался, ты через JDBC туда коннектишься?

тогда у тебя скорее всего не хватает в цепелине библиотек под kerberos

Нет. К Импале

но ты через JDBC идешь верно?

гуглится оно, джарников не хватает в класспасе у тебя

ну в общем да, Гриша прав. не хватает джарников в класпасе.

Через JDBC. Скачал последний драйвер клаудеры. Скопировал его в директорию Zeppelin .../jdbc. Может сам Цеппелин криво установлен (я его не устанаваливал)?

Через JDBC. Скачал последний драйвер клаудеры. Скопировал его в директорию Zeppelin .../jdbc. Может сам Цеппелин криво установлен (я его не устанаваливал)?

класс про который ты пишешь, является классом hadoop'а в принципе, лежит обычно в папке hadoop-commons или как то так

там в общем для кербероса не один джарник нужен а порядка 10

Я в Цеппелин в interpreter записал в dependencies hadoop-common. В какую папку скопировать джары тогда?

Я в Цеппелин в interpreter записал в dependencies hadoop-common. В какую папку скопировать джары тогда?

На вскидку не скажу, я так не делал. Я пользовал цепелин только в составе хортонворкса и давно.

То есть главная задача это прогуглить какие джары нужны для кербероса, а затес понять куда их скопировать?

да

Есть какие то джары клаудеры? Я в документации не нашел

дяденьки, подскажите плз: если мне нужно в цеппелине вытащить данные по jdbc из той же импалы например и обработать в Питоне, то правильнее же все это делать внутри только питон- интерпретатора? если я задействую ещё и jdbc-интерпретатор, то памяти потрачу в 2 раза больше, верно?

дяденьки, подскажите плз: если мне нужно в цеппелине вытащить данные по jdbc из той же импалы например и обработать в Питоне, то правильнее же все это делать внутри только питон- интерпретатора? если я задействую ещё и jdbc-интерпретатор, то памяти потрачу в 2 раза больше, верно?

Питоном это писпарком? Или данных очень мало?

много

pyspark, pyodbc, cx_Oracle etc

иначе я буду тянуть все в jvm ноутбука, так?

дяденьки, подскажите плз: если мне нужно в цеппелине вытащить данные по jdbc из той же импалы например и обработать в Питоне, то правильнее же все это делать внутри только питон- интерпретатора? если я задействую ещё и jdbc-интерпретатор, то памяти потрачу в 2 раза больше, верно?

питон с jdbc паршиво работает

хотя возможно я неправильно его готовил

питон с jdbc паршиво работает

jdbc же вроде про яву вообще...

:)

есть py4j

через него можно завести JDBC

хотя там может быть какой нибудь jython

я так хотел на оракл ходить, чтобы не зависить от клиента, в конечном счете плюнул и сделал через cx_Oracle

Python с JDBC сносно работает на не особо больших объемах, есть, как минимум, Py4J и JPype. В любом случае, этот или иной вариант реализации middleware связки Python и Java.

А зачем в импалу так странно ходить вообще?

а как ходить в нее не странно?

SparkContext/HiveContext, не?

Интересно, что быстрее

а если мои аналитики работают с питоном и его sclearn? где тут место спарку?

udf, например

ну или toPandas(), лол

ну или toPandas(), лол

по краю ходишь

поясните, пожалуйста

по крайней плоти, можно сказать

а если мои аналитики работают с питоном и его sclearn? где тут место спарку?

Так данных много или нет? )

ну, гигабайт 10 в виде пикла

в память питон-процесса влезает для локальной обработки

Ясно. Тогда вопросов нет

прикольно... задал вопрос называется

не бейте, лучше обоссыте (с)

Ну так прочитать при помощи PySpark, преобразовать из Spark Data Frame во что-то подходящее для коллег и дальше Python.

не бейте, лучше обоссыте (с)

если у вас данные помещаются на одной машине аналитика, то скорее всего вам не нужен спарк и т.д., хотя возможно использование его даст прирост по скорости (в сравнении с pandas) https://databricks.com/blog/2018/05/03/benchmarking-apache-spark-on-a-single-node-machine.html

если у вас данные помещаются на одной машине аналитика, то скорее всего вам не нужен спарк и т.д., хотя возможно использование его даст прирост по скорости (в сравнении с pandas) https://databricks.com/blog/2018/05/03/benchmarking-apache-spark-on-a-single-node-machine.html

спасибо!

Ну так то для склена есть драйвер для спарка от датабрикса

Ну так то для склена есть драйвер для спарка от датабрикса

Поподробнее можно?

если у вас данные помещаются на одной машине аналитика, то скорее всего вам не нужен спарк и т.д., хотя возможно использование его даст прирост по скорости (в сравнении с pandas) https://databricks.com/blog/2018/05/03/benchmarking-apache-spark-on-a-single-node-machine.html

повесить его на воротах, он говорит, что спарк не всегда нужен!

Поподробнее можно?

Google it. Первая ссылка

повесить его на воротах, он говорит, что спарк не всегда нужен!

Оставь пандас, всяк сюда входящий

если у вас данные помещаются на одной машине аналитика, то скорее всего вам не нужен спарк и т.д., хотя возможно использование его даст прирост по скорости (в сравнении с pandas) https://databricks.com/blog/2018/05/03/benchmarking-apache-spark-on-a-single-node-machine.html

зачем писать код не на спарке, если потом его всё равно надо будет переписывать на спарк)

зачем писать код не на спарке, если потом его всё равно надо будет переписывать на спарк)

Когда в руках молоток, все окружающее кажется гвоздями? :)

спарк - это не молоток, это швейцарский нож. Можно конечно таскать с собой чемодан с инструментами, но зачем)

зачем писать код не на спарке, если потом его всё равно надо будет переписывать на спарк)

зачем вообще что либо делать не на спарке