ланчер не запустится в кластер моде кластер мод это запуск драйвера на одном из воркеров

ланчер же просто контруктор спарк сабмита

ну мод кластер не решил бы проблему если это сетевая

в кластер моде пока запускать не можем, т.как нужны некоторые локальные файлы. в будущем возможно так и будем смотреть.

а в юайке какие логи у драйвера?

только рпс?

ну оно в начале вроде как работает: 18/03/27 12:52:10 INFO Executor: Finished task 24.0 in stage 11.0 (TID 41). 4593 bytes result sent to driver 18/03/27 12:52:10 INFO CoarseGrainedExecutorBackend: Got assigned task 42 18/03/27 12:52:10 INFO CoarseGrainedExecutorBackend: Got assigned task 43 18/03/27 12:52:10 INFO Executor: Running task 26.0 in stage 11.0 (TID 43) 18/03/27 12:52:10 INFO Executor: Running task 25.0 in stage 11.0 (TID 42) 18/03/27 12:52:10 INFO Executor: Finished task 23.0 in stage 11.0 (TID 40). 4593 bytes result sent to driver 18/03/27 12:52:10 INFO ShuffleBlockFetcherIterator: Getting 2 non-empty blocks out of 2 blocks 18/03/27 12:52:10 INFO ShuffleBlockFetcherIterator: Started 0 remote fetches in 0 ms 18/03/27 12:52:10 INFO ShuffleBlockFetcherIterator: Getting 2 non-empty blocks out of 2 blocks 18/03/27 12:52:10 INFO ShuffleBlockFetcherIterator: Started 0 remote fetches in 0 ms 18/03/27 12:52:10 INFO CoarseGrainedExecutorBackend: Got assigned task 44 18/03/27 12:52:10 INFO Executor: Finished task 26.0 in stage 11.0 (TID 43). 4593 bytes result sent to driver 18/03/27 12:52:10 INFO Executor: Running task 27.0 in stage 11.0 (TID 44) 18/03/27 12:52:10 INFO CoarseGrainedExecutorBackend: Got assigned task 45 18/03/27 12:52:10 INFO Executor: Running task 28.0 in stage 11.0 (TID 45) 18/03/27 12:52:10 INFO Executor: Finished task 25.0 in stage 11.0 (TID 42). 4680 bytes result sent to driver 18/03/27 12:52:10 INFO ShuffleBlockFetcherIterator: Getting 2 non-empty blocks out of 2 blocks 18/03/27 12:52:10 INFO CoarseGrainedExecutorBackend: Got assigned task 46

дык если просто спарк сабмит работает - грепни по процессам - поссотри точно ли лаунчер собрал тоже самое

дык если просто спарк сабмит работает - грепни по процессам - поссотри точно ли лаунчер собрал тоже самое

о, хорошая идея. спасибо

о там кстате есть какаято переменная чтоб принатнуть спарк сабмит нагеренный

SPARK_PRINT_LAUNCH_COMMAND

https://cloud.google.com/spanner/

Привет

Народ, кто нибудь использует друид?

С стримом из кафки

Привет. Нужен инструмент для data quality чтоб с sas дружил. Порекомендуйте, пожалуйста.

У Talend-а есть коннектор для sas. Правда, не поручусь, что он есть в opensource версии.

Уже попробовали. Нет его в open source.

Предполагаю, что опенсорсного ничего и не найдётся

А за адекватные деньги?

Ну что, дорогие друзья, ждали? Получите! https://rambler-co-e-org.timepad.ru/event/696949/

а спец гость про которого говрили - это кривда?)

да! звезда из-за бугра

в след раз можно будет с одной звездой из казани

тогда можно тож приврать что из-за бугра, а то некоторые москвичи думают, что татарстан, это где-то рядом с казахстаном

он в сингапуре

это чуть дальше чем татарстан

тощна)

он в сингапуре

Все честно, no fooling

Хех, пару дней назад только улетел, а уже специальный гость из-за бугра

господа, а кто знает как нормально заставить spark джобу в client mode

понимать mesos линки

господа, а кто знает как нормально заставить spark джобу в client mode

это ты читал ? https://spark.apache.org/docs/latest/running-on-mesos.html#client-mode

Да

Не работает

а какая у тебя ошибка

18/04/04 10:20:54 ERROR SparkContext: Error initializing SparkContext. org.apache.spark.SparkException: Could not parse Master URL: 'mesos://leader.mesos:5050' at org.apache.spark.SparkContext$.org$apache$spark$SparkContext$$createTaskScheduler(SparkContext.scala:2767) at org.apache.spark.SparkContext.<init>(SparkContext.scala:501) at org.apache.spark.api.java.JavaSparkContext.<init>(JavaSparkContext.scala:58) at zipkin.dependencies.elasticsearch.ElasticsearchDependenciesJob.run(ElasticsearchDependenciesJob.java:204) at zipkin.dependencies.elasticsearch.ElasticsearchDependenciesJob.run(ElasticsearchDependenciesJob.java:166) at zipkin.dependencies.ZipkinDependenciesJob.main(ZipkinDependenciesJob.java:72) 18/04/04 10:20:54 WARN MetricsSystem: Stopping a MetricsSystem that is not running Exception in thread "main" org.apache.spark.SparkException: Could not parse Master URL: 'mesos://leader.mesos:5050' at org.apache.spark.SparkContext$.org$apache$spark$SparkContext$$createTaskScheduler(SparkContext.scala:2767) at org.apache.spark.SparkContext.<init>(SparkContext.scala:501) at org.apache.spark.api.java.JavaSparkContext.<init>(JavaSparkContext.scala:58) at zipkin.dependencies.elasticsearch.ElasticsearchDependenciesJob.run(ElasticsearchDependenciesJob.java:204) at zipkin.dependencies.elasticsearch.ElasticsearchDependenciesJob.run(ElasticsearchDependenciesJob.java:166) at zipkin.dependencies.ZipkinDependenciesJob.main(ZipkinDependenciesJob.java:72) I0404 13:20:55.516578 23527 executor.cpp:552] Container exited with status 1

у меня не стоит .set("spark.executor.uri", "<path to spark-2.3.0.tar.gz uploaded above>")

потому что джоба не моя

больше логов богу логов!

да эт прост телега херово показывает

Ну этот лог говорит лишь что твой локальный спарк не умеет в мезос

Ну конечно если тв говоришь что кластер работает с локала, то какая-то проблема с доступом к мастеру

Не

Он распрарсить не может

Как будто сошку не видит

а ты насильно пихни ему ее

Так и делаю что

Может косяк из-за алпаина

Ты с того раза так и ничего не запустил на мезосе?

все привет, а может кто подсказать как обновить запрос на создание таблицы в hive от версии 0.15 до текущей 2.3.1 ?

ParseException line 68:36 cannot recognize input near 'values' ':' 'map' in column specification вот так оно ругаеться

Ты с того раза так и ничего не запустил на мезосе?

не

у меня зеплин на мезосе работает

не работает только джоба

я понимаю

имелл ввиду ты ничего не смог засабмитить

да я не пробовал

у меня хватало работы

все привет, а может кто подсказать как обновить запрос на создание таблицы в hive от версии 0.15 до текущей 2.3.1 ?

починил