Про Рид онли не слыхал

Это от человека зависит, как он напишет. Сам не люблю наркоманов, которые пишут так, что фиг поймёшь.

Если злоупотребляют функциональщиной, то задолбаешься отлаживать.

нууу, некоторые языки прямо-таки располагают к райт онли. насчёт перла тоже соглашусь.

Если злоупотребляют функциональщиной, то задолбаешься отлаживать.

это однобокость интерпретации фп

Функции высшего порядка. Их отлаживать - это звездец.

Просто подавляющее большинство так называемых скалистов - бывшие недожабаскриптеры

гриша - сжигай этот чат

Сбежавшие в мир бэкенда через плей фреймворк

Просто подавляющее большинство так называемых скалистов - бывшие недожабаскриптеры

я считаю что оффтоп пошел и я всех подожгу

Просто подавляющее большинство так называемых скалистов - бывшие недожабаскриптеры

именно поэтому какраз они пользуются скалалазами а не потому что пришли из математики

если бы пришли из жаваскрипта то вам как любителям императивной скалы было бы приятно писать на ней

и не было бы абстракций выскоих непонятных монад ненужных тайпклассов и борьбы с полезной тайп ерейжей

Функции высшего порядка. Их отлаживать - это звездец.

вот это вообще в цитатник надо

да идиоты придумали функции высшего порядка

функции в функции передавать - бред полный

Функции высшего порядка. Их отлаживать - это звездец.

а что ты хотел то сказать этим?)

накидываем еще

Нет. Функции высшего порядка хороши там, где они действительно нужны, а не просто так сделаны, потому что это типа модно.

а покаж примеры

мне интересно стало

видимо дмитрий спарком не пользуется)

Исходный код проекта показать не могу. :-)

ну придумай синтетический пример

видимо дмитрий спарком не пользуется)

Пользуюсь. Но не прямо сейчас.

я бы хотел увидеть желаемый стайл гуид конечно же, особенно когда примеры есть плохо вс хорошо

ну придумай синтетический пример

Из какого-то значения на входе получается что-то на выходе. Я начинаю отлаживать, чтобы разобраться, как так получилось. Хочу увидеть значения промежуточных результатов и их дальнейшие превращения. А хрен там - интересующие меня переменные указывают на функции, а не на реальные значения. Дико неудобно.

ну это проблема метода дебаггинга который применяется

А какой метод посоветуешь тогда?

могу предложить не дебажить

а по серьезному - то дебаггер (если он исопльзуется) не очень хорошо работает со скалой

на нормальном скала коде проблемы появятся раньше

не ну если даже дебажить - я чет совневаюсь что навигация по вызову не привдоит тебя в конкретную функцию

присоединюсь к вопросу. отлаживать большие спарковые flow где лямбда на лямбде и в лямбду передаётся это боль :/ я вот новичок в дом деле, страдаю и печалюсь.

ну вы прост на скале не пишете

как бы если хаскелист придет в мир анси си у него будут проблемы концептуальные

понятно что грань где то должна быть и концепции использоваться по уму; но это больше похоже на диванные разговоры

Просто подавляющее большинство так называемых скалистов - бывшие недожабаскриптеры

Это интересная фантазия. Не встречал такую еще.

не, ну вот приносит мне дата саентист прототип на питоне с пандасом, а на выходе надо сделать то же самое, только под спарк на жабе. в питоне у него всё просто, любому df можно сказать print и увидеть что там внутри. в жабе же замаешься хитро типизирванную rdd-ху выводить. а на скале я не пишу, нет у меня PhD %)

т.е. типы это зло?

Java под Spark - это мазохизм в чистом виде.

ну мож он про скалу)

Только Scala. Ну может быть, ещё Python.

типы это добро конечно.

особенное четкие типы из моего района

А почему дсы сами не могут писать под спарк?

если бы дсы умели писать, зачем бы им нужны были все остальные

код, написсанный дсом, стоит слишком дорого. и ещё дороже обходится его запуск, потому как работает раз в 200 медленее, чем надо.

А почему дсы сами не могут писать под спарк?

Утончённые люди искусства, им чужда грязная работа. :-)

гриша - сжигай этот чат

думаешь они это серъезно ? пока очень на вбросы похоже

Нет. Функции высшего порядка хороши там, где они действительно нужны, а не просто так сделаны, потому что это типа модно.

java8 ?

java8 ?

Scala

привет code review который снимает вашу боль, и язык снова не виноват

привет беспредметные разговоры на основе домыслов

не, ну вот приносит мне дата саентист прототип на питоне с пандасом, а на выходе надо сделать то же самое, только под спарк на жабе. в питоне у него всё просто, любому df можно сказать print и увидеть что там внутри. в жабе же замаешься хитро типизирванную rdd-ху выводить. а на скале я не пишу, нет у меня PhD %)

Я честно говоря был уверен что людей которые под Спарк пишут на жабе смыло

окей, в этом злом чяте сидят какие-то хреновы элитисты.

Ну скажем так, без sam и лябмд мап редьюс выглядит плохо

окей, в этом злом чяте сидят какие-то хреновы элитисты.

Не, ну реально, посмотри фрагменты кода под Spark, делающего одно и то же, на разных языках, - всё станет ясно.

Я как собеседовал чувака который на груви писал

Под Спарк офк

Потому что туда хоть лямбды завезли

окей, в этом злом чяте сидят какие-то хреновы элитисты.

Извините, а что таки элитного в скале?

Извините, а что таки элитного в скале?

ничего

Жаль, а я уже хотел возгордиться было...

Извините, а что таки элитного в скале?

это же мем

Не так страшен (язык программирования такой-то), как тот, кто на нём пишет.

вопросы новичков можно?

em@dd294:~$ hadoop dfs -ls -h -R /data/bp_stage/9fc5a6cde/pv/2018-02-24/s=1146323382 -rw-r--r— 3 sdfsdf admin 30.6 M 2018-03-28 11:05 /data/bp_stage/9fc5a6cde/pv/2018-02-24/s=1146323382/part-00000-41cf8594-fc23-4513-ab43-fc8cb9c6eb62.c000.snappy.parquet Dataset<Row> dataset = sparkSession.read().parquet("hdfs://hdfs-m:8020/data/bp_st/9fc5a6cde/pv/2018-02-24/s=1146323382"); long globalIdsCount = dataset .select(dataset.col("globalId")) .distinct() .count(); для ОДНОЙ партиции part-00000-41cf8594-fc23-4513-ab43-fc8cb9c6eb62.c000.snappy.parquet у меня на стадии шафла (distinct операция) генерится 200 тасок. Почему так много?

em@dd294:~$ hadoop dfs -ls -h -R /data/bp_stage/9fc5a6cde/pv/2018-02-24/s=1146323382 -rw-r--r— 3 sdfsdf admin 30.6 M 2018-03-28 11:05 /data/bp_stage/9fc5a6cde/pv/2018-02-24/s=1146323382/part-00000-41cf8594-fc23-4513-ab43-fc8cb9c6eb62.c000.snappy.parquet Dataset<Row> dataset = sparkSession.read().parquet("hdfs://hdfs-m:8020/data/bp_st/9fc5a6cde/pv/2018-02-24/s=1146323382"); long globalIdsCount = dataset .select(dataset.col("globalId")) .distinct() .count(); для ОДНОЙ партиции part-00000-41cf8594-fc23-4513-ab43-fc8cb9c6eb62.c000.snappy.parquet у меня на стадии шафла (distinct операция) генерится 200 тасок. Почему так много?

Зависит от формата входного файла, видимо он из него не может получить количество входных партиций, а по дефолту спарк ставит 200

хм. спасибо. буду копать

хм. спасибо. буду копать

Проверить легко , после считывания dataset.rdd.getNumPartitions()

Dataset<Row> dataset = sparkSession.read().parquet(eventsPath); //dataset.rdd().getNumPartitions() == 8

холи моли давайте портянки через пейстбиноиды постить

Dataset<Row> dataset = sparkSession.read().parquet(eventsPath); //dataset.rdd().getNumPartitions() == 8

Тогда надо дальше по дагу смотреть, можно после считывания явно repartition(n) поставить и посмотреть как себя будет вести

Подскажите в чем может быть проблема: раним спарк джобу в Azure (HDInsight) через spark-submit: spark-submit —master yarn —deploy-mode client —files somefile.json —class com.mi.Class /home/sshuser/My-jar-with-dependencies.jar jobParameter и все работает НО Когда ту же джобу пробуем запустьть через SparkLauncher оно стартует а потом начинает кидать Caused by: org.apache.spark.rpc.RpcTimeoutException: Cannot receive any reply in 120 seconds. This timeout is controlled by spark.rpc.askTimeout at org.apache.spark.rpc.RpcTimeout.org$apache$spark$rpc$RpcTimeout$$createRpcTimeoutException(RpcTimeout.scala:48) Пробовали играться с spark.executor.memory, spark.network.timeout - не помогло, возможно что-то упустили. Та же самая спарк-джоба нормально запускается из того же Java кода на Hortonworks Sanbox'е. Саппорт Ажура неделю исследует логи :(

Подскажите в чем может быть проблема: раним спарк джобу в Azure (HDInsight) через spark-submit: spark-submit —master yarn —deploy-mode client —files somefile.json —class com.mi.Class /home/sshuser/My-jar-with-dependencies.jar jobParameter и все работает НО Когда ту же джобу пробуем запустьть через SparkLauncher оно стартует а потом начинает кидать Caused by: org.apache.spark.rpc.RpcTimeoutException: Cannot receive any reply in 120 seconds. This timeout is controlled by spark.rpc.askTimeout at org.apache.spark.rpc.RpcTimeout.org$apache$spark$rpc$RpcTimeout$$createRpcTimeoutException(RpcTimeout.scala:48) Пробовали играться с spark.executor.memory, spark.network.timeout - не помогло, возможно что-то упустили. Та же самая спарк-джоба нормально запускается из того же Java кода на Hortonworks Sanbox'е. Саппорт Ажура неделю исследует логи :(

Spark Launcher - это какой-то инструмент Azure?

Spark Launcher - это какой-то инструмент Azure?

нет, https://jaceklaskowski.gitbooks.io/mastering-apache-spark/content/spark-SparkLauncher.html

версий мисматч

скорее всего

таким образом когда приложение стартует то драйвер нода не будет использовать класспас спарка

но тут выглядит что просто не в той сетке находится драйвер

если с сеткой, то вроде как пишет что-то там про ресурсы

не, когда ноды теряются такое может написать, например

а мисматч версий там как-то кал про сериализацию как мне помнится или около нетти

мне кажется он тут пишет что ноды кластера не видят драйвер и наоборот

а так конечно это может быть потому что ноды полегли с оомом

возможно второе - там крайне хреновая ошибка когда криво мастер указал

да нет же у меня такая ошибка была когда драйвер резолвил днсы нод а ноды не резолвили днс драйврера