Да

Есть вариант ограничить rdd функцией sample

ну mkstring - это затратная походу операция

тебе бы ее на кластере выполнять, нужен хип огого

на первом этапе, где он рдд грузит, добавь вызов .sample(0.1, false)

он возьмет 10 процентов рдд

осталось найти место первого этапа

я так понимаю после этой строки

ну mkstring - это затратная походу операция

Это редьюс на драйвер

Тяжело сказать где, рдд ленивы же.

А ну да, тогда неудивительно почему падает =)

я так понимаю после этой строки

Да добавь к ней то, что я написал

ratings_raw_RDD = self.sc.textFile(ratings_file_path).sample(0.1, false)

правильно?

Вроде да, я наизусть не помню порядок аргументов

К сожалению

вопрос

в start server есть —master spark://169.254.206.2:7077

в нее можно запихать локалхост?

А потом уже python server.py

new SparkConf() .setAppName("app") .setMaster("local[*]")

я вот так мастер настраиваю на локалхост

Хм

не знаю насчет этого скриптика конечно, синтаксис может отличаться

Вопрос в скрипте валяется ~/spark-2.1.1-bin-hadoop2.7/bin/spark-submit --master spark://169.254.206.2:7077 --total-executor-cores 14 --executor-memory 8g server.py Соотвественно, раз в сервере.py я не вижу ничего, чтобы вызывало это скрипт, то я должен его сам поднять

бля как же сложно быть тупым в новой технологии

Да не парься, это только сложно развернуть. Всегда так с начала

Да с радостью. Курсовую через два дня сдавать. А я спарк поднять не могу

:)

Интересные курсовые пошли

кхм...

Товарищ криптографическую нейросетт делал

Я бы до ума довел если бы не работа

Коллеги, кто-нить в этом году сдавал CCA 175?

Коллеги, кто-нить в этом году сдавал CCA 175?

а можно подробнее об этом экзамене ?

Загляни к нам на канал. У нас ты найдешь кучу схем по заработку в сети и в реале, а так же годную мотивацию и инсайды по криптовалюте. @zagsuda

Заменил я значит в стартовом скрипте master на локал ~/spark-2.1.1-bin-hadoop2.7/bin/spark-submit --master local[*] --total-executor-cores 14 --executor-memory 8g server.py и стало все работать, но не долго все равно падает с ошибкой по памяти

Подсказали мне отключить лимит на память, как я понял делается это следующим образом ~/spark-2.1.1-bin-hadoop2.7/bin/spark-submit --master local[*] --total-executor-cores 14 --executor-memory 6g --conf spark.memory.offHeap.enabled=true --conf spark.memory.offHeap.size=1111111111111111110 server.py

Добавить оффхипа на максимум ? Прикольно!

Интересно, как он себя поведёт если у тебя вся доступная память кончится. По идее у него есть настройка для использования диска

Я вообще правильно понял "Отключить лимит на память" и правильно ли сделал?

Ну смотри. То что ты настроил, говорит, что ты будешь брать память не из зарезервированного хипа Java процесса, а из доступной памяти системы(которая свободна от сборок мусора джавы) и предполагаю, если у тебя вся память кончится, то тоже будет не очень.

По идее в таких случаях скидывают часть данных на диск и у спарка были такие опции

Но, возможно для твоей курсовой - ничего страшного не произойдёт

Так дело в том что я посмотрел свободную оперативку в систему

и из 7 гигов свободен 1гигабайт

Ну тогда это тебе даст +1гиг и своп.

По идее

Даже после добавления памяти он все равно падает

с offHeap ошибкой

Ну, про что я и говорю. Нужно найти опцию юзать диск при нехватке памяти

Нет

Эта штука делит хип твой на пропорции для спарка и для твоего кода

Ой - перепутал с другой опцией

я вот прочитал что tasks may split to disk often

https://spark.apache.org/docs/latest/configuration.html#memory-management

Sometimes, you will get an OutOfMemoryError not because your RDDs don’t fit in memory, but because the working set of one of your tasks, such as one of the reduce tasks in groupByKey, was too large. Spark’s shuffle operations (sortByKey, groupByKey, reduceByKey, join, etc) build a hash table within each task to perform the grouping, which can often be large. The simplest fix here is to increase the level of parallelism, so that each task’s input set is smaller. Spark can efficiently support tasks as short as 200 ms, because it reuses one executor JVM across many tasks and it has a low task launching cost, so you can safely increase the level of parallelism to more than the number of cores in your clusters.

В доке написано

Ага

Значит нужно level of parallelism поднять

Это может и не помочь

время попробовать

На мой взгляд лучше тебе ограничить набор данных. Помнишь опцию sample?

Попробуй поиграться с ее значением

Например 0.01 - 1% датасета

Вообще спарк обычно запускает на тоннах памяти(n-ом количестве машин) и неудивительно, что твоих 8 не хватает

У меня на моей машине 64 Гб иногда выжирает

Но для тестов использую кластер, и там уже оч много памяти

Или вот . Идея лучше

У тебя вся проблема в том, что при получении данных на драйвер - у тебя падает с ООМ. Есть решение, в коде разделить rdd на мелкие, и последовательно их получать, выводить данные

Ну я сейчас сделал sample и запустил

Тогда у тебя в драйвером процессе не сразу загрузится весь хип, а только часть. А то, что мы там шаманим с памятью спарка - это все фигня, он по идее по дефолту юзает диск и не упадет

Не падает ?

и упал

0.001

Ставь 0.01

Все еще падает

Да что за

А какого размера файл то? Который он грузит

сейчас

Поиграй со значением семпла попробуй 0.001, 0.0001

633 метра

самый большое

А скинь код, что-ли

секунду

Помедитирую на стектрейс и код

https://github.com/jadianes/spark-movie-lens