https://spark.apache.org/docs/2.1.0/api/python/pyspark.sql.html#pyspark.sql.Column

проглядела с первого раза

дракон же на аве

у кривды мяу у чистоты дракон

совпадение?

поставлю фей валентайн чтоб не выбиываться из трендов (нет, лень)

Вопрос про машинки со спарком: какие примерно нужны машинки для развёртывания кластера ?

Меня интересует количество оперативки на ноде в основном :)

Меня интересует количество оперативки на ноде в основном :)

у нас 256-512gb на нодах

в этом промежутке

Ничоси

Ага, а сколько нод?

У нас по 30

Драйвер + 2-4 ноды

И расскажите ещё, вы использование памяти спарком через офф хип ставите ?

Ага, а сколько нод?

9 слейв нод и три мастера

У нас по 30

Я думаю остановлюсь на твоём варианте :)))

а какой объем данных предполагается лопатить в памяти?

А у нас поменьше ноды но их больше; m3.2xlarge от 10 до 100 под задачи

под мастер можно m3.xlarge

а какой объем данных предполагается лопатить в памяти?

Терабайты

именно обрабатывать, а не просто хранить на кластере

еще такой момент, что тачек может быть много и они не сильно толстые могут быть главное чтобы в IO не упираться и процессоры сильные если каждая тачка не сильно много оперативки имеет задачи должны хорошо разбиваться на ноды это надо учитывать 512 гигов мозгов на каждой ноде - это конечно хорошо)

именно обрабатывать, а не просто хранить на кластере

Обрабатывать постоянно - это гигабайты. Строить модели машинного обучения раз в промежуток времени, вероятно по всем данным

вот вопрос с машинкой лучше бы уточнить и прикинуть, сколько данных вам придется персистить в памяти

да мне кажется империческим путем подберешь. я так скажу что для дев среды достаточно тачки 4 любых

Мы пока сами точно не представляем

Если будем падать, докупим

У меня была свободная тачка с 4 гб :)) я там развернул спарк и она зависла :))

если деньги важны то 3-4 тачки купите на хетснере в одном дата центре к примеру

32 ram / 8 cpu / 600 ssd (ссды можно вставить если мало, главное чтоб побыстрее были)

32 ram / 8 cpu / 600 ssd (ссды можно вставить если мало, главное чтоб побыстрее были)

Во норм, спасибо, примерно так и думал

они могут в одну стойку иногда тачки запихать

будет шикарно вообще)

Как раз его и рассматриваем

для прототипа за глаза хватит

Спасибо!!

32 ram / 8 cpu / 600 ssd (ссды можно вставить если мало, главное чтоб побыстрее были)

ссд зачем

и так все медленно а ты хочешь ио сделать медленным еще

для спарка точно нужно

учитывая , что все хадупориентированное читает с диска последовательно

и там другие скорости

подтверждаю, с ссд и так не очень приятно ждать, пока таск выполняется полчаса-час

а на хдд так вообще бы померла, пока все сделается

ну мои джобы все реально долго на хдд / EBS окторые быстрее хдд

у вас последовательное чтение , ссд на нем не даёт сильного прироста

ну постой спарк очень много сжирает пока пишет логи ну и если ты кешировать что-то на диск будешь то это пока вообще все иопсы пожрет джоба у тебя

хотя у меня и просто так все иопсы спарк пожирает если это хдд / если тмп файлы любые в процессе делаются

ну постой спарк очень много сжирает пока пишет логи ну и если ты кешировать что-то на диск будешь то это пока вообще все иопсы пожрет джоба у тебя

ну может это особенности hdd от амазона ?

не думаю, все хдд имеют мало иопс

Если можно выбрать ssd и обычным hdd. Я возьму ссд :)))

Деньги все равно не мои

ну да) если локалка то хдд у тебя 65мбпс все ограничат а у хетснера гигабитная локалка; ссд выбор очевиден)

Если можно выбрать ssd и обычным hdd. Я возьму ссд :)))

но это тогда не бигдата ((

как вы петебайт хранить будете

как вы петебайт хранить будете

это уже для сторадж нод а не для спарк нод как минимум

SSD на последовательной записи имеют ряд архитектурных проблем, поэтому осторожнее с этим :)

Особенно если строите свою инфру, нужно аккуратно выбирать модели

но это тогда не бигдата ((

будут отдельные ноды под хранилище конечно же

тогда нарушается основная идея хадупа

Там где данные хранятся должны и обрабатываться

чот отстал я от жизни, видимо. просветите, плиз - теперь таски запускают не на тех нодах, на которых данные лежат?

запустить можно с разных мест, но спарк оптимизирован под вычитывание локальных данных

то есть там executor вычитывает данные с ноды, на которой запущен

ну это что касается HDP, CDH, Datastax

а если данных на ноде с запустившимся таском нет, то они туда копируются, правильно?

да, по сети

поэтому как раз и советуют убирать шафл по возможности, чтобы executor'ы по максимуму работали с локальными данными

ну слава б-гу, а то я уж боялся, что какие-то новые архитектуры в ход пошли.

Так, тут кто-нибудь через spark-submit программы на питоне запускал?

в связке с Jupyter'ом

в связке с Jupyter'ом

Можно поподробнее, пожалуйста?

а что конкретно интересует?

Да я тут мучаюсь просто. Я написала небольшую утилиту, которая выполняет некоторую операцию с логами, считая на кластере и потом сохраняет свои результаты обратно в директорию на HDFS. Дело в том, что на старом кластере, который под spark 1.6.2, я спокойно запускаю скрипт через spark-submit --master mesos://zk://<address> --deploy-mode client <script> <script args>

если же я запускаю из под кластера, на котором spark 2.1, он скрипт не запускается, ругаясь, что это это is not a Jupyter command

Вот и думаю, что именно с этим делать

https://stackoverflow.com/questions/42263691/jupyter-notebook-interferes-with-spark-submit

ваша проблема?

ваша проблема?

Угу. Только ансет последних двух переменных ничего не дает, кроме очередных ошибок

Exception in thread "main" java.io.IOException: Cannot run program "": error=2, No such file or directory

--files попроботвать ?

--files попроботвать ?

сейм

а почему, интересно, он ругается на "" ? что-то не так с именем скрипта?

а почему, интересно, он ругается на "" ? что-то не так с именем скрипта?

log_reader_test.py

вроде с этим все норм

ну чудес то не бывает... скрпит против различных кластеров запускается с одной и той же машины? Win/Lin ?

ну чудес то не бывает... скрпит против различных кластеров запускается с одной и той же машины? Win/Lin ?

С одной и той же машины, Linux

Так, ага

прогресс пошел

мануально unset'нула PYSPARK_DRIVER_PYTHON и PYSPARK_DRIVER_PYTHON_OPTS