сейчас делаю

я только на фильмы сделал

На питоне наверно совсем непривычно бороться с хипом джавы?:)

Совсем

Хотя я и работаю джавистом

:))

Хотя я и работаю джавистом

Как успехи ?

Как успехи ?

Да все также падает после RDD

Бррр.

Так, я попозже ещё посмотрю- а то работать меня заставляют

Так, я попозже ещё посмотрю- а то работать меня заставляют

Заработало

Как решил?

Поставил в sample аж 0.0001

На оба RDD

?

Я так понимаю sample обрезает количествл данных?

Случайным образом выбирает из датасета процент данных

Жесть

А то я хотел посмотреть какие фильмы из данных можно протестирлвать

А он рандомном грузит

На самом деле можешь разрезать его не рандомно, там тоже есть функции

Не забывайте только, что некоторые датасеты чувствительны к перемешиванию

@Yan ты можешь например применить фильтр к датасетам, отфильтровать по предикату, если тебе нужны конкретные фильмы в сете

Можно сделать так - фильтруешь датасет с фильмами. Потом берешь все фильмы из получившегося датасета и фильтруешь рейтинги

Как-то так

Ну и понятное, обрезал данные и коллаборативная фильтрация будет работать не так, как на полных данных =)

такое ощущение что обрезанные данные все сломали

yan@yan-desktop:~/Downloads/spark-movie-lens-master$ curl http://0.0.0.0:5432/15/ratings/top/12 возвращает пустоту

@main.route("/<int:user_id>/ratings/top/<int:count>", methods=["GET"]) def top_ratings(user_id, count): logger.debug("User %s TOP ratings requested", user_id) top_ratings = recommendation_engine.get_top_ratings(user_id,count) return json.dumps(top_ratings) Хотя должен

Ну вообще не должен. По уму нужно сэмплировать независимо по каждому пользователю, чтоб сохранить распределения рейтингов

А тут могло выйти, что у этого пользователя рейтингов совсем не было

Если я правильно предполагаю, что эта реализация просто считает близости, а не факторизует матрицу

или это я неправильно тыкаю курлом

@krivdatheliggen ^

Спасибо, конечно, но в лучшем канале не может быть одновременно и марвел и дс

@krivdatheliggen ^

спасибо

@krivdatheliggen ^

а вы что используете для работы с hbase из сапарка , newAPIHadoopRDD ?

для чтения по диапазонам да

для записи баферед мутатор

для записи баферед мутатор

о, мутатор у меня есть.

кстате это хороший вопрос; потому что мне кажется имеет смысл отказываться от него уже (newAPIHadoopRDD).

кстате это хороший вопрос; потому что мне кажется имеет смысл отказываться от него уже (newAPIHadoopRDD).

в какую сторону? Я не стал коннекторы использовать, так как они показались мне дистро спесифик( сдх хдп)

на чтение

на запись точно мутатор

мм рекомендую ориентироваться на их родной спарк коннектор который будет в HBase 2.0

на запись точно мутатор

За мутатор спасибо, я агрегировал по nтыщ записей и писал , ну или пытался hfile генерировать

он намного быстрее на запись чем через хадупапирдд на чтение не уверен; у Accumulo разницы не было _вроде_ но я не помню точно + мы контриубтили в аккумулу чтоб ускорить чтение.

мм рекомендую ориентироваться на их родной спарк коннектор который будет в HBase 2.0

http://mvnrepository.com/artifact/org.apache.hbase/hbase-spark вот этот?

вот этот https://github.com/apache/hbase/tree/master/hbase-spark

hbase-spark 2.0.0-SNAPSHOT

hbase-spark 2.0.0-SNAPSHOT

вот это меня смутило atest commit 1700768 on 18 Feb

вот последний коммит

https://github.com/apache/hbase/commit/17007685c1ad2c4b7e672afaaf43b50f6c3a7c5c

и он тупой)

ну это HBase, все медленно вяло.

CDH быстрее развивается?

https://github.com/cloudera/hbase/tree/cdh5-1.2.0_5.11.0/hbase-spark/src/main/scala/org/apache/hadoop/hbase/spark

CDH быстрее развивается?

сдх вроде второй спарк добавило не из парселей недавно)

беглый пробег по код базе показывает почти полную идентичность

А про то, что вендор спесифик - не хочу брать, это гиморой

так а в чем проблема взять и написать свое?)

ну я как пример на что ориентироваться скинул; а то что последняя дата коммита там месяц назад в хбейз-спарк это ни о чем не говорит

так а в чем проблема взять и написать свое?)

проще жрать кактус newAPIHadoopRDD

одинаково

+-

разница в апи

Ну вот это больше всего и напрягает, что если сдх версией пользоваться, то непонятно как оно будет взаимодейстовать с ванильной версией спарка. То есть той , которую cdh не поддерживает

постой а зачем тебе тащить спарк модуль чтоб запись / чтение балокове реализовать

ты можешь ~скопипастить~ написать по мотивам код.

ты можешь ~скопипастить~ написать по мотивам код.

Ну я не люблю копипаст , это то что потом дарит гиморой другим людям. Пока лучше палкой newAPIHadoopRDD поорудую

Вот поэтому с касандрой приятней работать , хоть она и падучая )

там в коде, если я не верно выразился, пример использования АПИ хбейза, которое есть и в 1.3.1, пример как читать в рдд без newAPIHadoopRDD

https://github.com/apache/hbase/blob/master/hbase-spark/src/main/scala/org/apache/hadoop/hbase/spark/HBaseContext.scala#L536-L567

и похоже на кассандру

этим HBase и приятен

там в коде, если я не верно выразился, пример использования АПИ хбейза, которое есть и в 1.3.1, пример как читать в рдд без newAPIHadoopRDD

пока строго 1.3 )

в 1.2+ есть

так устроит?)

Устроит

а лан используй ньюапирдд но на код взгляни :D

не просто так они не стали пользоваться этим

а лан используй ньюапирдд но на код взгляни :D

я взгляну , спасибо большое, оно вроде все работает, но хочется лучше сделать ? я теперь благодаря твоему прмоушену cfor активно стал использовать)

InlineUtil макрос надо еще

InlineUtil макрос надо еще

и имплисит велью классы