по сравнению с, скажем, спаркмльный или нампаевскими аналогами

нампай ты имеешь в виду питоновский или nd4s ?

просто nd4s недоработан и не работает с последними версиями скалы

np.array

Оффтоп, зацените компиляцию простой алгебры в LLVM на лету https://github.com/llvm-hs/llvm-hs-examples/blob/master/arith/Arith.hs#L52

np.array

а, ну мы же про скалу говорим, всё что мне нужно он делал, но я не так плотно использовал

а про спаркмл, он же мллиб, он довольно ущербный

а, ну мы же про скалу говорим, всё что мне нужно он делал, но я не так плотно использовал

к таким либам примерно один набор хотелок обычно)

а про спаркмл, он же мллиб, он довольно ущербный

можно подробнее?

ну вот мы же с него сейчас начали )

вот тебе мллиб сгенерил кучу векторов. И что с ними делать?

не ну векторы там нужны для распределённых матриц, и главным образом для разреженных векторов, dense там присутствует только для симметрии, мне кажется. то есть нужно распредёленно умножить две матрицы, или какой-нибдудь PCA посчитать. это для этого же абстракция

Просто API крайне неудобно-громоздкое. И качество mllib алгоритмов очень хреновое, сходимость тоже плохая. По сравнению с sklearn

np.array

https://github.com/scalanlp/breeze/wiki/Linear-Algebra-Cheat-Sheet

вот тут сравнение апишек можно глянуть

а breeze же вроде не распределённый еще.. или я путаю

Просто API крайне неудобно-громоздкое. И качество mllib алгоритмов очень хреновое, сходимость тоже плохая. По сравнению с sklearn

Сходимось чего? Там что допотопные методы оптимизации?

https://github.com/scalanlp/breeze/wiki/Linear-Algebra-Cheat-Sheet

видел, меня больше интересует личное впечатление, в духе "жить можно" или "хрен чего запилишь" на более нетривиальных задачах

я говорю, не очень плотно использовал, но то что использовал, довольно удобно, быстро привыкаешь

не знаю допотопные или нет. на практике деревья, boosting очень плохо работают. гораздо хуже чем sklearn

я говорю, не очень плотно использовал, но то что использовал, довольно удобно, быстро привыкаешь

ясно, спасибо

не знаю допотопные или нет. на практике деревья, boosting очень плохо работают. гораздо хуже чем sklearn

Чисто питон vs scala?

это не python vs scala это sklearn vs spark mllib

https://github.com/apache/spark/blob/v2.2.1/mllib/src/main/scala/org/apache/spark/mllib/linalg/Vectors.scala

ктати, есть же метод asBreeze

если всё-таки там вектор org.apache.spark.mllib.linalg.Vector

это не python vs scala это sklearn vs spark mllib

А pyspark sklearn не как обертка работает?

нет это python API к спарку

а, блин, правда он приватный для пакета

Alex, вообще про все это можно здесь поспрашивать: https://t.me/hadoopusers , там больше про спарк хадуп

Alex, вообще про все это можно здесь поспрашивать: https://t.me/hadoopusers , там больше про спарк хадуп

о, спасибо)

а, блин, правда он приватный для пакета

Да я думаю что легче обычные Array через стандартную либу сгенерировать, а потом обернуть в нужную структуру уже.

да, конечно

scala> trait T { type TT; val t: TT } defined trait T scala> class C extends T { type TT = Int; val t = 42 } defined class C scala> class AC (c: C)(data: Array[c.TT]) <console>:13: error: not found: value c class AC (c: C)(data: Array[c.TT]) подскажите, реально ли это завести?

и, собсно, почему тут c оно не находит

реально сделать чтобы был def AC(c: C)(data: Array[c.TT]) = new AC(c, data)

можно в companion object у AC сделать apply такого вида

видел, меня больше интересует личное впечатление, в духе "жить можно" или "хрен чего запилишь" на более нетривиальных задачах

Я не вспомню настолько же ущербного апи как у бриза.

Я не вспомню настолько же ущербного апи как у бриза.

а что ты вместо него используешь?

У меня один проект только был, в итоге nd4j полностью в лес ушел, а бриз пришлось тащить из-за решения линейных уравнений. Все остальное сам говнокодил на джавовых массивах.

на джавовских массивах не должны получиться эффективные операции с векторами

а, ну я понял, поэтому бриз был

я просто думал, есть хорошая замена

На удивление (моим рукам), было сравнимо с бризом, намного быстрее nd4j.

На удивление (моим рукам), было сравнимо с бризом, намного быстрее nd4j.

круто

У бриза косяк, что он не умеет в многомерные вектора.

на джавовских массивах не должны получиться эффективные операции с векторами

-XX:+UseSuperWord по умолчанию

или что ты имеешь в виду под "эффективными"?

GPU?

За эффективным надо бласы. А жвм не оч с хождением в нейтив.

Векторизацию вычислений тоже не сделать.

реально сделать чтобы был def AC(c: C)(data: Array[c.TT]) = new AC(c, data)

кое-как прибил молотком инстансофов, сейчас попробую это

Векторизацию вычислений тоже не сделать.

а вот как же -XX:+UseSuperWord

а вот как же -XX:+UseSuperWord

Мне не помогло догнать нампи. Без нее я не сравнивал. Что в действительности оно делает тоже хз, может под это особо надо код подстраивать.

This option is enabled by default.

да, интересно, как должен выглядеть код в java, чтобы эффективно сложить два вектора

да, интересно, как должен выглядеть код в java, чтобы эффективно сложить два вектора

цикл

цикл

ага, понял, надо в эту сторону покопать, ты хочешь сказать, что java по-умолчанию умеет линалг не хуже всяких бласов?

ага, понял, надо в эту сторону покопать, ты хочешь сказать, что java по-умолчанию умеет линалг не хуже всяких бласов?

там вроде обертки под блас есть.

там вроде обертки под блас есть.

ну да, в т.ч. бриз

ага, понял, надо в эту сторону покопать, ты хочешь сказать, что java по-умолчанию умеет линалг не хуже всяких бласов?

вероятно, хуже. Однако, не то, чтобы векторизации не

вероятно, хуже. Однако, не то, чтобы векторизации не

а за счёт чего хуже? Мне просто интересно. Если я в бласе перемножу два вектора и в java, за счёт чего блас выиграет?

/stat@combot

combot.org/chat/-1001034178083

в джаве есть гарантированная нативная векторизация?

ERROR: S client not available

а за счёт чего хуже? Мне просто интересно. Если я в бласе перемножу два вектора и в java, за счёт чего блас выиграет?

Я-то полчаса назад узнал про этот флаг, но полагаю за счёт того, что БЛАС обложен хинтами компилятору, какими-нибудь промежуточными ансейфовыми копированиями оптимального размера и т.п. А твоя джава станет таким кодом, каким JIT захочет

реально сделать чтобы был def AC(c: C)(data: Array[c.TT]) = new AC(c, data)

перенес data как поле, вроде помогло

насколько я помню основная фича всех этих бласов это что размеры блоков под размер кеша подогнаны

combot.org/chat/-1001034178083

в джаве есть гарантированная нативная векторизация?

Нет

https://github.com/danielmiessler/SecLists/pull/155

Ник

Боян жи

Ага

Я медленный

Всем привет. А у кого-нибудь есть pdf 'Apache Spark for Data Science Cookbook'?

или другой кукбук по спарку.

Такая есть

Такая есть

такая на русском у меня есть. но английский вариант не помешает, приложите, пожалуйста.

Mikhael

копирайтеров на тебя нет

Надо бы предупреждение о копирайте куда-то в описание канала

Скоро будет снова тысячный мембер

Надо бы предупреждение о копирайте куда-то в описание канала

Срочно в CoC!!1!

копирайтеров на тебя нет

и хорошо наверное что нет?)

есть ведь книги, которые легально выкладываются на сайтах. https://www.confluent.io/resources/

есть ведь книги, которые легально выкладываются на сайтах. https://www.confluent.io/resources/

я не уверен, что можно распространять

Я не вспомню настолько же ущербного апи как у бриза.

Я передумал. Бриз получает 2ое место. 1ое с отрывом получает hbase.

Я передумал. Бриз получает 2ое место. 1ое с отрывом получает hbase.

а чо так?

давно в нем ковырялся, забыл уже как дня 3 по сорцам лазил... а тут пришось "по-быстрому" накидать утилитку

да знаешь у него еще более или менее апи на самом деле

да? как достать ключ из Record без deprecated api?