вектор * на случайное число?)

но при этом каждый вектор выбирается независимо и из одного и того же распределения

i.i.d по элементам вектора имелось ввиду. Так то я одно распределение генерирую)

только iid есть. * Generates an RDD[Vector] with vectors containing `i.i.d.` samples drawn from the * standard normal distribution.

ну т.е. вот это подойдёт

тут про другое немного

i.i.d по элементам вектора имелось ввиду. Так то я одно распределение генерирую)

нужно нормальное распределение c ожиданием 0 и единичной матрицей ковариации?

ну т.е. вот это подойдёт

да не. там ж написано vector containing i.i.d.

нужно нормальное распределение c ожиданием 0 и единичной матрицей ковариации?

прост не с диагональной

да не. там ж написано vector containing i.i.d.

да, но это про другое

прост не с диагональной

необходимая матрица ковариации известна?

тут говорится, что каждый вектор генерируется независимо от других векторов, при этом компоненты вектора могут быть зависимы

необходимая матрица ковариации известна?

да

тут говорится, что каждый вектор генерируется независимо от других векторов, при этом компоненты вектора могут быть зависимы

да, но там по параметрам видно что это iid и в другом смысле тоже

хм, странно

т.е. если ты выставляешь корелляцию 1 между двумя компонентами, он тебе может разные сгенерить?

да

можно ли сделать вот так? https://t.me/scala_ru/116791

т.е. если ты выставляешь корелляцию 1 между двумя компонентами, он тебе может разные сгенерить?

так а где там параметр под корреляцию?

берёшь матрицу ковариации

она же - матрица корелляции, если все компоненты имеют дисперсию 1

делаешь разложение Холецкого

получается матрица A

умножаешь векторы на неё

получается выборка векторов с матрицей ковариации A * A^T

так а где там параметр под корреляцию?

попробуй задать матрицу ковариаций 2x2, состоящую из одних единиц

посмотри, что сгенерится

получается выборка векторов с матрицей ковариации A * A^T

Да, элементарно ж получается.

попробуй задать матрицу ковариаций 2x2, состоящую из одних единиц

Да разложение Холецкого нужно.

@prutz1311 спасибо)

Да разложение Холецкого нужно.

а, ок ??

а, ок ??

осталось ток RDD помножить

осталось ток RDD помножить

до меня дошло сейчас , в чём проблема )) api спарка не позволяет задать матрицу ковариации, как и в случае с одномерным распределением, а генерит с единичной матрицей ковариации и нулевым матожданием, надо постфактум мапить значения, получается

до меня дошло сейчас , в чём проблема )) api спарка не позволяет задать матрицу ковариации, как и в случае с одномерным распределением, а генерит с единичной матрицей ковариации и нулевым матожданием, надо постфактум мапить значения, получается

угу. прост домножить слева матрично на Sigma^{1/2}

круто

@pankratov Не знаешь как в RDD мапнуть каждый элемент? С обычными массивами проходит map(x => x.map(...))

https://spark.apache.org/docs/1.5.2/api/java/org/apache/spark/mllib/linalg/Vector.html

ага, у вектора нет map ? но типа foreachActive должно отработать

А можно ли как-то из Future[T] получить Try[T]? Кровь из носу нужно сделать в одном месте блокирующее получение результата, и что-то резко стало грустно.

Try(Await.result) ?

Увы, Await говорит, что в его функции нельзя пихнуть Duration.Inf

Что мне определенно не нравится.

А можно ли как-то из Future[T] получить Try[T]? Кровь из носу нужно сделать в одном месте блокирующее получение результата, и что-то резко стало грустно.

Может не надо все-таки. А какой контекст?

Может не надо все-таки. А какой контекст?

Выполнение нескольких задачек в БД сделано на Future, результат нужно получить блокирующе, чтобы транзакцию можно было абортнуть или успешно завершить. Ну плюс мне в принципе интересно, как это сделать.

Имеется в виду чтобы вызвать rollback в случае хотя бы одного неуспеха?

Имеется в виду чтобы вызвать rollback в случае хотя бы одного неуспеха?

Угу. Именно так.

onFailure?

Future.sequence

и не нужно выходить из фьючи

эм, разве в рамках транзакции можно паралельно исполнять что то?

и не нужно выходить из фьючи

Окей, спасибо.

эм, разве в рамках транзакции можно паралельно исполнять что то?

А хрен ее знает. Если что — там на несколько можно разбить будет. Просто кровь из носу нужно все откатывать, если хоть одна не пройдет хотя-бы

Иначе будет мусор в БД.

ну просто seq это если у тебя List[Future]

аа.. эмм тогда неясно.

если одно подключение, у вас все будет работать и без лишних действий так как вы хотите.

если много подключений (много фьюч) то sequencе поможет. можно убрать autocommit и при хотя бы одном неуспехе везде вызвать rollback.

если много подключений (много фьюч) то sequencе поможет. можно убрать autocommit и при хотя бы одном неуспехе везде вызвать rollback.

Окей. Спасибо.

Увы, Await говорит, что в его функции нельзя пихнуть Duration.Inf

где он такое говорит? Наоборот говорит, что можно

(не то что б это было хорошо)

Undefined != Inf

так там Undefined

6-я строчка снизу

Ой :) Глаза замылились. Благодарствую :)

ERROR: S client not available

6-я строчка снизу

ну вот счас точно Await появится а мог на фьючах сделать

ну вот счас точно Await появится а мог на фьючах сделать

Убрал их, решил, что обойдусь без этого и сделаю у сервисов интерфейс с monix-овскими Observable сразу. Обычно просто стараюсь на уровне репозитория в rx-стримы оборачивать, меньше гемора вот такого формата.

ага, у вектора нет map ? но типа foreachActive должно отработать

у тебя нет примера как foreachActive работает?

не знаю, я не использовал ? но судя по тому что он Unit, то либо он меняет элементы inplace либо он просто выполняет side effect, тонда он не подходит

а, не он точно не походит

ну можно сделать toArray.map

Выполнение нескольких задачек в БД сделано на Future, результат нужно получить блокирующе, чтобы транзакцию можно было абортнуть или успешно завершить. Ну плюс мне в принципе интересно, как это сделать.

В slick это очень хорошо выражется, там DBIO-монада, которую можно уже в рамках одной транзакции запустить, при этом что-нибудь совсем другое (например, http-запрос), можно туда же затащить через DBIO.from: http://slick.lightbend.com/doc/3.2.0/dbio.html#transactions-and-pinned-sessions

ну можно сделать toArray.map

тож об этом подумал. Это не костыль?

ну если размерность небольшая и у тебя не используются sparse фичи, то на мой взгляд норм

ну если размерность небольшая и у тебя не используются sparse фичи, то на мой взгляд норм

А если огромная размерность и выборка?

https://github.com/apache/spark/blob/v2.2.1/mllib-local/src/main/scala/org/apache/spark/ml/linalg/Vectors.scala

class DenseVector @Since("2.0.0") ( @Since("2.0.0") val values: Array[Double]) extends Vector { override def size: Int = values.length override def toString: String = values.mkString("[", ",", "]") override def toArray: Array[Double] = values

если вектор dense, то вроде как toArray тупо возвращает, то что у него в поле values

ну т.е. если DenseVector, то вот так норм new DenseVector(v.toArray.map(...))

векторы же, насколько помнится, локальные в mllib. Так что toArray норм (ну все остальное через него будет выражаться)

векторы же, насколько помнится, локальные в mllib. Так что toArray норм (ну все остальное через него будет выражаться)

Как map к вектору применить не знаешь?

ну вот сказали же через toArray с обратным заворачиванием в вектор. Но если ты не применяешь сам mllib то вектор тебе и не нужен

ну вот сказали же через toArray с обратным заворачиванием в вектор. Но если ты не применяешь сам mllib то вектор тебе и не нужен

применяю(планирую). Он объкты [D возвращает.

вот с scala.collection.immutable.Vector работает

со спарковским вектором нет

да, но это разные структуры

ну я прост для сравнения, метод вроде одинаково работать должен

да, странно, что они не реализовали

возможно, это из-за головняков с разреженными векторами, хотя в денз у них тоже не реализован

вообще, спарковский мллиб довольно странно сделан

Alex, вообще тебе вроде не нужно делать map. У тебя же векторы и матрицы. Умножай, складывай, применяй линал

Не нашел доков по сложению. Так сначала и думал что можно сделать @sherzodv

По манипуляциям в общем*

я бы в самом начале кастанул к какому-нибудь бризовскому вектору, а потом выполнял бы операции

причём он есть в зависимостях mllib <dependency> <groupId>org.scalanlp</groupId> <artifactId>breeze_${scala.binary.version}</artifactId> </dependency> https://github.com/apache/spark/blob/v2.2.1/mllib-local/pom.xml

https://github.com/scalanlp/breeze