уточни сразу задачу

дефолтный ответ параллелить самой аккой, например через роутер

а если хочется это распараллелить? есть какие то относительно простые варианты сделать это?

или использовать несколько акторов =)

просто математические вычисления, если получен в итоге результат true - его надо отдать, если нет - думаю вернуть None и всё

дефолтный ответ параллелить самой аккой, например через роутер

а можно носом ткнуть что почитать если не сложно? акку пробовал но именно на уровне просто запуска актора и всё

http://doc.akka.io/docs/akka/current/scala/routing.html#routing

имхо, получится подобие форкджоин пула на акторах =)

Спасибо) а подобие - это плохо?

нет, на акторах скорее всего меньше проблем с отладкой будет, но зато будет оверхед чтобы распараллелить вычисления их надо будет дробить на куски и отправлять куски в разные акторы ForkJoinPool примерно так и работает со своими Task -ами

А вроде в акторах можно сделать так что бы отправлялось по одному и тому же адресу но при этом были потоки и возможность параллельной работы? Типа там в конфиге как раз просто указать и всё? Или это оно и есть? Я сейчас роуты имею в виду...

акторы абстрагируют тебя от потоков (пока ты сам их не притащешь например через Future) с роутером ты пишешь роутеру, он уже раскидывает вычисления по рабочим акторам (роутер настраивается либо в коде либо через конфиг) вероятно тебе предстоит озаботиться вопросом а куда рабочие акторы пошлют результат

акторы абстрагируют тебя от потоков (пока ты сам их не притащешь например через Future) с роутером ты пишешь роутеру, он уже раскидывает вычисления по рабочим акторам (роутер настраивается либо в коде либо через конфиг) вероятно тебе предстоит озаботиться вопросом а куда рабочие акторы пошлют результат

отправить результат не проблема, у меня проблема именно раскинуть все вычисления по всем доступным ядрам, потому что решать последовательно - минут 30

Вы уверены что вам для этой задачи нужна akka?

Для такой задачи точно не нужна

отправить результат не проблема, у меня проблема именно раскинуть все вычисления по всем доступным ядрам, потому что решать последовательно - минут 30

разбей на 100 кусков, запихни в вектор или лист, сделай ,coll.par.map(calcPart).foldLeft(...)(aggregateResult)

разбей на 100 кусков, запихни в вектор или лист, сделай ,coll.par.map(calcPart).foldLeft(...)(aggregateResult)

Эм... весь прикол в том что я просто не понял что вы сейчас написали :) Точнее понял только мап, остальное - нет(

Эм... весь прикол в том что я просто не понял что вы сейчас написали :) Точнее понял только мап, остальное - нет(

В скалке есть параллельные версии коллекций, они могут запускать операции типа map в кучу параллельных потоков

Превращается обычная коллекция в параллельную, если такая есть, методом .par

Поэтому если распараллеливание требуется очень простое

Типа разбить работу на n кусков, потом собрать результат, это можно сделать, не выходя из scala library

просто получается что мне надо примерно 500 млн записей пихнуть сначала полностью в лист и только потом считать?

Думаю, лучше разбить на 500 кусков по миллиону или типа того

параллельные коллекции вроде выпиливать будут, не?

calcPart это метод которым я считаю, так? а foldLeft(...)(aggregateResult) что тогда?

calcPart это метод которым я считаю, так? а foldLeft(...)(aggregateResult) что тогда?

ну у тебя получится 500 результатов, потом ты пробегаешься и собираешь

параллельные коллекции вроде выпиливать будут, не?

Ну их наверняка в отдельный какой-то модуль выпилят типа как xml и рефлекшн

параллельные коллекции вроде выпиливать будут, не?

слышал что вроде бы вынесут из stdlib

просто получается что мне надо примерно 500 млн записей пихнуть сначала полностью в лист и только потом считать?

Но лучше, конечно, про akka-streams\fs2 почитать

Потому что наверняка потом потребуется читать лениво инпут из файлов и как-то фейлы\эксепшны обрабатывать, не перезапуская всю джобу

calcPart это метод которым я считаю, так? а foldLeft(...)(aggregateResult) что тогда?

Это левая свертка. foldLeft(начальное_значение_аккумулятора) { case (текущее_значение_аккумулятора, элемент_коллекции) => текущее_значение_аккумулятора + элемент_коллекции }. На пример List(1,2,3,4,5).foldLeft("") { case (acc, x) => acc + x.toString } будет "12345"

ну фейлов там не будет по идее, просто математические вычисления. все фейлы проверяются до этого так что внутри просто считаем числа, всё если получится то что ищем - тогда отдаем результат, возможно в другой актор который уже и будет писать если нет - тогда нет

Парни, а подскажите кое-что по акке: если мы делаем actorSelection с вайлдкардом, есть ли возможность сделать что-то типа resolveOne, но чтобы получить сразу все акторрефы, которые заматчатся?

Это левая свертка. foldLeft(начальное_значение_аккумулятора) { case (текущее_значение_аккумулятора, элемент_коллекции) => текущее_значение_аккумулятора + элемент_коллекции }. На пример List(1,2,3,4,5).foldLeft("") { case (acc, x) => acc + x.toString } будет "12345"

спасибо, вроде понятно, хотя зачем оно там надо - пока непонял, или это способ склеить данные из ответа?

спасибо, вроде понятно, хотя зачем оно там надо - пока непонял, или это способ склеить данные из ответа?

способ склеить результаты X параллельных вычислений, получив итоговый результат

Спасибо, сейчас попробую)

но опять же, если нужен нормальный мемори-футпринт придётся делать стримы, потому что лениво-параллельных коллекций нет в скале

спасибо, вроде понятно, хотя зачем оно там надо - пока непонял, или это способ склеить данные из ответа?

Да. Если после мапа тип не меняется, то можно юзать reduce. Получается map().reduce(). Редьюс это как фолд, только без начального значения и может выполняться параллельно. На пример List("1", "2", "3").map(_.toInt).reduce(_ + _) == 6

но опять же, если нужен нормальный мемори-футпринт придётся делать стримы, потому что лениво-параллельных коллекций нет в скале

Есть стримы станадартные, они ленивые. Из них можно брать чанками и эти чанки параллельно считать. Но это не точно -- не смотрел в это дело уже лет пять.

Есть стримы станадартные, они ленивые. Из них можно брать чанками и эти чанки параллельно считать. Но это не точно -- не смотрел в это дело уже лет пять.

Нет. Всё просто. Для стрима параллельная версия - это ParVector https://scastie.scala-lang.org/Odomontois/eym3tXSsTYW7Mndr9mOroQ

Подскажите пожалуйста. На курсере курсы scala fp design, scala parrallel programming, spark . Можно ли к ним выполнять задания в бесплатной версии курса?

да

спасибо

Нет. Всё просто. Для стрима параллельная версия - это ParVector https://scastie.scala-lang.org/Odomontois/eym3tXSsTYW7Mndr9mOroQ

Я имею в виду, что чанки берем последовательно, но обрабатываем их содержимое параллельно.

Я имею в виду, что чанки берем последовательно, но обрабатываем их содержимое параллельно.

Типа Stream[ParSeq[JobInput]] ?

Типа Stream[ParSeq[JobInput]] ?

Сейчас попробую записать.

А можно как-то вот такое запараллелить? for (i <- 0 to factorial(j)) { result(sq, i, j) } sq - List[CaseClass]

Просто по идее - такое должно быть достаточно легко параллелить...

Хотя вроде сделал, действительно просто :)

у рэнжа вроде есть метод par, можно сделать (0 until j).par.map { j => ... }

такое самое простое

for (i <- (0 to factorial(j)).par) { вот так сделал

аналогично ведь?

В общем что то в таком духе. Без стримов но с обычным итератором def doMap(c: Char) = c.toInt def doReduce(a: Int, b: Int): Int = a + b val WindowSize = 1024 val xx = scala.io.Source.fromFile(new java.io.File("hello.txt"), WindowSize) .iter .grouped(WindowSize) .map(xs => xs.par.map(doMap).reduce(doReduce)) .reduce(doReduce)

Но сдается мне что пять лет назад я все такие не стандартную библиотеку юзал, а что-то другое.

Не подскажете где еще кроме hh.ru , мой круг да scala jobs в телеграмме глянуть можно позиции для scala junior ? В идеале remote/partime.

Линкедин

Не подскажете где еще кроме hh.ru , мой круг да scala jobs в телеграмме глянуть можно позиции для scala junior ? В идеале remote/partime.

на сайте ткс

ткс ?

тиньков кредитные системы

Они ж вроде не Ткс больше

Да и там нету ремоута

ну желательно же ремоут

ткс только офис

ну врядли ты найдешь джуна на ремоут

Опыт разработки есть. на скале нету.

@optician_owl @odomontois , они искали вроде ( они ткс ) джунов, но у них требование, пройти курс

поэтому всё просто, проходишь курс и идешь на собеседование

Я закрыл уже вакансию

Я закрыл уже вакансию

поздравляю !

Олег может ищет еще

Опыт разработки есть. на скале нету.

та же фигня, только я еще пока на этапе чтения материалов по скале

для себя решил, что пока буду использовать scala в проектах человека, который на это согласился

т.к. есть большой опыт в разработке в целом

поэтому всё просто, проходишь курс и идешь на собеседование

Откликался с сертификатом — не позвали даже на интервью.

Или имеется в виду фулл специализация на курсере? (5 курсов)

это у Олега было требование про курсы, по-моему первые 3 нужно

первые три, да

Олег может ищет еще

САМ Олег?

Не подскажете где еще кроме hh.ru , мой круг да scala jobs в телеграмме глянуть можно позиции для scala junior ? В идеале remote/partime.

А если не удаленка, то какой город?

это у Олега было требование про курсы, по-моему первые 3 нужно

Речь об этих курсах https://www.coursera.org/specializations/scala ?

да

спасибо

@salimonov удаленную работу можно найти на https://www.upwork.com/ или https://www.glassdoor.com/

ну есть чат с вакансиями, он в описании этой группы

@salimonov удаленную работу можно найти на https://www.upwork.com/ или https://www.glassdoor.com/

Ага, я в курсе, просто любопытно было как в Тинькофф решили фильтровать кандидатов по прохождению курсов.

в Скайп чате был чувак как-то