о_О

О_о

а не

+_+

перетупал с близзардовской поделкой

то LOD

нет, то heroes of the storm

во точно

про шторм что то было

ну вот понравилась тебе Скала, а кому-то понравился Хаскел

Это так, да ;) @Visteras подтвердит

Это так, да ;) @Visteras подтвердит

Угу :)

Nice!

Cannes!

Дайте, пожалуйста, актуальную ссылку на чат

https://github.com/scala/scala/pull/5135#issuecomment-232195050

Задача: отдавать через server sent events некие события клиенту, соответственно в Play2 нужен Enumerator\Iteratee. Как его создать в акторе, который, собственно, "слушает" события?

советую апнуться до 2.5, там уже akka streams

возможно вопрос отпадет сам собой) Iteratee так и не осилил

шайзе, а мы-то думали, что особых причин идти на 2.5 нет

спасибо)

сижу бенчмаркаю апчик который утром перевел на 2.5, буст пропускной способности 27%

Надо уточнить что в конфигах play.server.netty.transport=native

# If you run Play on Linux, you can use Netty's native socket transport # for higher performance with less garbage. из комментов

val (caster, channel) = Concurrent.broadcast[Int] channel.push(1) // call on event val e = caster.through(asJson).through(EventSource()) Ok.feed(e).as("text/event-stream")

решение для Enumeratorов

Я таки прошу прощения но Akka 2.4.8 (current stable release) for Scala

Мне кажется benchmark night buid весьма сомнительным занятием

Я таки прошу прощения но Akka 2.4.8 (current stable release) for Scala

Тут про Play было)

Значит я вовремя сказал pardon

Есть вопрос - надо загружать кучу данных, данные разделены по категориям. Загружать хочется в кучу потоков, при этом - еще их асинхронно обрабатывать. Советуют смотреть на акторы с future. Как правильно?

Akka Streams посмотри

Хм... щас гляну

Мы пользуем Apache Camel уже 5 лет

Мы пользуем Apache Camel уже 5 лет

используете cluster-mode?

Хм... тоже гляну. Но у меня скорее разовая штука. Надо просто загрузить и обработать примерно 10-20 млн страниц. При этом они разделены по категориям, и соответственно перед этим необходимо выдрать категории

Так что смотрю в сторону не таких монстров :)

может тогда проще каким-нибудь питоном пройтись, если разовая операция?

не легче тогда написать однопоточную простую софтину которая поработает на 10 минут дольше и обработает всё что надо и забыть о проблеме, если это разовая вещь

Ну однопоточная грузить это будет больше недели. Так что однопоточное даже не рассматривается. А делаю не я, а один мой знакомый) И он себе очень прям таки захотел scala :) Говорит если до конца недели не справится - будет уже писать как может. А пока так хочет пробовать :)

ну с акторами норм будет, создаешь актор на категорию и фигачишь

можно сделать запуск по команде и запускать столько акторов за раз, сколько надо

Просто он все загрузки впихнул в один актор. И там случилась веселая штука - они у него пошли по одному и последовательно

ну как веселая.. ожидаемая

Ожидаемая) Поэтому он обернул это в future)

видимо он не читал о базовых принципах работы Akka

используете cluster-mode?

Из job queue выбираем. Так что никто не мешает запустить несколько процессов.

Ну однопоточная грузить это будет больше недели. Так что однопоточное даже не рассматривается. А делаю не я, а один мой знакомый) И он себе очень прям таки захотел scala :) Говорит если до конца недели не справится - будет уже писать как может. А пока так хочет пробовать :)

да ладно, 20 мнл чего бы то ни было можно обработать за пол часа в легкую

И оно пошло вроде как в несколько потоков по его словам) А потом он попробовал так же сделать вторую категорию) И она не заработала) актор не увидел получение этих данных)

задротство ради задроства

да ладно, 20 мнл чего бы то ни было можно обработать за пол часа в легкую

учитывайте что еще есть пропускная способность канала :)

что-то сомневаюсь, что вы в канал упираетесь

Все зависит откуда он грузит, как быстро ему отдают, но вообще исполтьзовать Future внутри Akka Actor это путь в ад

ог, о 20-ти мнл чего мы говорим сейчас? записи в бд?

я 15 гиговые файлы в один поток просто стэндалон скала приложением ебашил когда надо было разово

может тогда проще каким-нибудь питоном пройтись, если разовая операция?

scala для таких разовых подходит даже лучше

ну как бы самый быстрый вариант =)

не, html страницек

ну как бы самый быстрый вариант =)

ну если он 15 гигов весит - это одно, а если их 15 млн будет по 1-2 кб - уже немного другое

не ну если задача изъебаться, то да

не ну если задача изъебаться, то да

а как тогда не изъебаться?

в лоб сделать =) если разово и есть хотя бы один ссд

ИМХО, что бы быстро что-то кудато загрузить надо как минимум применять известные средства разработки

сделайте Runnable, который загружает одну категорию, и просто закиньте все Runnable с категориями в executor

@Visteras https://github.com/fhopf/akka-crawler-example

вы учтите что прямо для этих целей сделали Akka Streams

ну положим по категориям - можно грузить и в один поток всё, их не много и сделать можно. А вот когда пойдут уже сами данные? Там ведь в любом случае придется грузить их сразу кучу?

ERROR: S client not available

где все есть для обработки потоковых данных

в рамках одной JVM

ну стягивать и разбираться в стримс - тоже доп ресурсы

Хм.. так там соединения будут рваться же? Что уже я так понимаю хорошо все замедлит?

А можно взять бумажку и ручку и нарисовать что есть и что хочется получить и где какие проблемы могут возникнуть... особенно подумать что вы будете делать, если в середине процесса у вас роутер уйдет в перезагрузку... вы потом поедите сначала или всё же будет механизм восстановления, что бы снова не хуячить 7 млн из 15...

Механизм конечно будет. Каждый урл после загрузки будет в базе отмечен как загруженный

Вам еще может подойти work-pull механизм

для вашей задачи оно походу идеально впишется, можно запилить на просто акторах... без необходимости ковырять стримы, которые не так просты для новичков

Да вот смотрю, пока правда не понимаю что в нем такого...

в нём в чём?

51

в work-pull

вот она двухфакторная аутентификация блядь =)

Просто из того что я вижу - там так же просто отправляется все какому-либо актору для загрузки. Но если он работает в очереди - то в чем смысл?

прочитайте еще раз

там обратная связь

у вас есть актор который хранит пул задач

Эм... создание кучи воркеров каждый из которых работает сам?

и есть воркеры которые спрашивают "есть Чё поработать"

да, вы создаётет N воркеров и получает N потоков, каждый атомарно пилит свою задачу, и когда заканчивает идет за следующей

ИМХО, в вашем случае работать будет максимально быстро

Хм... согласен, для загрузки он будет идеален...

wget -c -nc -i + GNU parallel решит вашу проблему -_-

акторы какие-то, акка, для скачивания файлов?

В общем, тут проще самому все написать, чем юзать сторонние решения типа акторов или стримов

тогда уж aria2c -i filewithurls -j NUM

Единственное, используйте pull pattern

Хех, не понравился ему work-pull, но пусть тогда уже дальше сам выдумывает. не успеет - придется ему писать это на php скорее всего :)

а можно матом? :)

Можно :)

Я сам в голос :)