никто не встречал такого с grpc?

Т.е. в зависимости от Materializer способ работы может быть разный

Я полагаю, что всё это задумано для того, чтобы однажды сделать какой-нибудь ClusterMaterializer, типа, делаешь стрим, а материалайзер сам решает, как распилить его по нодам

Но почему бы не распилить стрим по чанкам? Как это связано с материалайзерам. Вон в фс2 так и сделано. Сорян что ятакой тупой

Но мне придется теперь самому какой-то stage с буффером писать только ради того, чтобы батчами в базу писать. Я же не буду поэлементно это делать

Но почему бы не распилить стрим по чанкам? Как это связано с материалайзерам. Вон в фс2 так и сделано. Сорян что ятакой тупой

в fs2 нет дуальности Graph-Executor

В akka-stream ты сначала делаешь безжизненную абстрактную схему, что обеспечивает высокое переиспользование компонент

С одной стороны

Но мне придется теперь самому какой-то stage с буффером писать только ради того, чтобы батчами в базу писать. Я же не буду поэлементно это делать

почему нет?

И мощные возможности для оптимизации с другой

Жертвуя динамичностью формы

Но мне придется теперь самому какой-то stage с буффером писать только ради того, чтобы батчами в базу писать. Я же не буду поэлементно это делать

зато тебе не приходится думать о back-pressure

Мощная возможность оптимизации - это был бы доступ к чанкам. Ну а так ради славного арзитектурного коммунизма сделали вот так. В акка-стримах единственное что удобно, это бекпрешшер

Ну да, трейд-офф

зато тебе не приходится думать о back-pressure

а почему не придется? ведь батч тоже может затупить

И еще интересно все же, когда это все с кластером подружат

Но мне придется теперь самому какой-то stage с буффером писать только ради того, чтобы батчами в базу писать. Я же не буду поэлементно это делать

а что-то типа stream.buffer(1000, OverflowStrategy.backpressure) не особо применимо в твоем случае?

а почему не придется? ведь батч тоже может затупить

ну ему не придётся думать, сколько элементов этого вот батча сейчас готов принять даунстрим, акка думает за него

а что-то типа stream.buffer(1000, OverflowStrategy.backpressure) не особо применимо в твоем случае?

вернее не буффер а вот это http://doc.akka.io/docs/akka/2.4.17/scala/stream/stages-overview.html#groupedwithin

Я бы хотел stream.buffer(1000, 1 second). А бекпрешшер исключительно по фьючам определять.

groupedwithin + mapAsync

вроде как раз должно сработать

+ Future.traverse ?

Да-да, я так и делаю.

оххх бедный

@Emiya402 нахера ты эт делаешь?

Потому что поэлементно очень медленно. Из кафки даже больше 100 сообщегий в секунду не тянет.

И еще интересно все же, когда это все с кластером подружат

так чтобы это работало нормально и бесплатно - никогда у них для акка-кластера защита от сплит-брейна только в платном расширении

а из кафки как читаеь?

100 сообщений? да ты прикалываешься

Ну вот медленный вариант -это кафка стримс как раз без groupedWithin.

а что мешает в базу по одному сообщению сохранять?

а что мешает в базу по одному сообщению сохранять?

Оче медленно

сколь?

и что за база

Но почему бы не распилить стрим по чанкам? Как это связано с материалайзерам. Вон в фс2 так и сделано. Сорян что ятакой тупой

так он пилится мапом по чанкам (xттп)

100 сообщений из-за back pressure с базы?

сколько у базы коннекшинов в пуле?)

База постгрес, и скорей всего да, из-за базы. Но это детали, я не готов ответит за них. Я запили везде groupedwithin mapasync + future, все летает. Показалось странными что этого нет на уровне апи

10 коннекшенов, это важно? Пишу через слик

Но мне придется теперь самому какой-то stage с буффером писать только ради того, чтобы батчами в базу писать. Я же не буду поэлементно это делать

зачем?

есть же там агрегации всякие

База постгрес, и скорей всего да, из-за базы. Но это детали, я не готов ответит за них. Я запили везде groupedwithin mapasync + future, все летает. Показалось странными что этого нет на уровне апи

и сколько в секунду выходит?

а, уже написали

и сколько в секунду выходит?

Ну там зависит. Вроде сколько хочешь, но база начинает по 2 секунды update выполнять уже на 10к сообщений в секунду. Так что точно не измерю

Да я и не умею больше в кафку писать, у меня кафка в докере падает постоянно

Ну там зависит. Вроде сколько хочешь, но база начинает по 2 секунды update выполнять уже на 10к сообщений в секунду. Так что точно не измерю

update?

ты уверен, что у тебя с индексами все ок?

конечно ок, перестраиваются же)

хотя на 10к может уже и без индексов тупить

Тут ведь автор Либератора сидит? Хочу про интероп с котами узнать.

да, @notxcain

конечно ок, перестраиваются же)

Тут дело не только в перестраивании, но ещё и в количестве индексов в таблице

Тут ведь автор Либератора сидит? Хочу про интероп с котами узнать.

Я сейчас от компа уйду, можешь в личку написать вопросы, как вернусь - отвечу (позже вечером)

https://github.com/scala/scala/releases

штормит ))

миленько, шуточки imminent

тем временем akka 2.5.0 завезли

UPDATE ALL THE THINGS!

Анонса не было судя по всему

ребята, я тут раскуриваю понемногу спарк. можно опрос устроить - кто его и для чего юзает? откуда и куда пишет?

ради интереса просто )

чтобы размазаться по кластеру писать и читать пофиг откуда и куда

что значит "разматься по кластеру"?

ERROR: S client not available

звучит как вмазаться винтом

недалеко от истины

ETLщина в основном

ну а если серьезно?)

для ML не зашло

ну лан, в моих кейсах не зашло

т.е. прочитал, ETL и записал куда-то?

с трансформациями

через стриминг?

зависит от данных где-то стримминг, где-то батч

т.е. прочитал, ETL и записал куда-то?

На дискету пишу

Что-то со скалолаза не качает толком.

Поставь black sun empire, они нор качают

Бенефис петросяна

Я лучше Panacea, наверное.

кто такой Рапасаев?

а что имеется ввиду под "не качает толком"?) у меня за минуты 2 скачало последний выпуск

кто такой Рапасаев?

https://ru.m.wikipedia.org/wiki/The_Panacea_(музыкант)

а что имеется ввиду под "не качает толком"?) у меня за минуты 2 скачало последний выпуск

Скачал четыре мегабайта и встало. Семнадцатый выпуск.

Видимо корпоративная сеть резать начала.

Официально теперь http://akka.io/news/2017/04/13/akka-2.5.0-released.html

Сегодня как раз двум чувакам из тайпсейфа вопросы задавали про этот релиз и вообще

Меня интересовало, акка тайпед -это ок иои еще переделывать будут. Сказали, что думают что на этот раз норм. И почему такие медленные релищы у слика- они его как бы больше не поддерживают, отдали совсем в опенсорс

забирай б-же, что нам негоже

я так и думал про слик)

зарелизили 3 версию совсем не похожую на 2ую и концы в воду

Меня интересовало, акка тайпед -это ок иои еще переделывать будут. Сказали, что думают что на этот раз норм. И почему такие медленные релищы у слика- они его как бы больше не поддерживают, отдали совсем в опенсорс

давно пора слик в мусорку, правильно

тут только недавно его советовали как DB Acess Library в этом же чатике. лицемеры)

тут только недавно его советовали как DB Acess Library в этом же чатике. лицемеры)

Кто?)

кто-то, буквально третьего дня

Уапрос, почти про слик: есть ли нормальные либы под Scala для работы с DynamoDB?