https://github.com/jbrestan/OrleankkaMessaging

свиду большая проблема это односерверность решения

@neftedollar @fvnever @auduchinok https://twitter.com/kskrygan/status/1049912749524967426

хотя я думаю двое последних уже в курсе)))

[офф-топикъ] где ж только время найти на то, чтобы всё попробовать. Надо докладик что ли про это на следующий дев дэй нашкрябать... про акку уже делал пару лет назад

свиду большая проблема это односерверность решения

так орлинс по умолчанию расширяем, в отличии от акки

так орлинс по умолчанию расширяем, в отличии от акки

ну вот хотелось бы посмотреть на аналогичное решение для кластера)

Ayrat я тут набрёл на такоэ - https://github.com/fsprojects/FSharp.Collections.ParallelSeq

4 строки и всё запараллелилось донельзя

это как PLinq?

4 строки и всё запараллелилось донельзя

Покажи уж!

let res = Directory.GetFiles("***") |> PSeq.ordered |> PSeq.withDegreeOfParallelism 10 |> PSeq.map (fun f -> async { use file = File.OpenRead(f) return! graphClient.UploadFile(drive, Path.Combine( "***", Path.GetFileName(f)), file) } |> Async.RunSynchronously) |> PSeq.toList

это как PLinq?

Из описания похоже что это просто апи к плинк

а

RunSync внутри что-то беспокоит

RunSync внутри что-то беспокоит

Стоп, фигня какая-то)

А сигнатура у map не асинхронная чтоль? В утиль либу

Может там mapAsync есть?

а как мне асинки внутре стартовать?

Ну таким способом ты конечно добиваешься того что тебе надо но с блокировкой N тредов

да - вот я и говорю - RunSync беспокоит

как бы это вот всё с AsyncSeq поженить )

Ну таким способом ты конечно добиваешься того что тебе надо но с блокировкой N тредов

и практически в 2 раза быстрее чанков + AsyncSeq

и практически в 2 раза быстрее чанков + AsyncSeq

Лол, нереально. Не верю. Тут ИО 99% работы должно делать

за счёт ожидания конца чанка?

Ааа

85 сек вс 50

Так да. Но ты можешь в асинк сек сделать без чанков

Так да. Но ты можешь в асинк сек сделать без чанков

не могу :( Офис 365 нагибается раком через 5 секунд

Индексируешь сиквенс, группируешь по признаку деления индекса - чтобы получить N групп, кидаешь в Async.Parallel

Тут будет тормозить группа) но это лучше чанков

Тут будет тормозить группа) но это лучше чанков

чем?

... |> AsyncSeq.ofSeq |> AsyncSeq.bufferByCount filesChunk |> AsyncSeq.mapAsync (fun c -> c |> Async.Parallel)

чем?

Ты разбиваешь на Н групп и сразу скармливаешь их Н потокам

а.... наизнаку вывернуть

Если есть тормозящие работы, они будут тормозить группу над которой трудится один поток, а не весь чанк над которым трудятся Н потоков

То есть не будет семеро одного ждут

Но если случайно в одну группу попадут только тормозные джобы, то другие потоки не помогут

И гопак всё ещё молодец

)

Но если случайно в одну группу попадут только тормозные джобы, то другие потоки не помогут

это зависит от размера файликов - там апи такой у МС... каждый файл тоже по кусочкам аплоадится

И гопак всё ещё молодец

:)))))

Ребят, а на F# вообще можно как-то относительно эффективно, но идиоматично для фп, реализовать перестановку бит числа по таблице? Или мне стоит бросить эту идею и писать это на C#? Там это, понятное дело, пять строк...

(Почти) всё, что можно сделать на C#, можно сделать на F# как минимум не хуже, если просто переписать C#-код :)

да, это тоже пару лет назад пробовал, но тут именно ноутбуки, а хотелось бы на странице где еще куча всего такая невзрачная textarea в которой фшарп с подруженными либами и автокомплитом =)

https://sharplab.io/

Но если случайно в одну группу попадут только тормозные джобы, то другие потоки не помогут

у меня появилась очень бредовая идея :)

берём список файлов, сортируем по убыванию размера - "размазываем" по N группам

ваще задача высосана из яйца, конечно... последовательный аплоад минуты 4 работает... АсинкСек с чанками - 1.5 минуты, PSeq 50 сек... надо, конечно, гопак попробовать для сравнения :)

Но пока меня не погдоняют - можно поэкспериментировать :)

Гопак ещё быстрее

Гопак ещё быстрее

вне всякого сомнения

Гопак ещё быстрее

Любую дискуссию в чате можно начинать этой фразой.

но, повторюсь, выше моего уровня компетенции

Любую дискуссию в чате можно начинать этой фразой.

:))))))))))

но, повторюсь, выше моего уровня компетенции

Это ответ обычно на "используй гопак"

я неделю назад про AsyncSeq ничего не знал

так что может и до гопака дорасту

Дорастешь, конечно

Гопак ещё быстрее

На ио работе с грамотным разбиением на воркеров будет незаметно

Но да, будет быстрее!!1

Просто, как мы выяснили, только гопак из коробки умеет в одну строчку обрабатывать с постоянным уровнем параллелизма

Просто, как мы выяснили, только гопак из коробки умеет в одну строчку обрабатывать с постоянным уровнем параллелизма

TPL DataFlow не умеет?

TPL DataFlow не умеет?

О ты вспомнил. Вроде умеет, да

Да, там дыбильное API, но, вроде, примерно в одну строчку можно записать

обмажешься как следует var source = new SourceFromSequence( sequence); var block = new ParallelBlock(new ParallelBlockOptions( .... )) block.Subscribe(new Subscription(source,block))

и уже ничего не хочется

только застрелиться

и с собой создателя прихватить

Вообще на тасках эту задачу можно решить как-то так. let parallel degree (tasks: Task<'a> seq) = task { let results = ResizeArray<'a>() let executingTasks = ResizeArray<Task<'a>>() for task in tasks do if executingTasks.Count > degree then let! oneResult = Task.WhenAny(executingTasks) let! unwrapped = oneResult results.Add(unwrapped) executingTasks.Remove(oneResult) |> ignore executingTasks.Add(task) let! rest = Task.WhenAll(executingTasks) results.AddRange(rest) return results; }

Да, там дыбильное API, но, вроде, примерно в одну строчку можно записать

я вот шутил, а нет. Всё такое же дебильное API

https://docs.microsoft.com/en-us/dotnet/standard/parallel-programming/how-to-specify-the-degree-of-parallelism-in-a-dataflow-block

var workerBlock = new ActionBlock<int>( // Simulate work by suspending the current thread. millisecondsTimeout => Thread.Sleep(millisecondsTimeout), // Specify a maximum degree of parallelism. new ExecutionDataflowBlockOptions { MaxDegreeOfParallelism = maxDegreeOfParallelism });

for (int i = 0; i < messageCount; i++) { workerBlock.Post(1000); } workerBlock.Complete(); // Wait for all messages to propagate through the network. workerBlock.Completion.Wait();

Кошмарная либа для упоротых

Да, она отвратительная.

Вообще на тасках эту задачу можно решить как-то так. let parallel degree (tasks: Task<'a> seq) = task { let results = ResizeArray<'a>() let executingTasks = ResizeArray<Task<'a>>() for task in tasks do if executingTasks.Count > degree then let! oneResult = Task.WhenAny(executingTasks) let! unwrapped = oneResult results.Add(unwrapped) executingTasks.Remove(oneResult) |> ignore executingTasks.Add(task) let! rest = Task.WhenAll(executingTasks) results.AddRange(rest) return results; }

тут надо >= ставить, т.к. при енумерации тасков ты получишь его у в запущенном виде

да Polly в сравненьи с этим - образец простоты

а говорили, что и оно отвратительное :)

Polly редкостное говно в сравнении с f#

тут надо >= ставить, т.к. при енумерации тасков ты получишь его у в запущенном виде

ошибка на 1!

ошибка на 1!

да!

да... я понял - буду курить. сам :)

Всем здравствуйте. Имею такой интерфейс: type IService = abstract member StartDownload: uri: string -> dest: string -> progressCb: (int64 -> int64 -> unit) -> completeCb: (unit -> unit) -> unit Как добавить аннотацию к параметрам функции progressCb? Чтобы было например (bytesDownloaded: int64 -> totalBytes: int64 -> unit). На это компилятор ругается.

type BytesDownloaded = int64 ... ... progressCb: (BytesDownloaded -> ...

ну или если совсем упороться type BytesDownloaded = BytesDownloaded of int64

но придётся анврапать

ндэ... интересно почему у F# нет нормального, человеческого способа это сделать. Очень обидно.

потому, что имя параметра к сигнатуре отношения не имеет кмк

это понятно. но упрощает чтение сигнатур. оно не для машин, а для людей должно было быть

Ну так ты заведи typealias

Через тайп алиас я только вижу

на каждый параметр каждой функции? расточительство имен. неудобно.

type ProgressCbFunc = param1: int64 -> param2: int64 -> unit type IServie = ... progressCb: ProgressCbFunc

на каждый параметр каждой функции? расточительство имен. неудобно.

Ну так ты не плоди сущностей ?

пока вижу только в виде комментариев писать progressCb: ( (*байтов скачано*) int64 -> int64 -> unit)

на каждый параметр каждой функции? расточительство имен. неудобно.

только для одного

ндэ... интересно почему у F# нет нормального, человеческого способа это сделать. Очень обидно.

Есть!

Щас я тебе роскожу

буду рад ))

Мне это как-то раз рил было нужно, потому что я юзал генератор коннекторов для WCF, а он в обяз требует имена у аргументов.

Всем здравствуйте. Имею такой интерфейс: type IService = abstract member StartDownload: uri: string -> dest: string -> progressCb: (int64 -> int64 -> unit) -> completeCb: (unit -> unit) -> unit Как добавить аннотацию к параметрам функции progressCb? Чтобы было например (bytesDownloaded: int64 -> totalBytes: int64 -> unit). На это компилятор ругается.

https://github.com/ForNeVeR/Tracktor/blob/363a7eeb469a933e92b8cd1d8ae4355f3a197c71/Tracktor.Contracts/ITracktorServiceCallback.fs#L7