ща!

да, так можно

AsyncSeq.bufferByCountAndTime

есть над чем подумать :)

спасибище!

есть над чем подумать :)

Чтобы взять гопак?)

Там в стримах оно есть уже. Stream.mapPipelinedJob

ты прям склоняешь :)

И работает так как тебе надо!

Не чанками, а с постоянным уровнем параллелизма

я, вот смотрю на AsyncSeq.bufferByCount - те же чанки :(

Так что один таймаут из чанка не подвесит весь чанк и программу впридачу

Да, я тебе говорил!

Я там даже ишью год назад сделал

Мне сказали - так и задумано

а iterAsyncParallelThrottled -> Async<unit> :(

Стримыыы

(гопак)

ну AsyncSeq - оно тоже стрим... по идее

для моей задачи гопак (наверное) - из пушки по воробьям

Ну как знаешь.

Всегда можешь навелосипедить воркеров на мейлбоксах

https://github.com/gusty/ScrapeM

Рекурсивненько и все такое

О, с этим парнем в Дублине пиво пил

О, с этим парнем в Дублине пиво пил

с gusty?

Да. Он в Джете

круто, привет ему)

Directory.GetFiles(source) |> Seq.filter filterFn |> Seq.map (fun f -> async { use file = File.OpenRead(f) return! this.UploadFile(drive, Path.Combine(target, Path.GetFileName(f)), file) }) |> AsyncSeq.ofSeq |> AsyncSeq.bufferByCount 10 |> AsyncSeq.mapAsync (fun c -> c |> Async.Parallel) |> AsyncSeq.concatSeq |> AsyncSeq.toArrayAsync

те же чанки, но с человеческим лицом

те же чанки, но с человеческим лицом

вот без либы - https://gist.github.com/Szer/60c9c88bec822463bd4af86371f2663b названия функций не смотри, это делалось под какую-то задачу

let requestMasterAsync limit urls = let results = Array.zeroCreate (List.length urls) let chunks = urls |> Seq.chunkBySize limit |> Seq.indexed async.For (chunks, fun (i, chunk) -> chunk |> Seq.map asyncMockup |> Async.Parallel >>- Seq.iteri (fun j r -> results.[i*limit+j]<-r)) >>- fun _ -> results

если сортирнуть по убыванию размера файлов то ожиданий неполных чанков должно быть поменьше

если сортирнуть по убыванию размера файлов то ожиданий неполных чанков должно быть поменьше

я не знаю про GetFiles, но вот EnumerateFiles ленивый и если в процессе работы с папкой что-то происходит, то это повлияет на итерацию

вот пул воркеров на гопаке упакованный в класс https://gist.github.com/Szer/e9039e19c407a496efde44126c349626 для продакшна там есть другая версия

GetFiles: string -> string []

GetFiles: string -> string []

это очень хорошо

вот без либы - https://gist.github.com/Szer/60c9c88bec822463bd4af86371f2663b названия функций не смотри, это делалось под какую-то задачу

Ну, это какой-то высший пилотаж

я только не понимаю, как сохраняется параллелизм при недостатке асинков в чанке?

я только не понимаю, как сохраняется параллелизм при недостатке асинков в чанке?

здесь никак

в гопак варианте очень даже

чанки потому и говно что ты ждёшь весь чанк

да

и если там один запрос в таймаут попадёт, то бида

вот смотри гопачок!

let rec loop usage degree = degreeCh ^=> loop usage <|> doneCh ^=> (function | Choice1Of2 x -> Src.value goodOutput x | Choice2Of2 e -> Src.value badOutput e >=> fun _ -> loop (usage - 1) degree) <|> if usage < degree then inputCh ^=> (worker >> Job.catch >=> Ch.give doneCh >> Job.queue >=> fun _ -> loop (usage + 1) degree) else Alt.never()

кстати - ракета/рыба присутствует

и если там один запрос в таймаут попадёт, то бида

ретрайну всё

ретрайну всё

я имел в виду что ты ждать будешь весь чанк

хотя там уже все джобы отработали

семеро одного ждут

Воробушек покакал :)

семеро одного ждут

да это ясно всё

мне ж ещё на пальцах коллегам объяснять

а вот в гопак варианте!!1 даже отдельные аутпуты есть для плохих и хороших окончаний. Т.е. снаружи можно принимать решения о ретрае

и аутпуты в виде стримов, т.е. можешь их далее как хочешь насиловать

короче, одни бонусы

а да, ещё он динамически скалируемый) т.е. можно прям на ходу добавлять убавлять параллелизма

как тебе такое, Илон Маск?

надо курнуть сначала!

выпить!

И немедленно выпил. (с)

я подожду видосика твоего доклада... послушаю, помедитирую... и потом... :)

я подожду видосика твоего доклада... послушаю, помедитирую... и потом... :)

там без гопака обошлося

пока что это выше моего уровня компетенции

AsyncSeq я ещё хоть как-то понимаю

Сортировка по убыванию размера сократила время аплоада на 20%

решил остановиться :)

Немного оффтопик: посоветуйте почитать короткий и language-agnostic список концепций, связанных с абстрактными вычислительными процессами? От чисел и бит информации до всяких реактивных потоков и свободных монад?

Немного оффтопик: посоветуйте почитать короткий и language-agnostic список концепций, связанных с абстрактными вычислительными процессами? От чисел и бит информации до всяких реактивных потоков и свободных монад?

Будем ждать гуру реактивных потоков Ayrat

По фри монадам у Марка Симана есть статьи

Правда, они не отвязаны от языка

и у DeGoes'a

Ну да

По реактивщине хз

Эрик Мейер

Вроде это все педалировал и писал пейперы

Мейер так ваще RxLib написал, которую на все языки мира портировали

Пожалуй, я ищу именно список: про что-то конкретное найти информацию несложно, если знать, что искать. Хочется обзор идей, на которые случайно можно и не наткнуться

Сам из такого нашёл "Concepts, Techniques, and Models of Computer Programming", но это целая толстая книга на несколько семестров

Ну я не слышал про список идей

Это ж не матан

Нуууу

Очень близко к абстрактной алгебре, разве нет? :D

Это ж не матан

Компутер сайнс!

@vshapenko Я тут ща запилил эту хрень, про которую ранее спрашивал совета, как отдельный нугет - с репкой, билдом и паблишом пэкеджа в VSTS Artifacts feed

Ребят, а на F# вообще можно как-то относительно эффективно, но идиоматично для фп, реализовать перестановку бит числа по таблице? Или мне стоит бросить эту идею и писать это на C#? Там это, понятное дело, пять строк...

По какой таблице? :)

Произвольной таблице, которая задаёт соответствие позиций битов результата битам исходного значению. В общем, я лучше покажу, как это у меня сейчас реализовано, минутку...

https://pastebin.com/R975UC3n

Ну, цикл - рекурсия

Битовые операции есть

Хм. Там вообще можно свёрткой по «таблице» сделать

foldBack

Логично. Я об этом даже как-то не подумала.

@VVatashi как успехи? :)

Ну, вот к чему я пришла: https://pastebin.com/UpAuYevk