если поджимает, надо использовать fast-builder

то нужно улучшать GC

скорее почему unlines нормальные чанки не делает

а что gc ?

в первых приближениях gc почти ничего не делал

ну вариант с векторами это улучшение GC

и.к. вектор более дружелюбен к нему чем список

не идеал конечно

если хочется идеала то нужен unboxed вектор отступов и длинн и high level интерфейс

но это уже какой-то c-style

но печально то, что в питоне быстро работает первый в голову пришедщий вариант, а тут надо адово заморочиться

но правда, не в питоне, а в pypy

да

а pypy в питоне это мейнстрим?

т.е все его по умочланию используют?

ну join это почти builder

и.е. в общем-то билдер и есть

только в строгую строку

переобобщали

в итоге в питоне огромная строка а у нас 100500 мелких и это не дефолтных интерфейс

пора писать свой кофаундейшн?

я хочу streaming в стиле iteratee

там огромная строка какого размера?

на каждое слово из первого столбца - 1 строка вроде или одна на все

секунду

вероятно то, что байтстринг в куче мест собирает строки не билдером, а просто из зиллионов 4хбайтных чанков обусловлено исторически, билдер то недавно появился

возможно исправления всего этого ужаса будут приняты

@voidlizard 1 строка вида a1b1\na1b2...

на каждое слово из первого столбца

Turtle.Bytes это, в каком-то смысле в стиле итерати

т.е. фолды вместо списков как в стриминге

мне нравилось в iteratee (не снойманоиновом, а олеговом)

так то что на IO там честно делался буффер и через hGetPutBuf бвло

т.е. реально был контроль за памятью и как оно работало

начиная с enumeratee эти полимеры пропали

прикольно когда будут линейные типы их можно применить к этому делу, что оно безопасно будет при этом

надо кстати посмотреть streaming-bytestring чтобы понять нравится ли оно мне

о, получилась быстрая версия без извращений

м?

но я уже не понимаю, почему

давай код и сколько по сравнению с моим

2.7 против 2.04 у твоей версии, но без fast-builder

https://gist.github.com/voidlizard/686accf784a329d8cf0b8c69f8e4a872

прикольно,мне моя понятнее, но тут тоже норм

если почему zip а не map?

map (\s -> p <> s)

действительно

или сразу fold как у меня

foldMap

мы ж потом все равно в моноед собираем

почти без разницы это всё

да

ну это readability

скорость изменять не должно

2.17 теперь

норм

но эта версия теперь на человека похоже, т.е такое можно сразу написать

и что интересно - оно норм работает с обычным билдером

тут кстати строки меньше, может оно и разумнее

надо будет вечером мое посмотреть

и главное баг

его понять/починить охота

баг где?

только всё равно не могу никак вывод сделать из этой истории, кроме того, что наиболее идеоматичный код на х-ле будет тормозить, пока его не выправишь кувалдой

но в итоге - даже с использованием неизвращенных инструментов работает в два раза быстрее pypy

"используйте builder"

"выбирайте размер блока, который пишете"

вывод правильный

@qnikst баг, кстати, воспроизводится без оптимизации и на 8.2

-O0?

охренеть..

похоже сегодня весёлый вечер будет

да

но чудеса не заканчиваются на этом

вот это - https://gist.github.com/voidlizard/686accf784a329d8cf0b8c69f8e4a872 работает 2.75

а вот это https://gist.github.com/voidlizard/686accf784a329d8cf0b8c69f8e4a872#file-bswtf42-hs

в два раза дольше

deforestation не срабатывает ?

кто-то тут говорил, что списки хуже векторов?

нате