но это уже реально на любителя, ну и как правило наивное использование кондуитов приводит только к тормозам

тут конечно опять такое дело - питон небост большую часть времени проводит в сишных реализациях

и gc там небось рефкаунт

но это опять разговоры в пользу бедных, да?

алсо там еще что-то мутит шедулер с вводом выводом

я думаю, если килобайтные чанки собирать и их путстрингать то быстрее будет

только что пробовал, шляпа.

но, возможно это надо делать аккуратнее

почему не работают опции gc: 5 MB total memory in use (0 MB lost due to fragmentation)

а есть у нас для ввода-вывода что-то получше, чем ByteString ?

вот такой вот вариант первоначальной программы работает почти так же быстро как ручная оптимизация

import qualified Data.ByteString.Lazy.Char8 as B import qualified Data.ByteString.Builder as Builder import Data.Foldable (fold) import Data.Monoid ((<>)) main :: IO () main = B.interact processAll processAll = Builder.toLazyByteString . fold . process . unzip . map toPairs . B.lines process (l1, l2) = [Builder.lazyByteString e1 <> Builder.lazyByteString e2 <> Builder.char8 '\n' | e1 <- l1, e2 <- l2] toPairs line = (el1, B.tail el2) where (el1, el2) = B.break (== ' ') line

и я думаю потому, что билдер старается чанки побольше делать, если я правильно помню

да в том и дело, что лучше байтстринга нету ничего, разве что какие-то эксперименты в новых прелюдиях типа stdio и foundation

Да, тут видимо проблема в том что строки мелкие и их много.

решили?

нет

я все не могу понять хочу ли я лечь спать или таки ввязаться в спецолимпиаду

Ну что смотря считать "решили"

https://gist.github.com/xgrommx/8da8b1b1c5f55081656ede665e80ab40#file-fix-hs-L45-L46

^

пока таблетка от головы не начала действовать я склоняюсь к спать, но может и впишусь

Ускорили раза в 3, да.

c A16m мой код выше 8 сек работает (первоначальная версия 55)

разве что может он неправильный файл генерит

а какая версия последняя?

ок тогда сына уложу попробую тоже что придумать

спец. олимпиады это увлекательно, но на трень надо ехать.

можно начать отсюда https://gist.github.com/voidlizard/2aa947068808891b2ad3cc148341d5d5

нет вроде на правильный похож

на putStrLn заменить можно?

а то присобачивание символа с копированием строки

в том и смех, что быстрее с присобачиванием

Тормознее

фигасе

надо код посмотреть..

проверьте кто-нибудь мой, он что-то подозрительно сносно работает

вы через час примерно ту и будете? я тогда с компа все посотрю

Я точно буду

я буду

ещё words <$> меня всегда пугает

я в хаккерранке часто ошибался и оно вычисление выносило и повторяло

да тут парсинг первого небольшого файла вообще погоды не делает

а где все, на выводе?

да

хо-хо

а буфферинг поменять?

предполагаю, что главное собирать строки в достаточно большие куски, чтоб накладные расходы на ио уменьшить

со строкового на страничный?

или так не честно?

да, измеряли с буыерингом 4мб блоками

и как?

да без особого результата

если сборка билдером помогает, то тут еще есть что поисследовать, есть билдеры побыстрее байтстрингового

Да, хорошо работает. Только размер строки которую билдер строит великоват как мне кажется.

в смысле?

$ cat 49zGQ6Zt.txt | bs +RTS -A64m -s -RTS > /dev/null 29,258,092,824 bytes allocated in the heap 5,158,088 bytes copied during GC 1,736,984 bytes maximum residency (2 sample(s)) 209,304 bytes maximum slop 74 MB total memory in use (2 MB lost due to fragmentation) Tot time (elapsed) Avg pause Max pause Gen 0 420 colls, 0 par 0.016s 0.017s 0.0000s 0.0039s Gen 1 2 colls, 0 par 0.000s 0.001s 0.0006s 0.0011s INIT time 0.000s ( 0.001s elapsed) MUT time 7.812s ( 8.865s elapsed) GC time 0.016s ( 0.018s elapsed) EXIT time 0.000s ( 0.000s elapsed) Total time 7.828s ( 8.884s elapsed) %GC time 0.2% (0.2% elapsed) Alloc rate 3,745,035,881 bytes per MUT second Productivity 99.8% of total user, 99.8% of total elapsed

Размер чанка великоват

он по идее должен десятки кб быть, максимум резиденси тут вообще из вычитанного первого файла складывается

4096+32кб

можно ещё ленивую бпйтостроку собрать

и мои hPut прогнать

я ленивую и собираю

который копипаста из base неэкспортированных функций

ещё можно посмотреть что в unix

и.к. все эти hPut не на прямую идут

есть же всякие новые эксперименты с написанным с нуля ИО, я никогда к ним не присматривался

но это какой-то изврат, да?

Неидиоматично

наверное

я ничего живого и хорошего не видел

обычно все поверх того что в base но типакруче

ок, я за компом

итак какие файлики брать для тестов?

гист @voidlizard вижу

последний мой https://t.me/haskellru/48135

а файл для тестов?

исходник т.е.

т.е. данные

@odomontois ты как-то рассказывал, что в контестах переписывают хаскелевый ввод-вывод из-за перформанса это не тот кейс?

https://pastebin.com/49zGQ6Zt