У ленивых байтстрок конкатенация дорогая, если кусочки маленькие

о!

1.20

Я так понимаю что ленивые байтстроки - это список строгих байтстрок, а билдер - дерево.

builder сложнее чем дерево

@qnikst 1.20 а сколько было?

~1.40

1.20

фаст билдер?

отключение аллокации второго вектора

вынесением функции создания вектора и NOINLINE

щас запушу

https://gist.github.com/qnikst/a06ebe89274fd56b58372e3f9e37ba76 v-stream.hs

старый файлик тоже оставил

если честно мне это решение уже не очень нравится

т.е. это уже обходит питон в 2 раза по скорости

и в 3 раза меньше по памяти

у меня 1.17

т.е обходит в 3.5 раза

кстати уменьшение -A улучшает ситуацию

только какой-то там косяк на вид

файл не тот?

а не, всё ок

щас посмотрю

все ок

8284 без -A памяти жрёт resident size

в 2.8 раза

1.2s

питон 92k

91728 жрет питон

более, чем в 10 раз

за счёт чего последняя версия быстрее?

но она что-то жесть. сходу такое не напишешь

там наверняка что-то лишнее, но фишка в том, что вектора не аллоцируются вообще

он каждый раз заново файл парсит

итого нагрузка на gc околонулевая

мы аллоцировали строку большую, она сразу ушла в gen 1

ну в смысле два прохода по списку, ну норм, в питоне так же делается

потом просто парсим, скорость парсинга строки заново меньше цены gc

ну не 2 а n

n+1

где n кол-во строк

т.е. тут сменил алгоритм

формально

хм, а нельзя распарсить строго?

до этого так было

а это вариант, где специально мы не парсим все строго в вектор

ожидаемо, что это лучше

есть вариант еще лучше

unboxed вектор отступов делать

но это уже какое-то си

осталось, чтобы Гвидо питонячью версию втюнил

Эко вас то задание зацепило

было бы круто, если б кто-то оформил в виде поста что-то мне подсказывает подобные разборы не оч просто по хаскеллю найти

Скажи еще на хабр написать

если мне кто-то дал времени из-ниоткуда я бы написал

@qnikst вектор отступов - это вектор (смещения, размера) строки?

да

я могу сделать, но если честно не хочу, попробую сейчас баг половить

@optician_owl тут не слишком понятен вывод из всей истории

ну, кроме "используйте FastBuilder"

будут троллить потом этой статьей

что хаскель медленнее питона (если не рвать ж*пу)

Вот мне лучше скажите есть какая структура данных для хранения коротких байтовых строк, чтоб мало очень памяти жрала и быстрое тестирование членства поддерживала? Типа https://pypi.python.org/pypi/marisa-trie

обычный trie ?

bytestring-set

который @lonokhov писал?

и я

там O(ln(n)) поиск членства, и gc frendly

размер O(sum(size строк))

Константы тож значение имеют, знаете ли.

что хаскель медленнее питона (если не рвать ж*пу)

это повод для мыслей мейнтейнеров, не? я с 0 опыта, напишу омерзительно медленный вариант (самый первый который был) и придется проходить по всем граблям потом что из-за опыта опять же займет не 2 дня как здесь, а неделю (и потом осточертеет скорее всего)

bytestring-set

что-то не гуглится.

@lonokhov как мы её называли?

там просто большой чанк строк друг за другом + вектор отступов + и длин

по скорости примерно как bytestring-tree наверное помедленнее даже

@A64m_qb0 а вот на маленьком файле у меня не воспроизводится баг..

а на большом - есть..

ха... на foobar нету ошибки а на строках из файла похоже есть

чота мне это совсем не нравится

руками введенная та строка норм, а head -n 1 > text.txt не работает