о.ок. И есть требования по использованию памяти какие-то?

файл может быть в терабайты

читать каждую строчку в файле можно лишь один раз (то есть один проход как бы)

но можно прочитать все строчки с начала до середины и с конца до середины

базовый алгоритм - идём с двух сторон и Когда встречаемся выводим

а

оно константа по памяти

ну я бы сделал ммап и в два указателя memchr-ом двигался. Но это будет все равно два прохода на самом деле.

ну я (ну не я, @dmalkr ) так и сделал

https://github.com/kana-sama/middle-string-reader/blob/master/src/Main.hs https://github.com/kana-sama/middle-string-reader/blob/master/src/Data/ByteString/Char8/Extra.hs

если память ограничена и часть условия, то mmap не очень надёжно вроде

с двух сторон идти будет однопроходно, про mmap сказали уже

я не знаю в си какого-то аццки оптимизированного способа искать в обратном направлении, а тупой цикл по символам будет сильно медленнее

почему не надежно?

так то в продукшн с хинтами нормально

поэтому я бы тогда взял условно страницу в начале, страницу в конце. Сравнил число ньюлайнов, вычел бы одно из другого и одно из двух бы сместил на страницу вперед/назад

и.к если у тебя есть место в системе то нифига оно не выгрузит память

так я нахожу соседнюю пару страниц, где есть центральный ньюлайн, а строка соответственно в одной из них, либо на стыке

я делал как в том алгоритме, но читая страницами

сначала и с конца

страницу читаем и выдем поток начал строк

когда кончается читается следующая и т.д.

bytestring это же по сути массив

?

и функция которая потоки консьюмит

да

случайный доступ моментальный?

да

up to скорость доступа к памяти в общем случае

у тебя может быть файл отмппленный в память, который выгружен

моментальным доступ там не будет

если я все правильно понимаю

и сказать по виду памяти так это или нет, ты не можешь

ну так энивей же лучше ммапить, чем этого не делать

ну и может быть в свое память

ну если тебе нужен гарантированный отпечаток памяти, то можно и не ммапить

а юзать sendfile

а получение длины байтстринга тоже моментальный?

или что там ещё с zerocopy

да

Лучше постранично делать. Грузить страницу в конце файла, прямо проходить её. Чтобы SSE сработало. Мой побайтовый способ, когда от конца к началу идём не оптимальный.

строго - дк

а вот SSE все равно не сработает, вроде компилятор не настолько умный

sendfile между декрипторами

там было что-то между памятью и дескриптором

memfd_create ?

в продакшне я бы делал mmap и не парился

это чтобы в памяти дескриптор сделать

а так vmsplice

полезный продакшен сервис

находит среднюю строчку

но они наркоманские

ну так делаешь дескриптор и потом sendfile

словишь сотню раз сегфолт пока напишешь

с vmsplice не нужен деспкриптор

вроде

вообще с удовольствием бы сходил на лекцию того кто расскажет как и когда этим зерокопи стоит пользоваться

vmsplice в пайп делает

вообще да, было бы круто

я бы тоже сходил

а я sax-parser написал

пока не супер-фичаст и надо опакетить, побенчмаркать

проще оказалось все выкинуть и сделать сразу монадный интерфейс, как Kirill предлагал

натягивание стейт машин с продолжениями на монаду мне не понравилось, не осилил

а если сразу монадный сделать, то в общем терпимо

прикольно, а я хотел какой-то машинковый для json запилить

я запилил машинковый, но там интерфейс получился не то для чужих, не то для хищников

а чо mmap будет быстрее чем pread страниц?

ну файл все равно будет подгружен в файловый кеш. После этого pread будет оттуда копировать в буфер, а в mmap ничего больше не будет - тебе просто дадут этот файловый кэш

если map_shared и тем более read only, то даже без copy-on-write, хотя и это не важно

там тормозня вся на переключении в ядро

syscall-ы для чайников я бы послушал

с mmap это будет интерапт на пэйджфаулт, с pread это будет сискол

никто не хочет провести лекцию?

у pread тоже начнется все с пэйджфолта, как мне кажется

вообще знакомые на своём коде с рандомным доступом по файлу пришли к выводу что pread на 10% тормознее mmap+memcpy. но api проще

эээм. А если просто mmap без memcpy?

ну им нужно было memcpy :)

то есть им надо было именно куда-то в нужный буфер перечитать

тогда да, 10% верю.

ну х.з., если всё аллоцировано то memcpy будет куда дешевле сискола и пэйджфолта

memcpy все равно должен откуда-то прочитать