tfhx8
https://docs.python.org/3.7/library/mmap.html
а если файл такой большой, что весь в оперативу не влезет?
Aragaer
он не грузится, он только отображается
Aragaer
если он поместится в адресное пространство, этого будет достаточно
Aragaer
а если ты к тому же не собираешься туда писать, а только читать, то вообще хорошо
tfhx8
он не грузится, он только отображается
я это не понимаю, чем оно будет отличаться от простого open и seek
Aragaer
вобщем-то ничем 8)
tfhx8
вобщем-то ничем 8)
ничем, но гораздо быстрее?
Aragaer
для прямого доступа по байтам проще - вместо того, чтобы делать seek+read просто берешь нужный индекс
tfhx8
вообще мне нужно считывать рандомную строку с большого файла. К примеру больше 50ГБ быстро. Причем строка может быть разной длины.
Aragaer
соответственно если тебе надо скакать по разным местам, то получается просто меньше операций - ты явно говоришь, какой тебе нужен байт, вместо того, чтобы менять отдельную переменную "позиция", которая где-то хранится
Aragaer
а вот когда речь идет о строках, то внезапно боль, потому что из номера строки ты не можешь узнать номер байта, откуда она начинается
Aragaer
и тебе придется прочитать просто вообще все строки
Aragaer
потому что кто знает - пять байт это одна строка из 4 байт и ньюлайн, 5 байт без ньюлайна или же 5 ньюлайнов?
Alex
и тебе придется прочитать просто вообще все строки
ну чисто в теории можно брать рандомный байт и от него искать начало \ конец строки. но гхм... это уже будут не равновероятные случайные строки.
Alex
ну и можно один раз прочитать и построить индекс
Aragaer
нет, я к тому, что если все строки имеют произвольную длину, тебе придется прочитать каждую
Aragaer
иначе ты можешь что-то пропустить и не посчитать
Alex
как я уже сказал можно прочитать один раз и построить индекс.
tfhx8
ну и можно один раз прочитать и построить индекс
тоесть сохранять позицию начало строки и позицию конца?
Aragaer
это да
Aragaer
ну достаточно начало, потому что конец одной это начало следующей
Aragaer
индекс всех начал строк, а дальше будет проще
Tishka17
тоесть сохранять позицию начало строки и позицию конца?
и все таки, откуда задча читать строки?
tfhx8
а хранить эти индексы в файле текстовом или какой то формат под это придумали?
Tishka17
я вообще думал строка это просто набор символов, а не кусок от переноса до следующего
tfhx8
и все таки, откуда задча читать строки?
да просто так от балды с данными большими хочу поиграться)
Tishka17
=D
Tishka17
40Гб текстовый файл?
tfhx8
ну это я гипотетически
Tishka17
а реально?
tfhx8
ну и можно один раз прочитать и построить индекс
А как лучше для производительности? Читать большой файл и делать рандомное смещение и брать строку или разбить большой файл на много мелких и брать рандомно мелкий файл и считывать строку?
Tishka17
"В свое время сайт lib.ru продавался полностью скаченный на DVD диске объемом 4.7gb."
tfhx8
а реально?
реально пока нет, надо сформировать)
Tishka17
так что это за данные? столько текста добыть сложно
tfhx8
так что это за данные? столько текста добыть сложно
можно просто сгенерировать самому для теста
tfhx8
вобщем-то ничем 8)
так ничем или все таки будет быстрее?)
Tishka17
ну для теста ты можешь сразу с индексом генерировать или ещё что
Tishka17
что ты собрался эмулировать такой генерацией?
Aragaer
если ты работаешь со строками и читаешь последовательно и не пытаешься куда-то к себе копировать - все остальное съест эту разницу. Если бы ты работал с байтами и с произвольным доступом - mmap быстрее
tfhx8
ну для теста ты можешь сразу с индексом генерировать или ещё что
ну я хотел сначало сгенерить файл с текстом со строками. Потом его прогнать и сохранить индексы
Aragaer
а гребаный телограм умудряется на лету отъедать сообщения в процессе набора
tfhx8
так блин задача какая?
выявить что быстрее)
Tishka17
быстрее - ничег оне делать
Tishka17
так как тебе в результате ничего не надо получить, результат будет тот же
tfhx8
если ты работаешь со строками и читаешь последовательно и не пытаешься куда-то к себе копировать - все остальное съест эту разницу. Если бы ты работал с байтами и с произвольным доступом - mmap быстрее
вообще задача брать рандомно строку с большого файла. Тут получается с байтами работать? Я просто не силен в этом. Или все таки большой файл разбить на много мелких и брать рандомно мелкий файл и от туда рандомно строку? Мне нужен самый быстрый вариант
tfhx8
мне нужно получать рандомно строки
tfhx8
тоесть просто б рать рандомно строки и как можно быстрее
Tishka17
почему именно рандомно? может лучше по какому-то алгоритму?
tfhx8
надо рандомно, и как можно быстрее
tfhx8
распределение наврено пофиг, тоже рандомно))
Tishka17
могу предлжить рандомно с таким распределением вероятности: 90% позиция 0, 10% позиция 1 0% остальные позиции
tfhx8
мне так никто не ответил, как быстрее. Из большого файла или же из кучи мелких
Tishka17
сойдет?
Tishka17
да блин ты так и не сказал какая задача и что вообще надо
Forevka ÐΞV
мне так никто не ответил, как быстрее. Из большого файла или же из кучи мелких
большой файл, работа с одним дескриптором вместо множества
Forevka ÐΞV
хотя могу быть не прав
Forevka ÐΞV
нужно знать насколько быстро питон работает с открытием файла
Tishka17
быстрее всего рандомно выдавать одну из двух заранее считанных строк
Tishka17
так как человек все ещё нормально не объяснил что ему надо, формально под условия задачи подходит
tfhx8
сойдет?
я честно не понял что ты хочешь сказать этим распределением. Я хотел так. Построить индекс. Далее брать рандом из списка индексов и далее уже брать строку со смещенеим
tfhx8
тут еще момент, у рандома индексов может быть свой постоянный seed
Tishka17
with open("file") as f: x = f.readline() y = f.readline() while True: yield random.choice([x,x,x,x,x,x,x,x,y])
tfhx8
тоесть иногда надо будет брать туже строку рандомную
Tishka17
рандомно? рандомно
Tishka17
сфигали?
tfhx8
я поэтому через seek и хотел
Tishka17
один раз при запуске прочитал две строки и вперед
Tishka17
не вижу что здесь может быть медленно
tfhx8
сфигали?
я тут смещения не увидел