Aragaer
он не грузится, он только отображается
Aragaer
если он поместится в адресное пространство, этого будет достаточно
Aragaer
а если ты к тому же не собираешься туда писать, а только читать, то вообще хорошо
Aragaer
вобщем-то ничем 8)
Aragaer
для прямого доступа по байтам проще - вместо того, чтобы делать seek+read просто берешь нужный индекс
tfhx8
вообще мне нужно считывать рандомную строку с большого файла. К примеру больше 50ГБ быстро. Причем строка может быть разной длины.
Aragaer
соответственно если тебе надо скакать по разным местам, то получается просто меньше операций - ты явно говоришь, какой тебе нужен байт, вместо того, чтобы менять отдельную переменную "позиция", которая где-то хранится
Aragaer
а вот когда речь идет о строках, то внезапно боль, потому что из номера строки ты не можешь узнать номер байта, откуда она начинается
Aragaer
и тебе придется прочитать просто вообще все строки
Aragaer
потому что кто знает - пять байт это одна строка из 4 байт и ньюлайн, 5 байт без ньюлайна или же 5 ньюлайнов?
Tishka17
Tishka17
Alex
ну и можно один раз прочитать и построить индекс
tfhx8
Aragaer
нет, я к тому, что если все строки имеют произвольную длину, тебе придется прочитать каждую
Aragaer
иначе ты можешь что-то пропустить и не посчитать
Alex
как я уже сказал можно прочитать один раз и построить индекс.
Aragaer
это да
Aragaer
ну достаточно начало, потому что конец одной это начало следующей
Aragaer
индекс всех начал строк, а дальше будет проще
Tishka17
tfhx8
а хранить эти индексы в файле текстовом или какой то формат под это придумали?
Tishka17
я вообще думал строка это просто набор символов, а не кусок от переноса до следующего
Tishka17
=D
Tishka17
40Гб текстовый файл?
tfhx8
ну это я гипотетически
Tishka17
а реально?
tfhx8
ну и можно один раз прочитать и построить индекс
А как лучше для производительности? Читать большой файл и делать рандомное смещение и брать строку или разбить большой файл на много мелких и брать рандомно мелкий файл и считывать строку?
Tishka17
"В свое время сайт lib.ru продавался полностью скаченный на DVD диске объемом 4.7gb."
tfhx8
а реально?
реально пока нет, надо сформировать)
Tishka17
так что это за данные? столько текста добыть сложно
tfhx8
Tishka17
ну для теста ты можешь сразу с индексом генерировать или ещё что
Tishka17
что ты собрался эмулировать такой генерацией?
Aragaer
если ты работаешь со строками и читаешь последовательно и не пытаешься куда-то к себе копировать - все остальное съест эту разницу. Если бы ты работал с байтами и с произвольным доступом - mmap быстрее
Aragaer
а гребаный телограм умудряется на лету отъедать сообщения в процессе набора
Tishka17
tfhx8
Tishka17
быстрее - ничег оне делать
Tishka17
так как тебе в результате ничего не надо получить, результат будет тот же
tfhx8
мне нужно получать рандомно строки
tfhx8
тоесть просто б рать рандомно строки и как можно быстрее
Tishka17
Tishka17
почему именно рандомно? может лучше по какому-то алгоритму?
tfhx8
надо рандомно, и как можно быстрее
tfhx8
распределение наврено пофиг, тоже рандомно))
Tishka17
могу предлжить рандомно с таким распределением вероятности:
90% позиция 0,
10% позиция 1
0% остальные позиции
tfhx8
мне так никто не ответил, как быстрее. Из большого файла или же из кучи мелких
Tishka17
сойдет?
Tishka17
да блин ты так и не сказал какая задача и что вообще надо
Forevka ÐΞV
Tishka17
Forevka ÐΞV
хотя могу быть не прав
Forevka ÐΞV
нужно знать насколько быстро питон работает с открытием файла
Tishka17
быстрее всего рандомно выдавать одну из двух заранее считанных строк
Tishka17
так как человек все ещё нормально не объяснил что ему надо, формально под условия задачи подходит
tfhx8
сойдет?
я честно не понял что ты хочешь сказать этим распределением. Я хотел так. Построить индекс. Далее брать рандом из списка индексов и далее уже брать строку со смещенеим
Tishka17
Tishka17
tfhx8
tfhx8
тут еще момент, у рандома индексов может быть свой постоянный seed
Tishka17
with open("file") as f:
x = f.readline()
y = f.readline()
while True:
yield random.choice([x,x,x,x,x,x,x,x,y])
tfhx8
тоесть иногда надо будет брать туже строку рандомную
Tishka17
рандомно? рандомно
tfhx8
Tishka17
сфигали?
tfhx8
я поэтому через seek и хотел
Tishka17
один раз при запуске прочитал две строки и вперед
Tishka17
не вижу что здесь может быть медленно
tfhx8