tfhx8
быстрее делать что?
считывать строку рандомно с большого файла)
Алексей
что значит рандомно? просто любую строку наугад?
Tishka17
считывать строку рандомно с большого файла)
считаывать для каких целей? Насколько рандомно?
tfhx8
ты уверен что тебе надо оптимизировать именно это?
да. Просто если будет куча мелких и будет 1000 потоков, при взятие рандомного мелкого файла появляются задержки
Tishka17
почему именно рандомно?
Алексей
ты можешь блин нормально описать задачу?
tfhx8
гораздо больше среднего значения
tfhx8
да текстовой обычный)
Tishka17
100 гигабайт текста?
Алексей
может его просто послать на три буквы с такими задачами?
tfhx8
ты субд пишешь?
да просто жкспериментирую)
Tishka17
да просто жкспериментирую)
в чем чуть эксперимента?
Tishka17
100 гигабайт текста - это немного больше чем все существующие в мире книги
tfhx8
в чем чуть эксперимента?
как быстрее брать рандомнуб строку с больших данных имея ограниченные ресурсы)
Tishka17
брать рандомную строку текста - хрень какая-то. смысл текста же потеряется
tfhx8
по всей видимости кроме смещения ничего нет)
Алексей
тебе надо именно рандомную случайную строку или некоторую i-тую конкретную строку?
tfhx8
тебе надо именно рандомную случайную строку или некоторую i-тую конкретную строку?
вообще случайную, но иногда надо будет брать туже самую рандомную строку. Поэтому для рандома индексов будет seed
c
рандом индексов
tfhx8
где быстрее извелкать рандомно индексы с () или c []? Или также с файла со смещениеим?)
c
ну, очевидно, что [] и () хранятся в памяти
Tishka17
:'-(
Tishka17
хорошо
Tishka17
тогда непонятно что значило "иногда ту же самую"
Алексей
тебе по индексу надо строку брать или рандомно?
Tishka17
тебе по индексу надо строку брать или рандомно?
"рандомно, но иногда ту же самую"
Tishka17
:'-(
Tishka17
ладно, ребята, развелкайтесь
tfhx8
тебе по индексу надо строку брать или рандомно?
имелось ввиду, что индексы, это смещения для открытия определенной строки
Алексей
ты на вопрос можешь ответить нормально или нет?
c
да блять
Алексей
если тебе действительно нужна рандомная строка, то берёшь рандомное смещение (по байтам) в файле, читаешь побайтово назад до байта \n либо начала файла, потом вперёд до \n либо конца файла, вот и будет рандомная строка
Алексей
распределение будет не совсем равномерным, но тебе и так сойдёт
Алексей
если тебе нужно по индексам, то тут всё становится куда сложнее
Tishka17
распределение будет не совсем равномерным, но тебе и так сойдёт
если "и так сойдет", я ему предложил брать рандомно одну из двух первых
Tishka17
вообще непонятно какие требования
Алексей
если "и так сойдет", я ему предложил брать рандомно одну из двух первых
def get_random_string(file): return 'Научись нормально задавать вопросы и формулировать задачи, либо выходи из этого чата и не заходи больше, пока не научишься.'
Tishka17
Алексей
ага
Tishka17
вообще, скорее всего быстрее всего будет разделить файл на несколько частей и разнести по нескольким SSD.
Алексей
1000 сереров с SSD
Tishka17
но так как задача все ещё неизвестна, проще всегда брать одну и ту же строку
Tishka17
1000 сереров с SSD
а вдруг ему надо на одном сервере
Tishka17
он же не сказал что будет дальше
c
а вдруг ему не надо, а он просто херней страдает
Алексей
tfhx8
если тебе действительно нужна рандомная строка, то берёшь рандомное смещение (по байтам) в файле, читаешь побайтово назад до байта \n либо начала файла, потом вперёд до \n либо конца файла, вот и будет рандомная строка
наверно будет тратиться время на поиск побайтово назад и вперед. Лучше предварительно сделать файл с индексами и сразу считывать определенные байты
Алексей
вот не знаешь, не говори
Алексей
я тебе предложил решение
Tishka17
строки могут быть разной длины
от 1 байта до 100 гигабайт?
Алексей
оно быстрое
Tishka17
оно быстрое
но неравномерное распределение
Tishka17
или ты про 1000 серверов?
Алексей
или ты про 1000 серверов?
ну 1000 серверов тоже быстрое
tfhx8
оно быстрое
не понимаю, почему быстрее? тут поиск на начало строки и конца. А если есть заранее индексы, то эти 2 операции получается не нужно делать, а значит в теории должно быть быстрее
Алексей
а ты не уточнил, возможна ли такая операция
tfhx8
чтобы заранее индексы узнать, надо по всему файлу пройтись для начала
ну да, просто 1 раз пройтись, сделать индексы, а далее их грузануть в память и потом генерить из этого файла рандомно смещения и открывать рандомно строку
Алексей
просто?
Алексей
если у тебя файл в сто гигов, то не особо просто
tfhx8
почему?
Tishka17
да просто, ну