Tishka17
я, конечно, сейчас издеваюсь специально, но ты блин задачу не можешь нормально сформулировать
tfhx8
надо за микросекунды строку вытаскивать в 1000 потоках
Tishka17
если файл будет 100ГБ?
так я же сказал: 90% что вернется первая строка, 10% что вторая. И 0% что остальные
Tishka17
вполне себе рандом
Tishka17
так все рандомно
Tishka17
просто у некоторых вероятность 0%
Tishka17
на самом деле, я думаю там вероятность 0.0000001%
Tishka17
хотя может меньше
Forevka ÐΞV
надо за микросекунды строку вытаскивать в 1000 потоках
тебе нужно тогда засунуть в оперативку его
Forevka ÐΞV
или хотябы поделить на чанки некие
Forevka ÐΞV
и ходить уже по ним
Tishka17
тебе нужно тогда засунуть в оперативку его
по-моему ему нужно сформулировать что он хочет добиться этим "рандомом"
Tishka17
10 Гигов?
Tishka17
а. 100
tfhx8
тебе нужно тогда засунуть в оперативку его
надо иногда брать туже самую рандомную строку
Forevka ÐΞV
оперативы не хватит
судя по 1000 потоках ты сидишь с сервера
Tishka17
ну и 100 можн найти
Forevka ÐΞV
такчто хватит
Forevka ÐΞV
но это нужно запоминать кол-во генераций из этого зерна
Tishka17
по-моему он решает несуществующую задачу
tfhx8
вариант засунуть все в оперативу не подходит. А что если гипотетически файл будет 1ТБ.
Tishka17
господи
Forevka ÐΞV
проще вывести какойто алгоритм
Tishka17
ты только что это сказал
Tishka17
давай реашать реальную задачу
Tishka17
иначе я тебе щас память на мемристорах предлжу юзать и 1000 серверов
tfhx8
Вот построить карту индексов и брать рандомно индекс а далее открывать со смещением вроде самый нормальный, но есть еще варианты кроме оперативы? Просто в оперативу ен влезет. В оперативу можно индексы засунуть
Forevka ÐΞV
вот тебе список индексов
Forevka ÐΞV
чтоб узнать смещение индекс*размер_чанка
Forevka ÐΞV
дальше перемещаешь указатель на позицию начала чанка и читаешь его
Tishka17
Tishka17
текстовые
tfhx8
размер_файла / размер_чанка
так мне надо именно строки же считывать. А в чанке я так понимаю может быть не полная строка
Tishka17
только их реально нет
Алексей
вы тут субд изобретаете?
Tishka17
я пытаюсь выпытать задачу
tfhx8
ещё раз: какая задача?
я же сказал, надо рандомно считывать строки с большого файла). Мне надо это сделать как можно быстро. Вот я и спрашивал. Посоветовали все таки считывать все с одного большого файла, используя смещения и индексы, чем разбивать файл на кучу мелких. По всей видимости больше вариантов нет
c
большой файл за микросекунды читать?
Tishka17
если читать и ничего не делать с этим, проще не читать
tfhx8
дальше ничего
Tishka17
тогде не читай
Tishka17
результат тот же
tfhx8
задача как можно быстрее брать строку в 1000 потоков
Tishka17
быстрее не знаю
tfhx8
тут рекомендовали делать смещение, чем кучу мелких
Tishka17
я рекомендую начать с формулировки задачи и требований
c
а за сколько реально?
я не очень понимаю, что ты хочешь сделать
c
вычитать файл в память
Алексей
чоблин
какая задача, такое решение
Forevka ÐΞV
Tishka17
какая задача, такое решение
задача "прочитатать рандомную строку и ничего с ней не делать"
tfhx8
я не очень понимаю, что ты хочешь сделать
надо строку рандомно считывать быстро с большого файла
Tishka17
начнем с того что у тебя строки не одинаковой длинны
начнем с того, что результат у "ничего не делать с рандомной строкой" и "ничего не делать со строкой ' '" одинаковый
Tishka17
ты же с ней ничего не делаешь
c
задача "прочитатать рандомную строку и ничего с ней не делать"
мб он хочет заранее прочитать, чтоб потом ее не из файла достать, а из памяти
c
кеш так скажем
Tishka17
он хочет так сделать много раз
tfhx8
надо выйвить метод, чем и как быстрее это делать
Tishka17
целиком задача какая?
Tishka17
ты уверен что тебе надо оптимизировать именно это?
c
быстрее делать что?
искать рандомную строку в файле, видимо