Shub
в смысле, есть разница между “один объект на 50Гб” и “50Гб объектов"
Roman
А, ну это понятно, да
Ayrat
А почему так пренебрежительно?)
Ayrat
Кстати, их божок сюда захаживал пару раз.
Ну и Твиттер читает и ты говорил что возможно и чат читает :)
Romɑn
Romɑn
Только по этому
Nikolay
Nikolay
Ayrat
Кто-то наговнокодил)
Nikolay
А сможешь лучше сделать? :)
Nikolay
https://gist.github.com/Dolfik1/305f1eb8d756539287f4e166d1d1dd17
Ayrat
А сможешь лучше сделать? :)
Уверен что смогу. Не уверен что сегодня. Я вообще кодирую только в рабочее время
Ayrat
Потому что за остальное время мне не платят)
Nikolay
Да смысла нет, прога одноразовая
Nikolay
Да и сильно не улучшишь
Nikolay
F# синтаксис бы только полчаса вспоминал
Doge
А сможешь лучше сделать? :)
А точно есть смысл их в словарь складывать?
Почему бы не сразу писать в выходной файл? Или нужна уникальность?
Nikolay
Уникальность + сортировка
Ayrat
Ты там все в начале в память читаешь потом разом пишешь
Nikolay
Либо память
Nikolay
Ты про Dictionary?
Nikolay
А как ты уникальность сделаешь?
Nikolay
И сортировку?
Pavel
мне другое интересно. зачем брать данные и писать вывод в один и тотже каталог, да еще и с одинаковым расширение файлов
Nikolay
Ну я и говорю, O2
Ayrat
А как ты уникальность сделаешь?
Уникальность через проверку хешсета (его в памяти да).
Сортировку - а по чему сортируем?
Nikolay
Уникальность через проверку хешсета (его в памяти да).
Сортировку - а по чему сортируем?
Потому, что они не по порядку идут
Ayrat
Потому, что они не по порядку идут
Ну, эт херня, эт можно победить.
Первое чтение строим мапу уникальных айдишников с сортировкой сразу (храним в дереве изи). Запоминаем длины объектов.
Аллоцируем весь результирующий файл
Второе чтение и одновременно запись. Скипаем ненужные айди, пишем из сразу в нужные офсеты. Можно параллелить
Igor
Ayrat
Результат получится уникальный и сортированный.
Nikolay
Ну а я о чём
Nikolay
При этом двойное чтение не факт, что быстрее будет
Nikolay
Диск дрючит всё же
Ayrat
Я думаю норм будет. Зато такой алгоритм при том же порядке времени сможет обрабатывать файлы гораздо больших размеров
Ayrat
Так как на первом чтении все же память занимается, то не бесконечно больших
Nikolay
Ayrat
А надо было тензорфлоу!
Nikolay
Пытаюсь заставить tf говорить
Ayrat
Курсач в смысле
Ayrat
Пили тф
Ayrat
Хехехе
Nikolay
Буду в академ отпуске пилить сколько влезет
Nikolay
Когда сессию не закрою
Nikolay
Я датасаентист
Nikolay
Ты чё пёс
Hog
Всем пъятницы!
Hog
Фил Ранжин
gsomix?
Фил Ранжин
Romɑn
Ну чего ты набрасываешь?
У него свое мнение, это же отлично
Фил Ранжин
Да понятно. Смешно это всё просто
Фил Ранжин
Я злюсь, когда мне говорят "нахер ты это пишешь", при это сам вижу кучу статей, и такой "нахер они всё это делают!?"
Romɑn
Hog
Как херово болеть :( Бурбон чо-то не очень помогает :(
Shub
Как херово болеть :( Бурбон чо-то не очень помогает :(
зато он самый вкусный из всех средств, которые не помогают
Hog
зато он самый вкусный из всех средств, которые не помогают
Есть ещё рижский бальзам :) но я его в чай лью
x
Анна
@omgszer зацени, я на своём игрушечном языке для студентов написала
Анна
Анна
Нафиг можно теперь выпилить из него имена для функций, а то с ними неуклюже
Анна
Ayrat
@omgszer зацени, я на своём игрушечном языке для студентов написала
ты написала интерпретатор на котором написала Y комбинатор?