Tishka17
это уже не csv
Сережа
Какой-то жисон
Tishka17
или я не понял
Tishka17
давай целиком задачу и код
Сережа
Ну главное не сожрать всю память
Дмитрий
Сережа
ну если мама запрещает трогать терминал
Сережа
или у меня винда (не дай бох)
Nikolay
Удоли
Alexander
вы серьзено?
если проблема в выборке памяти, то решение в дамп построчно на диск, одновременно держа в памяти не больше одного из n файлов то почему нет? если есть ограничение в использовании bash
Aito
Tishka , давно хотел узнать , где ты работаешь ?
Alexander
как насчёт сразу писать дикт в файл, выкидывать и идти дальше? зачем их все в память собирать?
Ну по сути это тоже самое что Sergey предложил. По идее проблемы то нет =) это решение на поверхности
Tishka17
сейчас - в яндексе
Aito
сейчас - в яндексе
Ну а если серьезно ?
Tishka17
серьезно
Tishka17
прям сейчас сижу и пишу код в другом окне
Aito
серьезно
Сколько языков знаешь?
Tishka17
русский, англйиский, чуточку испанский, если поднапрячься могу читать по немецки, но перевести вряд ли
Дмитрий
как насчёт сразу писать дикт в файл, выкидывать и идти дальше? зачем их все в память собирать?
К примеру, записал в файл(колонки ID, JSON) "ключ" и его дикт. Но при дальнейшей обработке, опять встретил этот же ключ, получается дикт нужно расширить, прийдется открывать файл в котором уже лежит этот дикт, искать его и дописывать. В этом идея?
Tishka17
а я говорил, давай целиком задачу
Tishka17
Зело что значит по русски?
таки а почему вы спгашиваете?
Aito
Если судить где мы находимся
Aito
Лан , по точней вопрос , сколько языков программирования знаешь?
Tishka17
с корейским меня хватило на алфавит
Tigran
К примеру, записал в файл(колонки ID, JSON) "ключ" и его дикт. Но при дальнейшей обработке, опять встретил этот же ключ, получается дикт нужно расширить, прийдется открывать файл в котором уже лежит этот дикт, искать его и дописывать. В этом идея?
Предлагаю отсортировать файл по ID (внешней сортировкой) и потом идти. Тогда дубликаты будут гарантированно друг за другом и достаточно помнить только предыдущую строку.
Egor
Зело что значит по русски?
разумеешь тьму древнерусских слов?
ilya
Ага тьму
Tishka17
смотря как считать
Aito
Python, ..?
c
ид всяко меньше жсона и прочего
Tigran
можно хранить только ид, кстати
если надо мержить дикты, то нет
Pavel
кажется, это вообще звучит как кейс для СУБД
Tishka17
откуда там мерджи? в файлах разные ключи что ли?
Tishka17
если в каждом файле лежит технология и и описание, мерждить нечего, будет всегда полная замена
Alexander
откуда там мерджи? в файлах разные ключи что ли?
я так понял как раз наоборот, встречаются одинаковые ключи
Дмитрий
а я говорил, давай целиком задачу
Есть n-кол-во csv файлов вида "key","topoly","value". topology - может быть 3 типов. Нужно пройти по всем csv и собрать один в виде: поля - "ID","JSON_DATA" пример: "key", "{"topology_type_1": "value","topology_type_2": "value"}"
Tishka17
Предлагаю отсортировать файл по ID (внешней сортировкой) и потом идти. Тогда дубликаты будут гарантированно друг за другом и достаточно помнить только предыдущую строку.
тогда уж я бы предложил так: 1. За один проход составить карту id - [(номер файла, позциия),...] 2. Пройтись по мапе, мерджить и сохранять
Tigran
а внешняя сортировка проходит файл один раз
Tigran
линейно
Tigran
и потом ещё один раз проходит N файлов, чтобы смержить
Tigran
O(size) последовательных дисковых чтений
Alexander
тогда 0 шаг, положить на SSD
это не интересно, решение алгоритмического вопроса железкой =Р
c
произошло кормление файлов СУБД
Pavel
даёшь индексированные цсвшки!
Tishka17
линейно
ну уж линейно.
Tishka17
даже если по диску будет линейно, в памяти все равно не быстро
Tigran
ну уж линейно.
ну да, проходишь файл, собираешь строки в память, пока влезает, регулярно сортировка+флаш
Tigran
вангую, будет быстро
Tishka17
вот только блоки потом все равно мерджить
Pavel
можно предварительно партиционировать исходные данные, хех
Pavel
получится этакий зародыш кликхауса
Tishka17
тогда уж оценить сколько будет максимальный размер json, писать блоками, а потом за второй проход сжать
c
вас куда-то не туда понесло
Tigran
короч, disk seek стоит примерно как чтение 500 КБ данных и примерно как сжатие 3 МБ зипом
Tigran
это вообще мёртвый путь
Tishka17
ну в прицнипе, если всего 50 гигов, это буквально пара блоков будет, можно наверно и отсортировать в памяти
Anonymous
./main.py я не смогу так запустить скрипт если использую venv?
Anonymous
Ну, попробуй
не получается
Anonymous
точнее почему не получается хочу выяснить
Денис
Значит не можешь, мне жаль