Ребят, как Правильно читать большие файлы питоном?

И как вы это делаете/делали? Где можно почитать бест практис?

Ребят, как Правильно читать большие файлы питоном?

Чанками

построчно, байтами, смотря что за файлы

объект файла - ленивый генератор

Чанками

В офф доке же пример

построчно, байтами, смотря что за файлы

ну вот есть у меня json на 1гб

нужно прочитать

Ребят, как Правильно читать большие файлы питоном?

в чем разница, питоном или не питоном? зависит от того, что тебе нужно, если алгоритм ленивый - можешь читать по мере необходимости, если нужен весь файл - его придется прочитать весь

ну вот есть у меня json на 1гб

тебе правда нужен весь или только некоторые поля?

тебе правда нужен весь или только некоторые поля?

вот тут трабл, есть 1 файл на гб и есть файл на 10мб, их нужно связать

тип как товар - категория

там и там json объекты

тебе нужна база данных, поздравляю)

тебе нужна база данных, поздравляю)

но но, в том и прикол

что это выгрузка з бд

значит надо делать обратно вгрузку

тебе нужна база данных, поздравляю)

+

засунь обратно и соедини

мне нужно собрать в кучу и над каждым объектом провернуть кое-что

засунь обратно и соедини

низя

значит надо делать обратно вгрузку

Хех

значит надо делать обратно вгрузку

заказчик дает файлы

мы просили

нас послали

сказали "что есть то и даём"

значит надо делать обратно вгрузку

^

Перегони в свою бд

а как скорость?

где я больше потеряю? при загрузке всего в какую-нить nosql и потом обратно или если загружу всё и сразу?

если брать в меньших маштабах, там для примера 80мб 16мб и 7мб - 3 файла

если брать в меньших маштабах, там для примера 80мб 16мб и 7мб - 3 файла

Это не много

прост у мя сейчас как, я читаю по одному объекту с первого файла, беру его индексы, запихиваю их в генератор, потом второй файл, потом третий, потом я беру каждый обьект с первого, ищу релейшены между всеми и тогда уже достаю обьект из файлового стрима и загружаю в программу

прост у мя сейчас как, я читаю по одному объекту с первого файла, беру его индексы, запихиваю их в генератор, потом второй файл, потом третий, потом я беру каждый обьект с первого, ищу релейшены между всеми и тогда уже достаю обьект из файлового стрима и загружаю в программу

как-то это все громоздко выглядит.

как-то это все громоздко выглядит.

если что-то будет понятно - вот

https://pastebin.com/Exmd2Z5G

это накидал на скорую руку

"для себя"

ужас какой. парсишь json руками?

впрочем не удивительно, с учетом размеров

ужас какой. парсишь json руками?

да

https://pastebin.com/Exmd2Z5G

Что-то как-то не оч

Что-то как-то не оч

я вот тоже так думаю

я вот тоже так думаю

https://stackoverflow.com/questions/444380/is-there-a-streaming-api-for-json

поетому и пишу сюда

вообще те кто выдают гигабайтные дампы базы в JSON очень сильно не правы.

https://pastebin.com/Exmd2Z5G

мне очень нравятся у тебя строки type(...) is list и type(...) == dict

т.к. JSON изначально не очень создавался для потокового парсинга.

мне очень нравятся у тебя строки type(...) is list и type(...) == dict

говно

знаю

не определился что ли? xd

is

да

чВ

я писал его сегодня в 6 утра

ладно бы ещё одинаково написал

мне уже было похуй, лишь бы работало

я писал его сегодня в 6 утра

isinstance

вообще те кто выдают гигабайтные дампы базы в JSON очень сильно не правы.

может, когда-то у них будет апи

isinstance

там и такое есть

или нету

хз кароч, на очень скорую руку писал, сорри

https://stackoverflow.com/questions/444380/is-there-a-streaming-api-for-json

спасибо

окей, пусть я json прочитаю стримом, как мне правильно его мерджить?

ERROR: S client not available

https://stackoverflow.com/questions/6886283/how-i-can-i-lazily-read-multiple-json-values-from-a-file-stream-in-python

https://stackoverflow.com/questions/6886283/how-i-can-i-lazily-read-multiple-json-values-from-a-file-stream-in-python

сейчас на yajl-py смотрю

и splitstream

окей, пусть я json прочитаю стримом, как мне правильно его мерджить?

лучше в какую-нибудь таки базу данных его запихай.

мне вот скорость важна

у мя вообще задача получить что-то и засунуть куда-то. Т.е. от кастомера я получаю данные в json и пихаю в нашу систему

но от кастомера мы можем получить не только json, а и xml, доступы в еластик сёрч, какую-либо бд и тд

и пихать в нашу систему нужно по маппингу

и это всё должно быть очень быстро

и в реалтайм

архитектура уже есть, базовые вещи заложили, но вот с появились json файлики на 1гб и все присели

раньше json с еластика тягали

теперь нужно с файлов

но от кастомера мы можем получить не только json, а и xml, доступы в еластик сёрч, какую-либо бд и тд

для XML уже десяток лет есть SAX парсеры, но нужно вообще смотреть. не могу сказать насколько это будет быстрее, медленнее.

для XML уже десяток лет есть SAX парсеры, но нужно вообще смотреть. не могу сказать насколько это будет быстрее, медленнее.

с xml уже написано, там проще задача стояла, пока мерджить ничего не нужно

окей, буду смотреть по дб

спасибо

Ты не туда смотришь потому что

self.graph = {} # dictionary for graph attributes

Ты не туда смотришь потому что

а куда смотрет)

а куда смотрет)

G.nodes, например

документацию-то можно почитать

документацию-то можно почитать

Я был на первой странице)

какие мысли насчет ого, что GoLang оторжрет от python нишу веб-кодинга?

какие мысли насчет ого, что GoLang оторжрет от python нишу веб-кодинга?

django всегда будет в тренде, это 100%

django всегда будет в тренде, это 100%

я как новичек хочу узнать почему?

я как новичек хочу узнать почему?

Потому что django проще настроить, чем проект с нуля написать. Golang под специфичные цели используется. И еще на django очень много проектов, которые нужно поддерживать

я как новичек хочу узнать почему?

python занял уже другую нишу, от создания сайтиков отходит ?

потихоньку

python щас рулит в машинном обучении, веб-разработке и тестировании