with json_file as file_links: for filename in os.listdir(companies_temp_folder): poolfile = os.path.join(companies_temp_folder, filename) json_file.write(",\n".join(open(poolfile).read().splitlines())) json_file.write(",") json_file.удалить_последний символ?

def lines(fname): with open(fname) as f: yield from f json_file.write(“,\n”.join(itertools.chain.from_iterable( lines(os.path.join(companies_temp_folder, filename)) for filename in os.listdir(companies_temp_folder) )))

def lines(fname): with open(fname) as f: yield from f json_file.write(“,\n”.join(itertools.chain.from_iterable( lines(os.path.join(companies_temp_folder, filename)) for filename in os.listdir(companies_temp_folder) )))

мне кажется, или это не решает проблему аллокации здорового буфера под результирующий файл?

нифига не понял, сейчас буду внимательно читать

мне кажется, или это не решает проблему аллокации здорового буфера под результирующий файл?

а, ну джойн не ленивый, да

да тут ленивость вся идет лесом, так как результат джойна - строка.

ок

с точки зрения памяти это возможно и эффективнее чем вычитывать все файлы сразу и делать джоин... (хотя тут тоже интересный вопрос)

def lines(fname): with open(fname) as f: yield from f first=True for line in itertools.chain.from_iterable( lines(os.path.join(companies_temp_folder, filename)) for filename in os.listdir(companies_temp_folder) ): if not first: json_file.write(‘,’) json_file.write(line) first = False

чтобы это понять надо заглубиться в сорцы join(). ибо внутри он может сначала вычитывать всю итерируемую последовательность и потом зная их длины аллоцировать результирующий буфер

в том коде ещё и пустые файлы не обрабатвались

вот максимально лениво вам

даже на гиганстких файлах должно

кстати отвлекаясь от задачи

def lines(fname): with open(fname) as f: yield from f first=True for line in itertools.chain.from_iterable( lines(os.path.join(companies_temp_folder, filename)) for filename in os.listdir(companies_temp_folder) ): if not first: json_file.write(‘,’) json_file.write(line) first = False

ты знаешь чем плох такой подход? def lines(fname): with open(fname) as f: yield from f

Это какой-то ужас

дядьки

чем?

как вы это пишете???

Это какой-то ужас

это генераторы, детка

По итогу работает так: def lines(fname): with open(fname) as f: yield from f json_file.write('[') json_file.write(",\n".join(itertools.chain.from_iterable( lines(os.path.join(companies_temp_folder, filename)) for filename in os.listdir(companies_temp_folder) ))) json_file.write(']') json_file.close()

чем?

тем что ты открываешь файл внутри генератора. если генератор не будет вычитан полностью, открытый дескриптор повиснет до конца жизни генератора.

ну это да

герераторы, кстате работают почти в два раза быстрее

Омг, вы до сих пор решаете задачу с json-строками в файле?

герераторы, кстате работают почти в два раза быстрее

чем что?

но я них нереально туп

ща видос найду

но я них нереально туп

> ща видос найду вот поэтому и туп

https://www.youtube.com/watch?v=Ss1M32pp5Ew вот буквально пару минут назад смотрел

> ща видос найду вот поэтому и туп

у меня плохо с англицким и я любитель видосиков)))

> ща видос найду вот поэтому и туп

И в подтверждение притащил видос про декораторы

И в подтверждение притащил видос про декораторы

в этом видосе про декораторы чувак использует генератор и не генератор и засекает время

а время засекает декоратором

а время засекает декоратором

в общем то генераторы познаются примерно за минуту без видео

Подскажите, а есть туториал по юзер агентам? Что и как называется, где минор, патч и т.д. А то я искал в интернете - и ничего не нашел

в общем то генераторы познаются примерно за минуту без видео

я не осилил

какйо минор, патч?

вы о чем?

Подскажите, а есть туториал по юзер агентам? Что и как называется, где минор, патч и т.д. А то я искал в интернете - и ничего не нашел

туториал о_О. юзер агент может быть любой строкой вообще

знаю только User-Agent и хереров в хтмл)))

Подскажите, а есть туториал по юзер агентам? Что и как называется, где минор, патч и т.д. А то я искал в интернете - и ничего не нашел

туториал -> https://developer.mozilla.org/en-US/docs/Web/HTTP/Headers/User-Agent

Ааа так это оно и есть?

ну не совсем любой, но в общем случае.

смотрите, если мы возьмем такую строку: "Mozilla/5.0 (Linux; Android 8.0.0; HWV32 Build/HUAWEI-HWV32; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/69.0.3497.100 Mobile Safari/537.36". Есть парсер для питона, библиотека. На выходе мы получим:

опять же формат версий кажется не стандартизирован

я понимаю что все написано на регулярках, но он же понимает что есть что. Значит есть какая-то структура в юзерагенте, по идее

major, minor, patch - так называются значимые части version string

я понимаю что все написано на регулярках, но он же понимает что есть что. Значит есть какая-то структура в юзерагенте, по идее

потому что формат юзер-агентов популярных браузеров известен.

Googlebot/2.1 (+http://www.google.com/bot.html) вот смотри, это тоже валидный User-Agent

да, структура есть User-Agent: <product> / <product-version> <comment> но все что выходит за рамки этого формата - не стандартизированно

да, структура есть User-Agent: <product> / <product-version> <comment> но все что выходит за рамки этого формата - не стандартизированно

да? я думал вообще любая строка

я понимаю что все написано на регулярках, но он же понимает что есть что. Значит есть какая-то структура в юзерагенте, по идее

есть более производительные варианты на сях под питон. на регулярках и не очень если надо могу подсказать

есть более производительные варианты на сях под питон. на регулярках и не очень если надо могу подсказать

подскажи пожалуйста

да? я думал вообще любая строка

по стандарту не любая. https://tools.ietf.org/html/rfc2616#section-14.43 https://tools.ietf.org/html/rfc2616#section-3.8

может быть 1 или более элементов вида Product Token или Comment

в этом видосе про декораторы чувак использует генератор и не генератор и засекает время

В этом видео Олег использует цикл и 'List Comprehension', а не генератор. Есть генераторы списков (что в видео), есть функция-генератор (что использовалось выше) - это абсолютно разные вещи.

В этом видео Олег использует цикл и 'List Comprehension', а не генератор. Есть генераторы списков (что в видео), есть функция-генератор (что использовалось выше) - это абсолютно разные вещи.

и не лень же тебе было видео посмотреть

я его давно смотрел, мельком промотал, вспомнил

Кстати, для новичков полезно Молчанова смотреть, он достаточно подробно разжевывает многие вещи и не тонет в мелочах (кому трудно читать книги)

Блин как можно так все знать?

брюзжание старого программиста: вот и подросло поколение, которому трудно читать книги

Сейчас молчанова поищу

Мне не трудно читать, мне реально некогда

Блин как можно так все знать?

Все знать не возможно, самый умный человек в этом чате вряд ли знает более 1% от It, нужно правильно выбирать приоритеты

может быть 1 или более элементов вида Product Token или Comment

А может вообще не быть The field can contain multiple product tokens это необязательное требование

мне вегда казалось что чтение гораздо менее времязатратно чем просматривание роликов

А может вообще не быть The field can contain multiple product tokens это необязательное требование

ну я и сказал может быть 1 или более

Я в свое время по Django три книги прочел, но по питону ума они сильно не добавляли

ну я и сказал может быть 1 или более

Но в любом случае UA может быть произвольной строкой

мне вегда казалось что чтение гораздо менее времязатратно чем просматривание роликов

Если в ролике делается проект и человек проходит через все стадии, это удобнее, чем книга, где синтаксис дан

Но в любом случае UA может быть произвольной строкой

ну если верить стандарту не совсем, но почти любой

Если в ролике делается проект и человек проходит через все стадии, это удобнее, чем книга, где синтаксис дан

Очень люблю смотреть когда чувак начинает с пустого места и заканчивает реально на практике рабочим скриптом.

Если в ролике делается проект и человек проходит через все стадии, это удобнее, чем книга, где синтаксис дан

есть же разница между справочником по питону и туториалом по джанго. и то и другое есть в обоих форматах.

"User-Agent" ":" 1*( product | comment )

это как?

по туториалу джанги можно рабочий todo list собрать.... и человек проходит как ты выразился через все стадии

типа или?

типа или?

да

1* - значит один или более

(product | comment) - или продукт или комментарий

комментарий по стандарту должен идти в скобках

я его давно смотрел, мельком промотал, вспомнил

Так это же я этого молчанова и смотрел, да?

по туториалу джанги можно рабочий todo list собрать.... и человек проходит как ты выразился через все стадии

можно, когда есть небольшой опыт или навык. Тем более, надо хоть немного знать английский. И безусловно, там более полная информация. В рамках видеокурса дается лишь то, что нужно для конкретного проекта.

продукт - это токен + опционально версия (тоже токен) product = token ["/" product-version] product-version = token

а токен - это почти любой символ за исключением контрольных символов и разделителей.

а токен - это почти любой символ за исключением контрольных символов и разделителей.

Ну т.е. UA это вообще любая строка, которая может быть передана в header'е

Так это же я этого молчанова и смотрел, да?

Да, но как правильно заметил @cutwater, видео - не должно заменять обучение, оно может быть его частью

Ну т.е. UA это вообще любая строка, которая может быть передана в header'е

ну нет.... не совсем же любая.

можно, когда есть небольшой опыт или навык. Тем более, надо хоть немного знать английский. И безусловно, там более полная информация. В рамках видеокурса дается лишь то, что нужно для конкретного проекта.

тут я не могу не согласиться

я самоучка, учусь практикуясь)))

ну нет.... не совсем же любая.

Ну ограничения такие же как и для других header'ов. Понятно, что там переносов строк быть не должно, например

Нету ли в питоне какой-нибудь примочки, которая бы показала сколько кода я наворотил?

Нету ли в питоне какой-нибудь примочки, которая бы показала сколько кода я наворотил?

чо? cloc?

я самоучка, учусь практикуясь)))

правильный путь, который, к сожалению игнорируют многие начинающие. Обязательно одновременно делать что-то свое. Иногда полезно написать свой небольшой проект и узнавая что-то новое, переписывать часть его, используя эти новые знания.

find . -name '*.py' | xargs wc -l