то, что ты скинул - я проверил, работает корректно

да, вроде отработало, на 20 строчном, докину строк еще проверю спасибо большое за помощь т.е. с начало надо седом проскочить виндовые переносы убрать

ну можно сразу в греп скармливать обработанное

ну можно сразу в греп скармливать обработанное

ну это понятно через | но я лучше по отдельности, чтобы если упадет видеть на какой итерации на селе или грепе

угу

угу

ну сейчас все еще раз проверю и крутану на серваке посильнее =)

ну сейчас все еще раз проверю и крутану на серваке посильнее =)

ты так говоришь как будто это очень ресурсоемкая операция. У меня файлы по 10 млн строк сложнее обрабатываются за минуту )

в итоге у меня получилось File1-File2 != file3 А file3+file2 на 2000 строк больше чем file1

ну file3+file2 имеет право быть больше, чем file1, если в file2 есть еще какой-то мусор, который в file1 не присутствует

а вот что означает первое выражение, это я не понял

а вот что означает первое выражение, это я не понял

количество строк файла1 - количество строк файла2 не равно количеству строк нового файла Я думаю, может пройтись медом по обоим файлам Мусора нет нигде, проверил

Добрый день. Пытаюсь через requests получить код сайта supremecommunity.com Выпадает ошибка, Ernno 111 connection refused С чем может быть связано? Еще неделю-две назад все работало прекрасно

Добрый день. Пытаюсь через requests получить код сайта supremecommunity.com Выпадает ошибка, Ernno 111 connection refused С чем может быть связано? Еще неделю-две назад все работало прекрасно

с тем, что тебя забанили? по ip или по user-agent

с тем, что тебя забанили? по ip или по user-agent

Ага, то есть, если поэксперементировать с измением юзер-эйджента или другими прокси, все может заработать?

Да, тебе питон явно написал, что на сетевом уровне прилетел reset на попытку подключения. Потыкай брузером сайт с той машины, с которой получаешь ошибку, подключи прокси

Ребят, есть какой-то аналог yield, но для словарей? Ибо у меня есть огромный словарь, который благополучно занимает 5 гигов оперативы и это не совсем то, чего я ожидаю.

прикооооольна, лол

Ребят, есть какой-то аналог yield, но для словарей? Ибо у меня есть огромный словарь, который благополучно занимает 5 гигов оперативы и это не совсем то, чего я ожидаю.

а что ты ожидаешь и зачем тебе словарь? связи между словарем и yield никакой нет

Спамер

Сожгите его

Ребят, есть какой-то аналог yield, но для словарей? Ибо у меня есть огромный словарь, который благополучно занимает 5 гигов оперативы и это не совсем то, чего я ожидаю.

Елди пары ключ-значение, очевидно же

Спамер

енто статистика нинада

а что ты ожидаешь и зачем тебе словарь? связи между словарем и yield никакой нет

Я ожидал что можно как то динамически генерировать словарь. Объясню чуть по другому Есть огромный json, около 1 гига. Нужно его записать в переменную, чтобы что-то с ним сделать. Есть какие-то фишки для экономии оперативки? Списки можно создавать налёту через генераторы. И мне интересно, можно ли сделать что-то такое для словаря

если ты хочешь в этом словаре обращаться быстро по ключам, то нет

если тебе достаточно ассоциации ключ-значение, то можно ограничиться списком пар

если ты хочешь в этом словаре обращаться быстро по ключам, то нет

Скорость не особо важна, это анализатор

Я ожидал что можно как то динамически генерировать словарь. Объясню чуть по другому Есть огромный json, около 1 гига. Нужно его записать в переменную, чтобы что-то с ним сделать. Есть какие-то фишки для экономии оперативки? Списки можно создавать налёту через генераторы. И мне интересно, можно ли сделать что-то такое для словаря

так очевидно тебе нужно streaming реализацию брать, например https://pypi.org/project/ijson/

так очевидно тебе нужно streaming реализацию брать, например https://pypi.org/project/ijson/

Опа, спасибо, гляну

Я ожидал что можно как то динамически генерировать словарь. Объясню чуть по другому Есть огромный json, около 1 гига. Нужно его записать в переменную, чтобы что-то с ним сделать. Есть какие-то фишки для экономии оперативки? Списки можно создавать налёту через генераторы. И мне интересно, можно ли сделать что-то такое для словаря

> Списки можно создавать налёту через генераторы Но это не экономит память…

> Списки можно создавать налёту через генераторы Но это не экономит память…

Я читал что вообще экономит и в памяти одновременно только 1 элемент находится, а не весь огромный список

А где он находится?

Я читал что вообще экономит и в памяти одновременно только 1 элемент находится, а не весь огромный список

Это если ты обрабатываешь поэлементно. Если ты создал список - в памяти весь список.

А где он находится?

В этом и фишка - он генерируется постоянно

Это если ты обрабатываешь поэлементно. Если ты создал список - в памяти весь список.

Ну да, мне так и надо

В этом и фишка - он генерируется постоянно

Ну а куда он все скидывает?

Ну а куда он все скидывает?

Сгенерировано значение - подставилось в переменную, с ней поработали - значение уничтожилось

А ещё интересно, почему гигабайт жсона превращается в 5 гигабайт словаря?

А не проще твой жсон в sqlite перегнать

И там селектить

ну file3+file2 имеет право быть больше, чем file1, если в file2 есть еще какой-то мусор, который в file1 не присутствует

в общем, как оказалось погрешность в 1145 недопустима :( до 10 еще ладно... Попробовал кинуть в греп file 2 file 3 > file4 и в итоге file4=file3 Т.е. 1145 строк я не отловил Может все же будет точнее питоном крутнуть с полным сравнением?

Ребят, пожалуйста выручайте. Есть две простых функции, стоящие рядом. Первая принимает message из функции до этого блока. Вторая принимает message от первой, а дальше замкнутый круг. Бот пересылает отправленные ему сообщения в определенный чат. В коде это не указано, но происходит это до тех пор пока ему не отправишь определенную команду. Проблема в том, что если переслать ему несколько сообщений разом с другого чата, он их отправит, не соблюдая порядок отправки. Подскажите пожалуйста в коде как мне сделать так, чтоб до окончания выполнения send_message(message), не начинало выполняться send_message2(message). @dp.message_handler(state='message_in_chat') async def send_message(message: types.Message): await bot.forward_message(info_about_message[message.from_user.id], message.from_user.id, message.message_id) with dp.current_state(chat=message.chat.id, user=message.from_user.id) as state: await state.finish() with dp.current_state(chat=message.chat.id, user=message.from_user.id) as state: await state.set_state('message_two') @dp.message_handler(state='message_two') async def send_message2(message: types.Message): await bot.forward_message(info_about_message[message.from_user.id], message.from_user.id, message.message_id) with dp.current_state(chat=message.chat.id, user=message.from_user.id) as state: await state.finish() with dp.current_state(chat=message.chat.id, user=message.from_user.id) as state: await state.set_state('message_in_chat')

А ещё интересно, почему гигабайт жсона превращается в 5 гигабайт словаря?

потому что словари - это хеш таблицы

Ребят как отпарсить огромный файл? В переменной buf записано месиво ис символов (в т.ч. \n символ новой строки) Как можно выбрать нужные строки (строки с ключевым словом) не запихивая весь огромный файл в список

Память ломается..

Ребят как отпарсить огромный файл? В переменной buf записано месиво ис символов (в т.ч. \n символ новой строки) Как можно выбрать нужные строки (строки с ключевым словом) не запихивая весь огромный файл в список

Можно построчно файлы читать

Ребят как отпарсить огромный файл? В переменной buf записано месиво ис символов (в т.ч. \n символ новой строки) Как можно выбрать нужные строки (строки с ключевым словом) не запихивая весь огромный файл в список

for line in file.readlines():

Ребят как отпарсить огромный файл? В переменной buf записано месиво ис символов (в т.ч. \n символ новой строки) Как можно выбрать нужные строки (строки с ключевым словом) не запихивая весь огромный файл в список

with open(…) as f: for line in f: …

with open(…) as f: for line in f: …

Эта штука разве не грузит файл в память?

Здрасьте, успокойте меня. Нужно было ssh потестить из внешней сети, заюзал web сервис с ssh. Перед этим сменил пароль на учетке (хотя толку-то). Поменял назад. Теперь думаю, а что если мне успели поставить кейлоггер, узнали новый пароль и теперь имеют полный доступ к компу? Или я параноик?

А не проще твой жсон в sqlite перегнать

Так нужно ведь его считать для этого ;)

Здрасьте, успокойте меня. Нужно было ssh потестить из внешней сети, заюзал web сервис с ssh. Перед этим сменил пароль на учетке (хотя толку-то). Поменял назад. Теперь думаю, а что если мне успели поставить кейлоггер, узнали новый пароль и теперь имеют полный доступ к компу? Или я параноик?

Пользуйся ключами ssh

А ещё интересно, почему гигабайт жсона превращается в 5 гигабайт словаря?

Потому что json - это тупо текст. А словарь - это хеш-таблица значений, каждое из которых - питоновский объект, у каждого из ктр есть id и другие параметры, если внутри есть списки - это это еще связные списки и т.д.

ERROR: S client not available

Эта штука разве не грузит файл в память?

Этf точно не грузит. эта открывает дескриптор и читает по одной строке до \n

А не проще твой жсон в sqlite перегнать

скорее redis или другую key-value базу. зачастую в них есть возможность blob insert для json

Эта штука разве не грузит файл в память?

Вообще-то нет, readlines грузит

Вообще-то нет, readlines грузит

ну потому что читает все строки ) можно читать по одной. не правильно прочитал. показалось что readline

Если я вывод организую в цикле For line in file: Print line То у меня line выводит побуквенно ... Это я тупой или что то не так?

Если я вывод организую в цикле For line in file: Print line То у меня line выводит побуквенно ... Это я тупой или что то не так?

Файл в каком режиме открыт?

Надо в текстовом

Файл - txt пожатый gzip Я делаю Buf = Gzip.open(file, 'r').read()

А потом For line in buf: ...

Файл - txt пожатый gzip Я делаю Buf = Gzip.open(file, 'r').read()

Если я правильно помню то gzip возвращает StringIO buffer

Но лучше в доках проверь

Если буфер итерировать то будешь получать по одному символу

Вот.. я про то же Собственно что у меня и получается

И как тогда быть?

И как тогда быть?

Открыть файл в другом режиме. Но ты же понимаешь что распаковывать gzip построчно нельзя )

И как тогда быть?

https://docs.python.org/3.7/library/gzip.html#gzip.open

Так что вопрос открыт, кто-нибудь нашёл способ как получтить в какой строке C кода проблема при запуске компилированного cython модуля?

Если кому интересно нашёл способ, необходимо: * в setup.py поставить флаги компилятора extra_compile_args=["-Zi", "/Od"], extra_link_args=["-debug"], * скомпилировать модуль и импортировать в питоновском терминале * в Visual Studio сделать Debug->Attach to Process.. к python.exe * собственно вызвать функцию в python тогда доступен весь функционал дебага VS

Есть видос открытый и обрабатывающийся с помощью opencv. В процессе обработки видос надо стримить на фронтенд. Это реально сделать?

Есть видос открытый и обрабатывающийся с помощью opencv. В процессе обработки видос надо стримить на фронтенд. Это реально сделать?

Да. Только чтобы нормально работало тебе понадобится немного фронтовой магии. А бэк это решает легко. через ffmpeg или rtmp

Да, тебе питон явно написал, что на сетевом уровне прилетел reset на попытку подключения. Потыкай брузером сайт с той машины, с которой получаешь ошибку, подключи прокси

Собсна, затестил сейчас с мобилы, он тупо сбрасывает запрос

Ребят, покажите пожалуйста на примерах как работает asyncio.Lock()

Собсна, затестил сейчас с мобилы, он тупо сбрасывает запрос

user-agent попробуй поставить один из текущих браузерных

Так я из браузера тестил

Вот так

Еще вопрос, подскажите пожалуйста функцию работы со строками Что-то вроде index или find У меня есть строка1 AAAAAA=111111111112; и строка 2 111111111111 И надо чтобы в сравнении возвращялось мол да или нет, в этом случае нет, если Строка 2 111111111112 вернуть да или что-то вроде, чтобы я могу отловить этот момент

stroka2 in stroka1

ага точно/ спасибо