асинк выкидывает задачу в бэграунд, а сам идет дальше работать

Не понял в итоге разницу с делэй

на самом деле, если тебе приходится мокать open, это говорит о не самой удачной архитектуре. Попробуй передавать имя файла снаружи, тогда ты сможешь в тестах генерить временный файл и жить с ним

Там внутри работа с sysfs

То есть скрипт в этом месте будет зависать? — не совсем понял, но сейчас опишу Celery с delay закидывает задачу в очередь, и не ждет когда она выполнится, а если без delay запускаешь, то он помещает в очередь, ждет когда он выполнится, и после этого только скрипт идет дальше или завершает работу(это про таску я говорю сейчас, так как ты воркер отдельно запускаешь!) по асинку, он закидывает задачу в асинк и ждет например когда она выполнится другим методом/функцией, а сам при этом может закинуть следующую задачу, если задачи например в цикле у него

А код следующий за асинк будет выполняться? Сразу

То есть скрипт в этом месте будет зависать? — не совсем понял, но сейчас опишу Celery с delay закидывает задачу в очередь, и не ждет когда она выполнится, а если без delay запускаешь, то он помещает в очередь, ждет когда он выполнится, и после этого только скрипт идет дальше или завершает работу(это про таску я говорю сейчас, так как ты воркер отдельно запускаешь!) по асинку, он закидывает задачу в асинк и ждет например когда она выполнится другим методом/функцией, а сам при этом может закинуть следующую задачу, если задачи например в цикле у него

Что значит другим методом?

Есть таск в task.py

Там внутри работа с sysfs

вынести имя файла в "глобальную константу" и мокать ее уже там

Я его вызываю через делай

Что измениться если я его вызову через асинк?

Технически можно, на практике там довольно дофига динамически вычисляемых имён файлов

Асинк

еще лучше! замокать генератор этих динамических вычислений

Если бы был единый генератор

Там скрипт на питоне — чуть-чуть облагороженный скрипт на шелле

Может его, конечно, и можно переписать, чтобы было красиво

Но это именно "переписать"

а, ну кстати, через unittest.mock через MagicMock все-таки open нормально мокается

https://stackoverflow.com/questions/1289894/how-do-i-mock-an-open-used-in-a-with-statement-using-the-mock-framework-in-pyth - 11-й год, уже все было

Только там они рассчитывают на то, что никто не будет делать так: f = open(filename)

Мокается только контекстный менеджер и потом проверяется метод __enter__

мм... кто мешает? mock_open.return_value = my_mock_handle my_mock_handle.__enter__.return_value = my_mock_handle

ну будет в обоих случаях один и тот же мок, а в реальном коде будет дергаться или через одно, или через другое

А, ну так можно, да.

А можно так: 10 def imockopen(*args, **kwargs): 11 m = mock_open(*args, **kwargs) 12 m.return_value.__iter__ = lambda self: self 13 m.return_value.__next__ = lambda self: next(iter(self.readline, '')) 14 return m

конкретнее

конкретнее

Мне нужны ответы

какой нынче pdf-эекстрактор хороший?

Что измениться если я его вызову через асинк?

упадет без ошибки

тебе это надо )

что бы задача выполнилась без ошибки

проше через try - except

#Работа #RU-CENTER #Senior python developer #офис # 130К- 160k #python/Django/Celery Мы RU-CENTER Group и мы хорошо разбираемся в доменах и хостинге. Сейчас мы в поисках Senior Python разработчика в платформу разработки хостинга. Чем предлагаем заниматься? • Разработать архитектуру и стратегию развития системы управления хостинга • Разрабатывать систему управления OpenStack (как для внутренних клиентов, так и для внешних) • Необратимо улучшать существующие системы • Избавляться от legacy систем, переписывая на python • Заниматься планированием работ, распределением задач • Обучать сотрудников • Внедрять лучшие практики CI/CD • Писать тесты, в том числе и интеграционные Примеры существующих наших проектов: • Система хранения пользовательских SSL сертификатов и управления ими • Система управления бекапами пользователей (более 100к пользователей) • Система переноса клиентов между серверами (более 300 серверов) • Система проверки и исправления скриптов сайтов наших клиентов (более 2-х миллиардов файлов) • Система сбора и хранения статистики потребления ресурсов пользователями (более 10^12 записей в базе за год, храним 3 года) Для своих существующий проектов мы используем: • Python 2/3 • Django • Django REST framework • Celery • PostgreSQL • InfluxDB Что необходимо будет переписать: • Систему управления хостинга, написанную на Perl • Систему управления OpenStack’ом для клиентов Большим преимуществом будет: • Умение читать Perl • Опыт разработки на C/C++ Условия: • Уютный офис – м. Полежаевская; • График работы 5/2 с плавающим началом дня. Из офисных плюшек у нас есть: кикер, ps4, посещение конференций, ДМС, скидки на фитнес, английский, еду и винишко. Пишите нам на почту: apopova@nic.ru или в телеграм @AnnaPopovaa

#Работа #RU-CENTER #Senior python developer #офис # 130К- 160k #python/Django/Celery Мы RU-CENTER Group и мы хорошо разбираемся в доменах и хостинге. Сейчас мы в поисках Senior Python разработчика в платформу разработки хостинга. Чем предлагаем заниматься? • Разработать архитектуру и стратегию развития системы управления хостинга • Разрабатывать систему управления OpenStack (как для внутренних клиентов, так и для внешних) • Необратимо улучшать существующие системы • Избавляться от legacy систем, переписывая на python • Заниматься планированием работ, распределением задач • Обучать сотрудников • Внедрять лучшие практики CI/CD • Писать тесты, в том числе и интеграционные Примеры существующих наших проектов: • Система хранения пользовательских SSL сертификатов и управления ими • Система управления бекапами пользователей (более 100к пользователей) • Система переноса клиентов между серверами (более 300 серверов) • Система проверки и исправления скриптов сайтов наших клиентов (более 2-х миллиардов файлов) • Система сбора и хранения статистики потребления ресурсов пользователями (более 10^12 записей в базе за год, храним 3 года) Для своих существующий проектов мы используем: • Python 2/3 • Django • Django REST framework • Celery • PostgreSQL • InfluxDB Что необходимо будет переписать: • Систему управления хостинга, написанную на Perl • Систему управления OpenStack’ом для клиентов Большим преимуществом будет: • Умение читать Perl • Опыт разработки на C/C++ Условия: • Уютный офис – м. Полежаевская; • График работы 5/2 с плавающим началом дня. Из офисных плюшек у нас есть: кикер, ps4, посещение конференций, ДМС, скидки на фитнес, английский, еду и винишко. Пишите нам на почту: apopova@nic.ru или в телеграм @AnnaPopovaa

> • Умение читать Perl

> • Умение читать Perl

перл то ладно, а вот то что писать для опенстэк стоит как з\п у уборщицы в финке. это вот уже треш

разработка openstack в чехии это от 3900 евро на руки, и без гемора с обслуживанием постоянным

Хотим избавиться от перла и переписать все модули на python.

разработка openstack в чехии это от 3900 евро на руки, и без гемора с обслуживанием постоянным

до вычета за жилье, налоги и проч?

до вычета за жилье, налоги и проч?

после налогов, а жильё и прочее там дешевле чем в питере, по крайне мере в brno

#Работа #RU-CENTER #Senior python developer #офис # 130К- 160k #python/Django/Celery Мы RU-CENTER Group и мы хорошо разбираемся в доменах и хостинге. Сейчас мы в поисках Senior Python разработчика в платформу разработки хостинга. Чем предлагаем заниматься? • Разработать архитектуру и стратегию развития системы управления хостинга • Разрабатывать систему управления OpenStack (как для внутренних клиентов, так и для внешних) • Необратимо улучшать существующие системы • Избавляться от legacy систем, переписывая на python • Заниматься планированием работ, распределением задач • Обучать сотрудников • Внедрять лучшие практики CI/CD • Писать тесты, в том числе и интеграционные Примеры существующих наших проектов: • Система хранения пользовательских SSL сертификатов и управления ими • Система управления бекапами пользователей (более 100к пользователей) • Система переноса клиентов между серверами (более 300 серверов) • Система проверки и исправления скриптов сайтов наших клиентов (более 2-х миллиардов файлов) • Система сбора и хранения статистики потребления ресурсов пользователями (более 10^12 записей в базе за год, храним 3 года) Для своих существующий проектов мы используем: • Python 2/3 • Django • Django REST framework • Celery • PostgreSQL • InfluxDB Что необходимо будет переписать: • Систему управления хостинга, написанную на Perl • Систему управления OpenStack’ом для клиентов Большим преимуществом будет: • Умение читать Perl • Опыт разработки на C/C++ Условия: • Уютный офис – м. Полежаевская; • График работы 5/2 с плавающим началом дня. Из офисных плюшек у нас есть: кикер, ps4, посещение конференций, ДМС, скидки на фитнес, английский, еду и винишко. Пишите нам на почту: apopova@nic.ru или в телеграм @AnnaPopovaa

Анна, диез (#) пишется слитно с хэштегом: #работа

проше через try - except

И делэй

Тигран, спасибо, сейчас поправлю

И раздельно от предыдущего хэштега… #работа #офис

разработка openstack в чехии это от 3900 евро на руки, и без гемора с обслуживанием постоянным

Случайно не RedHat?

У них вроде центр разработки в Брно

Случайно не RedHat?

они в том числе

проше через try - except

Спасибо, попробую)

парни, привет. Были ли у вас проблемы с pika при выполнении долгих тасков на консьюмере, тип соединения BlockingConnection, параметр heartbeat=0? Соединение тихо умирает без ошибок и прочего. версия рэбита 3.7.6

Соединения вообще имеют тенденцию умирать. Не стоит расчитывать на то что они будут вечными. И потому надо использовать heartbeat и не блокирующие реализации

Либо как то выкручиваться с помощью тредов, что бы обрабатывать херабиты

Соединения вообще имеют тенденцию умирать. Не стоит расчитывать на то что они будут вечными. И потому надо использовать heartbeat и не блокирующие реализации

ясно, спасибо

Народ, в aiohttp можно как-то проверить размер файла до того, как получить его полностью, чтобы защититься от переполнения?

Всем привет. Что вот тут может противоречить pep8? import io import os from django import forms

Всем привет. Что вот тут может противоречить pep8? import io import os from django import forms

ничего

Народ, в aiohttp можно как-то проверить размер файла до того, как получить его полностью, чтобы защититься от переполнения?

Проверить заголовок Content-Length

Проверить заголовок Content-Length

он может врать

ничего

Что-то есть((

А тебе какое до этого дело? Сколько в нём указано - столько и считывай

Тебе ведь главно что бы лишнего не считать

А тебе какое до этого дело? Сколько в нём указано - столько и считывай

тогда придется делать поток для чтения... ну да. Ладно, в целом годный совет, спасибо.

Есть правда ещё Transfer-Encoding: chunked тут есть варианты - либо не поддерживать такой способ и выдвать ошибку, либо читать поток пока есть память

Например Амазон S3 не поддерживает заливку файлов с использованием Transfer-Encoding: chunked

Видимо как раз что бы длину файла заранее знать

тогда придется делать поток для чтения... ну да. Ладно, в целом годный совет, спасибо.

Но всё это конечно нужно если у тебя перед aiohttp нет nginx с дефолтными настройками, который сначала всё "быстро" считает с клиента себе в файловый-кеш, и потом только передаст это всё твоему приложению.

Если есть nginx и ты хочешь избавится от лишних "буферов" - надо их отключать в nginx. Всякие буфера для входящих данных в нём нужны только для синхронных приложений

нету nginxa. Про chunked думал, но тогда придется править еще и фронт...

нету nginxa. Про chunked думал, но тогда придется править еще и фронт...

А SSL использовать не предполагаешь? Или он у тебя каким то другим образом будет резолвится?

А SSL использовать не предполагаешь? Или он у тебя каким то другим образом будет резолвится?

локальный сервис

А, ну тогда Ок

Кто-то вытягивал вложения в письме питоном с гмейла? (нужно прочитать (не прочитаное забрать вложение и отметить как прочитаное). А то я стягиваю все вложения от того отправителя. Говорил человек у него статья на хабре будет но что-то не вижу пока...

Ребят, есть либа, которая принимает cookiesJar У меня есть стянутые с сайта кукисы в txt. Как конвертнуть обычные куки в кукиДжар?

Ребят, есть либа, которая принимает cookiesJar У меня есть стянутые с сайта кукисы в txt. Как конвертнуть обычные куки в кукиДжар?

первая ссылка в гугле: cookielib

https://stackoverflow.com/questions/14742899/using-cookies-txt-file-with-python-requests

Ето второй питон

import http.cookiejar.FileCookieJar

правильные решения на питоне не укладываются в их нереалистичные стандарты перфоманса

Шок, никогда такого не было, и вот опять

Есть набор регулярок для парсинга строки ftp-подключения: ftp_host = re.findall(r'@(\w+)', chat_string)[0] ftp_user = re.findall(r'//(\w+)', chat_string)[0] ftp_pass, ftp_port = re.findall(r':(\w+)', chat_string) ftp_file_path = re.findall(r':\d+(.*)$', chat_string)[0] Как их можно свести в одну регулярку, которая вернёт всё то же самое списком?

urllib.urlpase

https://docs.python.org/3.5/library/urllib.parse.html#urllib.parse.urlparse

и даже лучше urlsplit

?

не надо регулярок

>>> import urllib.parse >>> s = urllib.parse.urlsplit("ftp://user:password@some.host.something-something.com/path/to/file.extension") >>> s SplitResult(scheme='ftp', netloc='user:password@some.host.something-something.com', path='/path/to/file.extension', query='', fragment='') >>> s.username 'user' >>> s.password 'password'

и по-моему на прошлой неделе я такое уже скидывал сюда

Нужно делать именно регуляркой((

тебе приставили к голове пистолет (и немного отвлекает блондинка под столом)?

:D

Нужно делать именно регуляркой((

почему?