@lig11 ?

С днем рождения, @lig :)

Серёга поздравляю! ?

а кстати, почему лиг?

с Лигово пацанчег ;)

Спасибо всем!:)

ох...

я тут огрёб немного с gevent.

но похоже понятно даже с чем это связано.

А?

смотри. допустим, у нас есть r = requests.get(some_url, stream=True)

и вот есть у обекта r метод iter_content(chunk_size)

хочешь ты писать это на диск и делаешь нечто вроде: with open('somefile', 'wb') as handle: for chunk in r.iter_content(4096): handle.write(chunk)

потом понимаешь, что негоже блокироваться, давайте вынесем запись в thread pool и заменяешь на: tpool.apply(handle.write, [chunk])

А его gevent себе не заберет? Это же его треды будут, не?

но у tpool есть метод map, можно написать красиво: tpool.map(handle.write, r.iter_content(4096))

А его gevent себе не заберет? Это же его треды будут, не?

нет. там специально есть пул тредов, который нативный для блокирующихся операций.

Ну ок

И чего?

так вот, вариант с map нерабочий и иногда продуцирует битые файлы =(

точнее, часто.

кмк, причина в том что next() у r.iter_content(4096) дергается в настоящем тредике

Пишет в разнобой небось?

нет, пишет по порядку.

В чем битость файлов?

а несколько байт недописано.

resp.raw.decode_content = True shutil.copyfileobj(resp.raw, f)

Мы вот так файл сохраняем

resp = http.get(url, stream=True) resp.raise_for_status() resp.raw.decode_content = True size = resp.headers.get('Content-Length') logger.debug('Downloading url=%s, size=%s to f_path=%s' % (url, size, f_path)) with open(f_path, 'wb') as f: shutil.copyfileobj(resp.raw, f)

resp.raw.decode_content = True shutil.copyfileobj(resp.raw, f)

ну, можно так, да. но это всё работает пока у тебя не появляется смесь гринлетов и тредов.

У меня только тредв

Я на всякий случай скинул. Вдруг наведёт тебя на какие то мысли

Asciinema 1.3 Switches from Go Back to Python http://blog.asciinema.org/post/and-now-for-something-completely-different/

Как у сушности по DDD вес задается?

https://github.com/jupyter/jupyterlab

Срочно! Кто у нас будет доклады делать на ITGM 23 июля? Надо обязательно два больших и пару блиц.

Это считая тех, с кем уже договаривались предварительно

@nonamenix @jetbootsmaker @andreyzakharevich @alsmirn так что? доклады будут?

@pragus а ты?

Я вообще на улькампе, и очень вряд ли что-то придумаю

:)

Блиц на сколько ?)

да поздно уже

я вписал @nonamenix :) готовь бота на aiohttp

это большой доклад

сам пропарю блицом про Python 3

и еще будет доклад товарища из DINO

Бля ребят я бы мог что-то рассказать, но у меня майндфак что я ничего не паб

Кроме того я накатил

кто-нибудь пробовал https://github.com/nteract/hydrogen ?

@lig11 ок)

Товарищи, подскажите, как мне перестать упарываться. Есть скрипт, который общается с неким API по HTTPS/JSON. Используется, конечно, requests. Я хочу логгировать все запросы и ответы, а именно: timestamp, HTTP status code, request path, request body, response body. Сейчас я это делаю при помощи mitmproxy. К сожалению, mitmproxy через некоторое время вылетает с out of memory, что-то там течёт. Что посоветуете?

Запросы бывают только GET и POST.

Я нашёл https://stackoverflow.com/questions/16337511/log-all-requests-from-the-python-requests-module. Предлагается логгировать все запросы средствами стандартного logging. Проблема здесь в том, что потом будет сложно такие логи обрабатывать автоматически.

Это не сработает, поскольку debuglevel в http.client позволяет контролировать только печать в stdout (там внутри используется print).

Для дампа можно использовать https://toolbelt.readthedocs.io/en/latest/dumputils.html

Если ты не хочешь вставлять логирование во все точки обращения к сети, то можно сделать манкипатч, который вызывает dump в момент получения респонза

Это не сработает, поскольку debuglevel в http.client позволяет контролировать только печать в stdout (там внутри используется print).

Если тебе не подходит только потому что это пишется в stdout, то ты можешь получить логгер по имени ("requests.packages.urllib3", например) и добавить к нему хендлер записи в файл

Если тебе не подходит только потому что это пишется в stdout, то ты можешь получить логгер по имени ("requests.packages.urllib3", например) и добавить к нему хендлер записи в файл

Там именно принты.

Там именно принты.

а, принты, дошло

Для дампа можно использовать https://toolbelt.readthedocs.io/en/latest/dumputils.html

Спасибо, посмотрю. Но я уже написал какой-то велосипед

Коллеги, подскажите сайтег, книжечку аль бложег для чайника в sqlalchemy

Офф дока

Она ок

Спасибо, вчера до нее не успел дойти))

ERROR: S client not available

А сильно отличаются sqlalchemy и Django orm?

сильно

я до конца не привык ещё

кучу вещей приходится делать руками после джанго

но она гибче в конечном итоге и даёт возможность более сложные вещи готовить

sqlalchemy recipes еще посмотри

Спасибо большое :)

Там именно принты.

Так а можно было же принту дефолтный file поменять, помнится...

Какие там проблемы с редисом, кто знает? http://docs.celeryproject.org/en/master/whatsnew-4.0.html#support-for-redis-as-a-broker-is-deprecated

На те вам

А что у нас есть для amqp, кроме rabbitmq?

Чтобы с шиной

https://github.com/celery/celery/issues/3274 даже Сальваторе принял участие в обсуждении

https://github.com/celery/celery/issues/3274 даже Сальваторе принял участие в обсуждении

Не дропайте редис?

какую-то помощь вроде хотел предложить

Всем хорошей недели

Спасибо) и тебе

@lig11 Серега когда мы стикеры spb_pig заеб...шим, эм, сделаем?

@lig11 Серега когда мы стикеры spb_pig заеб...шим, эм, сделаем?

Займись. Посчитай. Организуй.

@lig11 спроси у девочек, как время будет, откуда они заказывают для арта?

@lig11 спроси у девочек, как время будет, откуда они заказывают для арта?

ты лучше доклад приготовь )

Я могу не совсем по питону, больше по теории, но переложить на питон... но это ближе к след итгм, не уверен что до субботы успею нормально

И он больше на типы нацелен бужет думаю

*будет

Господа, добрый день. Подскажите, существуют ли готовые решения для django, которые отправляли бы email администратору каждый раз, когда происходит exception?

Господа, добрый день. Подскажите, существуют ли готовые решения для django, которые отправляли бы email администратору каждый раз, когда происходит exception?

https://docs.djangoproject.com/en/1.9/howto/error-reporting/

Господа, добрый день. Подскажите, существуют ли готовые решения для django, которые отправляли бы email администратору каждый раз, когда происходит exception?

https://docs.getsentry.com/hosted/learn/notifications/

https://docs.djangoproject.com/en/1.9/howto/error-reporting/

Спасибо

Господа, добрый день. Подскажите, существуют ли готовые решения для django, которые отправляли бы email администратору каждый раз, когда происходит exception?

Используй sentry

ты лучше доклад приготовь )

Лучше ты. Тем более, ты в программе ITGM:)

Господа, добрый день. Подскажите, существуют ли готовые решения для django, которые отправляли бы email администратору каждый раз, когда происходит exception?

Оно же их коробки так делает