@ru_python - страница 420 - Telegram web archive

Artem

Ты умный?

это мой знакомый, а я просто шутил

Anonymous

это мой знакомый, а я просто шутил

Жаль(

Anonymous

Не понимаю почему оно так

Artem

чего конкретно то не понимаешь

Anonymous

У меня код не работает, конкретно - не понимаю почему он не хочет работать. Хотя я в точности (вроде как) сделал как в доке. Классика

Artem

дай доку

Anonymous

Оке

Anonymous

В общем я пишу генератор прокси. Чтобы в любой момент в коде программы можно было получить прокси. Только у меня маленькая проблемка - прокси начинают собераться и не останавливаются😩. Код https://hastebin.com/dadatunizi.py

https://proxybroker.readthedocs.io/en/latest/examples.html

Nikolay

https://proxybroker.readthedocs.io/en/latest/examples.html

Проблема в том, что они не останавливаются? Так ты input в цикл внеси

Anonymous

Вот на что я потратил 7 часов

Tigran

🤦‍♂️

Anonymous

Проблема в том, что они не останавливаются? Так ты input в цикл внеси

Спасибо огромное

Nikolay

Спасибо огромное

Пожалуйста)

Oleg

Ребят, со вчерашнего дня никак не могу разобраться. Есть сервер aiohttp и есть какие-то задачи, которые должны исполняться параллельно (конкурентно). Хорошо ли эти задачи оформлять как корутины, помещать их в while True и внутри писать asyncio.sleep, или всё-таки стоит использовать celery?

løst

ты либо крестик сними

løst

либо трусы надень

Oleg

Что здесь крестик, а что трусы?

Tishka17

celery - это отдельная очередь, а корутины - это корутины

Tishka17

тебе что надо - в рамках запроса сделать несколько вещей и потом отдать, или все таки отложенные таски?

Tigran

Ребят, со вчерашнего дня никак не могу разобраться. Есть сервер aiohttp и есть какие-то задачи, которые должны исполняться параллельно (конкурентно). Хорошо ли эти задачи оформлять как корутины, помещать их в while True и внутри писать asyncio.sleep, или всё-таки стоит использовать celery?

Зачем while True? Не понял пока.

Andrew

Ребят, со вчерашнего дня никак не могу разобраться. Есть сервер aiohttp и есть какие-то задачи, которые должны исполняться параллельно (конкурентно). Хорошо ли эти задачи оформлять как корутины, помещать их в while True и внутри писать asyncio.sleep, или всё-таки стоит использовать celery?

А задачи какую работу совершают

Oleg

Например пришёл запрос на сервер - и должно запуститься 5 тасок, одна работает каждые 10 минут, вторая работает каждые 2 минуты, третья работает каждую минуту, четвёртая работает каждые 10 секунд, пятая каждые 5 секунд

Oleg

И таких пачек по 5 тасок может быть от 1 до бесконечности

Tishka17

ну юзай celery

Tishka17

это же задачи вообще не связанные с запросами

Tishka17

логично их вынести в другой сервер

Andrew

ну юзай celery

Если он делает в тасках тупо http запросы, то селери не нужен

Tishka17

Если он делает в тасках тупо http запросы, то селери не нужен

что в тасках - вопрос другой, но это явно не задача web-приложения

Tishka17

возможно не celery, а любую другую очреедь задач

Дмитрий

Ребят, у кого то был проект в связке nginx - uwsgi - django?

Oleg

Ну да, как я понял - celery не запускает асинхронные задачи - а вообще отдельный поток делает

Andrew

Ну да, как я понял - celery не запускает асинхронные задачи - а вообще отдельный поток делает

или процесс(ы)

Oleg

И если у меня этих потоков будет 100 - было бы нехорошо

Oleg

Ещё хуже, если процессов

Oleg

И всё это внутри докер контейнера

Tishka17

Ребят, у кого то был проект в связке nginx - uwsgi - django?

я думаю у многих

Oleg

Ребят, у кого то был проект в связке nginx - uwsgi - django?

У меня был

Oleg

Так лучше в celery это повесить? Не будет проблем из-за большой частоты тасок?

Oleg

Также придётся часто БД дёргать и Redis

Oleg

Тоже нехорошо

Tishka17

/me не юзал celery, у меня напрямую читаются из rabbitmq или kafka

Oleg

/me не юзал celery, у меня напрямую читаются из rabbitmq или kafka

Но выделил это в отдельный сервер?

Tishka17

Так лучше в celery это повесить? Не будет проблем из-за большой частоты тасок?

ну это явно задача отдельная от работы веб-приложения и может вообще балансироваться по другому. Поэтому или celery или любой аналог

Oleg

Окей, понял, спасибо)

Ilya

Если нужно, что-то простое — посмотри rq. Он не умеет решедулить таски с увеличивающимся интервалом, например, но ужасно простой. (впрочем, мы быстро уперлись и свалили на Celery)

Tishka17

в прочем мы быстро свалили на другие языки, где celery выглядит странно

Tishka17

ладно, не быстро, но свалили

Alexey

/me не юзал celery, у меня напрямую читаются из rabbitmq или kafka

Это в веб приложении?

Дмитрий

Вообщем, который раз возвращаюсь к этому вопросу. Есть проект с воркерами в размере - 30 и более (в зависимости от памяти на серве). И есть куча "тяжелых" запросов к базе(минута и более) - не все, но такие запросы есть. И соответственно иногда попадаю в такую ситуацию, когда все воркеры заняты запросами и пользователь банально не может подтянуть из за этого статику(вэб лежит грубо говоря). Есть ли возможность добиться асинхронности вообще? Или спасение искать в брокерах?

🍁 Jaŭhien

в прочем мы быстро свалили на другие языки, где celery выглядит странно

На какие?

🍁 Jaŭhien

И почему странно? :)

Ilya

в прочем мы быстро свалили на другие языки, где celery выглядит странно

Запахло Go-проповедью!

Tishka17

И почему странно? :)

нигде кроме питона не слышал про celery

Je

Вообщем, который раз возвращаюсь к этому вопросу. Есть проект с воркерами в размере - 30 и более (в зависимости от памяти на серве). И есть куча "тяжелых" запросов к базе(минута и более) - не все, но такие запросы есть. И соответственно иногда попадаю в такую ситуацию, когда все воркеры заняты запросами и пользователь банально не может подтянуть из за этого статику(вэб лежит грубо говоря). Есть ли возможность добиться асинхронности вообще? Или спасение искать в брокерах?

так обычная ситуация же с воркер моделью, просто добавь столько воркеров, сколько нужно, чтобы в пике их хватало всем

Oleg

Вообщем, который раз возвращаюсь к этому вопросу. Есть проект с воркерами в размере - 30 и более (в зависимости от памяти на серве). И есть куча "тяжелых" запросов к базе(минута и более) - не все, но такие запросы есть. И соответственно иногда попадаю в такую ситуацию, когда все воркеры заняты запросами и пользователь банально не может подтянуть из за этого статику(вэб лежит грубо говоря). Есть ли возможность добиться асинхронности вообще? Или спасение искать в брокерах?

В идеале статику бы отделить от логики

Ilya

нигде кроме питона не слышал про celery

Кажется, у любителей Руби есть «Сайдкик».

Je

нигде кроме питона не слышал про celery

ты сейчас троллишь? celery это чисто питонячья история с пикл’ом объектов и удаленном их выполнении - обобщенный такой консьюмер. на го ты просто не сделаешь подобного)