у нас есть главная программа, которую мы назовем main, в ней будет класс с названием main, в котором будет функция с названием main

В которой будет переменная с названием main, содержащая строку "main"

А как можно ускорить исполнение запросов на питоне, тех же реквестов кроме создания потоков ?

Ускорить время ответа сервера

можно писать асинхронный код

А разве это будет работать с реквестами?

А разве это будет работать с реквестами?

с реквестами не будет, но это ведь ничего страшного, поделаешь запросы другой библиотекой

В которой будет переменная с названием main, содержащая строку "main"

за переменную-то я и забыл!

у нас есть главная программа, которую мы назовем main, в ней будет класс с названием main, в котором будет функция с названием main

А вообще если в каждой ситуации каждой сущности давать говорящее имя, то такого не произойдет

А разве это будет работать с реквестами?

Смотря как напишешь)

с реквестами не будет, но это ведь ничего страшного, поделаешь запросы другой библиотекой

aiohttp?

я хз, но они наверняка есть (они не могут не есть)

А вообще если в каждой ситуации каждой сущности давать говорящее имя, то такого не произойдет

vozmyomDlyaPrimeraTakyuPonyatnyuSyshnost )))

Можно запилить свой ивентлуп и делать запросы с реквестами

Можно запилить свой ивентлуп и делать запросы с реквестами

Пример подобного есть ?

можно писать асинхронный код

и запускать его на геораспределенном кластере, вроде тут это обсуждали...

vozmyomDlyaPrimeraTakyuPonyatnyuSyshnost )))

def ya_koneshno_ne_expert(no):

Пример подобного есть ?

Полно в интернетах

Полно в интернетах

Ну посмотрю, но сомневался что с оеквестаси живет

Ну посмотрю, но сомневался что с оеквестаси живет

Юзаешь селект с конечным автоматом

Или на генераторах

def ya_koneshno_ne_expert(no):

а ты хорош...

vozmyomDlyaPrimeraTakyuPonyatnyuSyshnost )))

:) ну правда же, если имена выбраны нормально, они вряд-ли совпадут, а если совпали, то мб стоит пересмотреть архитектуру, разве не?

у нас есть главная программа, которую мы назовем main, в ней будет класс с названием main, в котором будет функция с названием main

У меня вот есть пакет app с модулем app и переменной app внутри. И хз как это лучше назвать.

:) ну правда же, если имена выбраны нормально, они вряд-ли совпадут, а если совпали, то мб стоит пересмотреть архитектуру, разве не?

да я вроде и не спорил, просто нужно не только "говорящую" переменную, надо ведь её понимать

Ну посмотрю, но сомневался что с оеквестаси живет

В синхронном неторопливом парсинге есть свои плюсы - меньше вероятность, что забанят

У меня вот есть пакет app с модулем app и переменной app внутри. И хз как это лучше назвать.

Это потому что создателю пакета лень было думать над названиями сущностей

У меня вот есть пакет app с модулем app и переменной app внутри. И хз как это лучше назвать.

tell me about it...

Ну посмотрю, но сомневался что с оеквестаси живет

А чем треды не устраивают?

Это потому что создателю пакета лень было думать над названиями сущностей

Ну разве что можно пакет переименовать, но толку. Он все равно живёт в единственном экземпляре в докере

А чем треды не устраивают?

Питоник вей лучше юзать асинк

А чем треды не устраивают?

Нормально распределить на 20 тредов не получается

Питоник вей лучше юзать асинк

Когда это асинк стал питоник? ?

у некоторых туториалов есть плохая привычка называть тестовую виртуальную среду как venv... некоторые не понимаю, что это пример, и называть для всех проектов виртуальную среду как venv не лучшая затея

Когда это асинк стал питоник? ?

Он всегда был, одно ядро питона не позволяет ощутить треды как таковой

Нормально распределить на 20 тредов не получается

Складываешь ссылки в очередь и напускаешь на нее тредпул, все само распределится

Можно запилить свой ивентлуп и делать запросы с реквестами

Это как? requests же блокирующая

Складываешь ссылки в очередь и напускаешь на нее тредпул, все само распределится

Пробну

Он всегда был, одно ядро питона не позволяет ощутить треды как таковой

Не стоит вскрывать эту тему, вы молодые, шутливые

у некоторых туториалов есть плохая привычка называть тестовую виртуальную среду как venv... некоторые не понимаю, что это пример, и называть для всех проектов виртуальную среду как venv не лучшая затея

Почему?

Не стоит вскрывать эту тему, вы молодые, шутливые

Я конечно вкурсе отключения GIL, Multiprocessing, просто не хочу крашится на одновременной попытке доступа к памяти

у некоторых туториалов есть плохая привычка называть тестовую виртуальную среду как venv... некоторые не понимаю, что это пример, и называть для всех проектов виртуальную среду как venv не лучшая затея

Если среда живёт внутри проекта, то не страшно, вот когда под все среды одна папка...

Почему?

потому что потом все проекты называются venv, хз почему, как потом понять что есть что, хз

Если среда живёт внутри проекта, то не страшно, вот когда под все среды одна папка...

именно

потому что потом все проекты называются venv, хз почему, как потом понять что есть что, хз

В смысле? Папка внутри проекта. Одна.

К тому же питон скриптовый язык, зачем ему два+ ядра

Нефтг юзать один venv много раз

Не в названии дело вообще

В смысле? Папка внутри проекта. Одна.

не не, в одной среде пачку проектов

не не, в одной среде пачку проектов

Зачем?

откуда я знаю?

Ну так ещё раз - не в названии дело

Я конечно вкурсе отключения GIL, Multiprocessing, просто не хочу крашится на одновременной попытке доступа к памяти

У меня с тредами все в порядке, не знаю что у тебя за сложности

У меня с тредами все в порядке, не знаю что у тебя за сложности

Работать они работают, но в рамках одного треда/ядра

К тому же треды снижают эффективность на доли процента

Работать они работают, но в рамках одного треда/ядра

Ты б почитал как себя гил ведет

Переключение между тредами занимает время

Ты б почитал как себя гил ведет

Угум, читал и тесты производительности смотрел

Если в каждом треде считать миллион знаков Пи, после запятой, то да, толку не будет, а реквест - вполне себе нормально

Реквест же не на уровне питона работает

Блин, чувак

Если в каждом треде считать миллион знаков Пи, после запятой, то да, толку не будет, а реквест - вполне себе нормально

это смотря сколько тредов

это смотря сколько тредов

Чем больше, тем хуже

Чем больше, тем хуже

спасибо, капитан

Реквест же не на уровне питона работает

При запросе питон все равно стоит и ждёт ответа, он мог бы переключиться и сделать ещё один (несколько) запрос за это время

При запросе питон все равно стоит и ждёт ответа, он мог бы переключиться и сделать ещё один (несколько) запрос за это время

И то верно

При запросе питон все равно стоит и ждёт ответа, он мог бы переключиться и сделать ещё один (несколько) запрос за это время

И как подобное сделать кроме как не отдельные треды?

И как подобное сделать кроме как не отдельные треды?

так про треды и была речь

ERROR: S client not available

это смотря сколько тредов

Любой классный инструмент можно извратить (3-этажные List comprehensions или lambda, сейчас вот "моржики" стаями пойдут)

Ну так ещё раз - не в названии дело

ну да, чет я туплю походу ?

И как подобное сделать кроме как не отдельные треды?

В чем, все таки трудность использовать aiohttp-client?

В чем, все таки трудность использовать aiohttp-client?

Да ни в чем, проект на реквестах написан. Перепишу на aiohttp

Идея в том, как максимально быстро сделать

1000 запросов

И получив ответы, сохранить результат

Да ни в чем, проект на реквестах написан. Перепишу на aiohttp

А там помимо реквеста есть наверное ещё парсинг? Или просто что-то сохраняется?

А там помимо реквеста есть наверное ещё парсинг? Или просто что-то сохраняется?

Парсинг странички есть на проверку стоившее успешно

Зачем максимально быстро?

Обычным response.text и регулярочкой нужный кусок цепляем

Зачем максимально быстро?

Зачем ждать час, когда можно 15-20 минут ?)

Зачем ждать час, когда можно 15-20 минут ?)

15-20 минут - это не максимально быстро

Зачем ждать час, когда можно 15-20 минут ?)

Скрипт только это делает или ещё что-то?

15-20 минут - это не максимально быстро

Быстрее сервер забанит :(

50 тредов сделают 1000 запросов за одну минуту

Скрипт только это делает или ещё что-то?

В целом гет и пост запросы. В основном на постах отправляет тело и потом чекают ответ

На асинкио можно запустить все 1000 запросов разом и не умереть, но нужно ли?

50 тредов сделают 1000 запросов за одну минуту

Верно, но мне казалось что такой подход не очень хороший, поэтому и спросил

Верно, но мне казалось что такой подход не очень хороший, поэтому и спросил

Обычный подход

Зачем ждать час, когда можно 15-20 минут ?)

1000 запросов за 20 минут это меньше 1 рпс. Какой тут вообще смысл обсуждать перфоманс?

Быстрее сервер забанит :(

2-3 треда тебе хватит, ты их даже не почувствуешь

Всегда было неудобно разбивать работу по листу на несколько тредов

2-3 треда тебе хватит, ты их даже не почувствуешь

есть вероятность, что даже в одном треде последовательно можно сделать

есть вероятность, что даже в одном треде последовательно можно сделать

Да, вполне

Чтоб не вручную делать выборку сколько 1,2,3 треду дать данных

есть вероятность, что даже в одном треде последовательно можно сделать

Оно в одном и делалось

Но хочется побыстрее

У меня скриптик на работе каждое утро, в 7 часов парсит театральный агрегатор (5-6 страниц, потом около 250 событий - индивидуальная страница на каждое событие) делает это где то минуту-полторы. Мог бы ускорить, но не вижу смысла. Меня не банят, я сайт не заваливаю запросами

ну значит тредов добавь. Переписывать на aiohttp смысла в твоем случае нет

Вопрос. Есть токен Google Analytics в файле на пк, но не знаю как подставить правильно. Код: https://dpaste.de/Gfri