не все подходят для домена к которому идёт запрос

Тогда зачем они плохие

Мазохист наверно

Пинай их саппорт, зачем они какаху тебе продают

не все подходят для домена к которому идёт запрос

Ну найди которые подходят, отфибтруй по подсети, локации

Латенси

Это проблема домена, что к нему не все могут достучаться

так что. выхода никакого нет?

Я не знаю целой картины

Ты ддосишь мой домен?

Я тебя нашел наконец

у меня обновляемая база проксей, там сразу 2-3к подгружается и рандомно берётся один прокси для запроса

Я тебя нашел наконец

я гист скидывал

Я тебя нашел наконец

https://gist.github.com/x-Sonnet/01a2413718cae198563d648bd0cef5ae скрипт создаёт 100 потоков с этой функцией, которая принимает разные id.. по итогу я не получаю 100 результатов т.к если выбрасывается исключение то всё.. габелла

Я вижу

в среднем получаю 80-85 результатов

Ну прокси такие

Они все Https?

а если сервер не ответит двухсотым кодом? чё делать?

в среднем получаю 80-85 результатов

ну я бы начал с того что все таки переписал бы с while на for и вместо random использовал бы secret

Сессию подставь

а если сервер не ответит двухсотым кодом? чё делать?

Ловить r.ok

https://gist.github.com/x-Sonnet/01a2413718cae198563d648bd0cef5ae скрипт создаёт 100 потоков с этой функцией, которая принимает разные id.. по итогу я не получаю 100 результатов т.к если выбрасывается исключение то всё.. габелла

Ну всё норм, ты же 200 статус код ответа на прокси смотришь

к тому же много поточность она как бы такая. больше чем количество ядер у тебя все равно не одновременно работать, плюс GIL. requests его конечно может быть релизит. Но все равно у тебя скорее всего только 1 поток выполняется в еденицу времени

...только

короче дело не в качестве прокси, у меня другой вопрос... как сделать повторный запрос в случае ProxyError или Timeout?

короче дело не в качестве прокси, у меня другой вопрос... как сделать повторный запрос в случае ProxyError или Timeout?

ну ваил или фор, я ж тебе сказал

...только

а че разве нет?

while убивает потоки..

сейчас for попробую

к тому же много поточность она как бы такая. больше чем количество ядер у тебя все равно не одновременно работать, плюс GIL. requests его конечно может быть релизит. Но все равно у тебя скорее всего только 1 поток выполняется в еденицу времени

Питон сам по себе освобождает Гил на таких операциях

Питон сам по себе освобождает Гил на таких операциях

Ну да, но все равно они будут работать конкурентно, а не паралельно. Или я че то не понимаю

Есть же асинхронный request s

Есть же асинхронный request s

Ну будет тож самое что с потоками

И проверяй сначала response status code, потом делай JSON.loads

Ну и я бы советовал не запускать 100 потоков, а сделать ProcessPoolExecutor и выполнять уже там че тебе надо

Ну и я бы советовал не запускать 100 потоков, а сделать ProcessPoolExecutor и выполнять уже там че тебе надо

https://gist.github.com/x-Sonnet/01a2413718cae198563d648bd0cef5ae этот вариант то, что надо.. только у меня есть вытекающие вопросы... 1) как из прокси листа удалять прокси через которые не получилось сделать запрос? 2) нужен ли тут вообще рандомный подбор?

https://gist.github.com/x-Sonnet/01a2413718cae198563d648bd0cef5ae этот вариант то, что надо.. только у меня есть вытекающие вопросы... 1) как из прокси листа удалять прокси через которые не получилось сделать запрос? 2) нужен ли тут вообще рандомный подбор?

удалять глобально для всех процессов или только для одного?

https://gist.github.com/x-Sonnet/01a2413718cae198563d648bd0cef5ae этот вариант то, что надо.. только у меня есть вытекающие вопросы... 1) как из прокси листа удалять прокси через которые не получилось сделать запрос? 2) нужен ли тут вообще рандомный подбор?

1. list.remove

глобально. прокси лист обновляемый. если прокся не подошла, то она мне на 100% не будет нужна далее

ааа proxy_list.remove(p) понял принял

ааа proxy_list.remove(p) понял принял

ну это ты конкретно в этом потоке уберешь

в остальных она останется, я хз как для всех убирать

прокси лист глобальный. после каждой пачки запросов у меня выводится колличество оставшихся прокси

оно уменьшается... значит вроде работает =)

что значит глобальный, если ты в разных процесса/потоках его дергаешь

с рандомом так и не понял как поступать... стоит ли тут мудрить вообще... если прокся падает - то она удалиться из листа, а если она рабочая - то впринципе без разницы с какой прокси будет начинать идти цикл.. верно ведь?

с рандомом так и не понял как поступать... стоит ли тут мудрить вообще... если прокся падает - то она удалиться из листа, а если она рабочая - то впринципе без разницы с какой прокси будет начинать идти цикл.. верно ведь?

Если будешь делать пик рандомных элементов у массиве, код хуже не станет:)

в остальных она останется, я хз как для всех убирать

queue потокобезопасный вроде

queue потокобезопасный вроде

ну это да, но так сходу чтобы это красиов все работало, я чет даже хз

queue это все таки не лист

тем лучше, ему же туда накидать их, а потом по одной выковыривать

ну тогда да

a = None return a if a is not None else None

a = None return a if a is not None else None

Мой код xd

ну тогда да

https://gist.github.com/x-Sonnet/01a2413718cae198563d648bd0cef5ae вообщем теперь потоки дерутся за удаление нерабочей прокси... в итоге спамится ошибка: ValueError: list.remove(x): x not in list

https://gist.github.com/x-Sonnet/01a2413718cae198563d648bd0cef5ae вообщем теперь потоки дерутся за удаление нерабочей прокси... в итоге спамится ошибка: ValueError: list.remove(x): x not in list

У тебя какой то рандом странный тогда

там нет рандома... посмотри гист

я же циклом иду по листу

Ну тогда логично все

Все получают один и тот же прокси, один удаляет и все остальные сосут лапу

proxy_list - обычный лист или queue?

ERROR: S client not available

а, ну да, не queue

обычные лист

ну юзай блокировку

я 3 недели учусь, пока многого не знаю

или в queue прокси запихай

просто не понимаю... я использовал цикл для того, чтобы блок "try" исполнился в обязательном порядке, пусть и не с первого раза... куда тут рандом втыкать-то и каким образом

потом доставай каждым потоком - queue.popleft()

зачем тебе рандом?

а если в поток попадёт прокси, которая не сработает?

а если в поток попадёт прокси, которая не сработает?

ну как только ты ее получишь в потоке - из queue она сама удалится

https://docs.python.org/3/library/queue.html

ну как только ты ее получишь в потоке - из queue она сама удалится

она удалится, поток с функцией не выполнится(если прокся не рабочая)... как мне заново запустить этот же поток с новой проксёй?

я просто для этого цикл использовал

не пойму это понадобится при оспользовании queue или нет?

зависит от логики

if r.status_code == 200: делаешь_грязь() else: proxy = queue.get() continue

ну вот примерно

это все в цикле каком-нибудь

не пойму это понадобится при оспользовании queue или нет?

Вот клевая статья http://toly.github.io/blog/2014/02/13/parallelism-in-one-line/

зависит от логики

https://gist.github.com/x-Sonnet/01a2413718cae198563d648bd0cef5ae логика такая примерно... в списке ids около 100 id. для каждого из них создаётся поток с запросом. цикл for создал для того чтобы try исполнился в любом случае в каждом потоке и отдал значение.

С чего начать?

без него у меня из 100 id выполнялось 80

Мужики и дамы вопрос такой, возможно изучать phyton и параллельно работать над каким-то проектом. Типа подмастерье у мастера???

Да

https://gist.github.com/x-Sonnet/01a2413718cae198563d648bd0cef5ae логика такая примерно... в списке ids около 100 id. для каждого из них создаётся поток с запросом. цикл for создал для того чтобы try исполнился в любом случае в каждом потоке и отдал значение.

Ну загоняешь все прокси в queue, в функции individual_check делаешь цикл, в котором получаешь прокси из очереди -> queue.get() и делаешь запрос. Если статус код не 200 - делаешь continue чтобы получить новую проксю

Мужики и дамы вопрос такой, возможно изучать phyton и параллельно работать над каким-то проектом. Типа подмастерье у мастера???

Делай свой проект)

спасибо, сейчас попробую

Свои то маленькие делаю

Но интереcно посмотреть на производственные задачи)