думаю все вкурсе что rar-ник может содержать произвольный исполняемый перед распаковкой код а решение задачки - может быть отвлекающим маневром куль-хацкера)

Я тоже так подумал но нет )

Пиши сюда вопрос

Привет всем. Так как я слегка "окреп" в войне с кодом, хотел бы пофрилансить для портфолио. Какую Нежадную площадку посоветуете без аккаунтов PRO и так далее?

продублируй свое сообщение и файл в @flood а то тут и правда офтоп

upwork

Там для отклика на об-ьявление сдирают деньги с исполнителя, что не есть верно ибо по сути человек лишь начинает уточнять детали

Частоту опроса мыши поставь 500, у тебя стоит 1000.

В мыши или в браузере?

В драйверах мыши где то должно быть

Мне по чем знать, я тебе сказал причину

Всем привет . Хотел спросить по поводу этой конструкции . Как-то не как не могу понять зачем в конце еще две скобки Function(){}() ??????? Может кто-то знает какую-то статью или урок , что не быть (: по этой теме

https://developer.mozilla.org/en-US/docs/Glossary/IIFE

Всем привет . Хотел спросить по поводу этой конструкции . Как-то не как не могу понять зачем в конце еще две скобки Function(){}() ??????? Может кто-то знает какую-то статью или урок , что не быть (: по этой теме

Анонимная самовызывающаяся функция

Спасибо . Буду гуглить

Здравствуйте, пишу скрапер для сайта https://agroserver.ru/company/produkty/ У него весьма изощренная защита от ботов, во первых надо было юзер агента выставлять, иначе ответ был 404, во вторых - если шлешь слишком много запросов, отвечает ошибкой 503 и потом 10 минут нужно ждать. Подскажите как обойти это, могу предоставить код, если необходимо

Здравствуйте, пишу скрапер для сайта https://agroserver.ru/company/produkty/ У него весьма изощренная защита от ботов, во первых надо было юзер агента выставлять, иначе ответ был 404, во вторых - если шлешь слишком много запросов, отвечает ошибкой 503 и потом 10 минут нужно ждать. Подскажите как обойти это, могу предоставить код, если необходимо

Здравствуйте, пишу скрапер для сайта https://agroserver.ru/company/produkty/ У него весьма изощренная защита от ботов, во первых надо было юзер агента выставлять, иначе ответ был 404, во вторых - если шлешь слишком много запросов, отвечает ошибкой 503 и потом 10 минут нужно ждать. Подскажите как обойти это, могу предоставить код, если необходимо

Здравствуйте, пишу скрапер для сайта https://agroserver.ru/company/produkty/ У него весьма изощренная защита от ботов, во первых надо было юзер агента выставлять, иначе ответ был 404, во вторых - если шлешь слишком много запросов, отвечает ошибкой 503 и потом 10 минут нужно ждать. Подскажите как обойти это, могу предоставить код, если необходимо

тор вроде жутко долгий

использую тор в докере+свой балансер на го

Боги, вы мне предлагаете кластер из скраперов сделать?)

"Достаточно просто на "Вы" (c) Ну так и защита стоит такая, чтобы с ней было неохота возиться)

"Достаточно просто на "Вы" (c) Ну так и защита стоит такая, чтобы с ней было неохота возиться)

а можно чуть детальнее про архитектуру

Архитектуру моего парсера?

использую тор в докере+свой балансер на го

а можно чуть детальнее про архитектуру

Ничего сложного

Берется сайт с публичными прокси, из них выдергивается их список. Создается некоторая пачка UA. Потом список проверяется на валидность - если запросы через прокси не проходят N раз подряд, принимаем прокси за невалид и убираем из списка. Когда все прокси в списке остаются валидными запускаем основной цикл, в котором (или многопоточно, или поочередно) берем из списка прокси, в запрос подставляем UA из заготовленного списка. То есть каждый запрос - это новый прокси+UA. Когда список UA/прокси кончится, просто начинаем сначала - к этому моменту обычно уже можно использовать первую пару

как генерить агентов? Я просто не в теме, их валидирует бэк?

Берется сайт с публичными прокси, из них выдергивается их список. Создается некоторая пачка UA. Потом список проверяется на валидность - если запросы через прокси не проходят N раз подряд, принимаем прокси за невалид и убираем из списка. Когда все прокси в списке остаются валидными запускаем основной цикл, в котором (или многопоточно, или поочередно) берем из списка прокси, в запрос подставляем UA из заготовленного списка. То есть каждый запрос - это новый прокси+UA. Когда список UA/прокси кончится, просто начинаем сначала - к этому моменту обычно уже можно использовать первую пару

на питоне использовал fake-useragent

вариант хороший, но честно скажу, публичные прокси живут ооочень недолго

и сколько рекомендуете брать прокси и агентов? Понимаю что четкой цифры нет

Это общая архитектура. В моем приложении у меня был отдельный поток-ревизор для списка прокси и менеджер потоков, в которых прокси отвалились. То есть я в режиме реального времени парсил новые прокси и валидировал их

зависит от количества проксей конечно, но тор мне больше нравится тем что точно работает

и сколько рекомендуете брать прокси и агентов? Понимаю что четкой цифры нет

Чтобы вхолостую прокси не терять, советую пожертвовать несколькими на старте и выбрать точный интервал запросов, при котором сайт не посылает по известному адресу)

пока не пошлет, а потом выбрать с запасом, да?