Ребят, как я могу задать диапозон в int числах? Допустим: a = 60 if a == ОТ 40 ДО 70, ....

if i in range(40, 70+1)

if i in range(40, 70+1)

срезы

и статья почему это плохо

срезы

? if i in range(999999999)[40:70+1]

Господа, вынужден обратиться к вам за помощью в виде совета, какие то хулиганы которые работают в авито банят IP из за моего безобидного парсинга, посоветуйте как бы избежать такой досадной ситуации? Установить задержку между запросами? или поколдовать ещё с headers ?

Господа, вынужден обратиться к вам за помощью в виде совета, какие то хулиганы которые работают в авито банят IP из за моего безобидного парсинга, посоветуйте как бы избежать такой досадной ситуации? Установить задержку между запросами? или поколдовать ещё с headers ?

попробовать пользоваться API?

если оно есть

попробовать пользоваться API?

посмотрю API но маловероятно что они бесплатно позволят парсить данные, ведь на их сайте это как услуга продаётся

Господа, вынужден обратиться к вам за помощью в виде совета, какие то хулиганы которые работают в авито банят IP из за моего безобидного парсинга, посоветуйте как бы избежать такой досадной ситуации? Установить задержку между запросами? или поколдовать ещё с headers ?

Потому что не надо парсить

Потому что не надо парсить

ну как это не надо если надо =)) потерпят немного =)

Господа, вынужден обратиться к вам за помощью в виде совета, какие то хулиганы которые работают в авито банят IP из за моего безобидного парсинга, посоветуйте как бы избежать такой досадной ситуации? Установить задержку между запросами? или поколдовать ещё с headers ?

А что ты парсишь?

И как?

номера телефонов поди

А что ты парсишь?

отслеживаю определенную марку авто, парсинг через bs4 и request

И как?

РЕГУЛЯРКАМИ ХТМЛ

Для начала поставь там все заголовки как у браузера

И рандомизируй user-agent

Для начала поставь там все заголовки как у браузера

там скорее всего кол-во запросов в мин

И еще прикрути тор, раз в несколько минут обновляй IP

не поможет

И рандомизируй user-agent

у меня стоит но без рандома

там скорее всего кол-во запросов в мин

Тогда задержки

Тогда задержки

вот хотелось бы знать какая задержка их устроит

Тогда задержки

задержка я так понимаю тоже рандомная должна быть?

Лучше так, конечно

Просто sleep со случайным значением секунд в определенном пределе

Просто sleep со случайным значением секунд в определенном пределе

буду пробовать, пока эксперементируюю боюсь окончательно забанять мой ip, может через прокси лучше делать?

буду пробовать, пока эксперементируюю боюсь окончательно забанять мой ip, может через прокси лучше делать?

Я же написал, что через тор

И обновляй identity

С тором работать просто — это прокси localhost:9050

А для управления есть порт специальный

Под питон есть уже либа готовая, разберешься

С тором работать просто — это прокси localhost:9050

никогда этим не пользовался пойду гуглить про тор =)

Лол, не знать про тор в 2019

Даже школьники знают

Лол, не знать про тор в 2019

ДА я тот ещё динозавр =)

Даже школьники знают

Спасибо за советы, не знаю что бы делал без вас

Господа, вынужден обратиться к вам за помощью в виде совета, какие то хулиганы которые работают в авито банят IP из за моего безобидного парсинга, посоветуйте как бы избежать такой досадной ситуации? Установить задержку между запросами? или поколдовать ещё с headers ?

хулиган здесь только ты и парсить сайты в 2019, не инвестируя в техники обхода - это такое себе, пойди и купи доступ к API

Даже школьники знают

я хз))), я так то не очень в программировании

хулиган здесь только ты и парсить сайты в 2019, не инвестируя в техники обхода - это такое себе, пойди и купи доступ к API

ну не будьте так категоричны, должен же я где то практиковатся в парсинге =)

Я же написал, что через тор

exit nod’ы это ограниченное множество, в конечном счете они и их забанят тоже, и это плохой совет

ну не будьте так категоричны, должен же я где то практиковатся в парсинге =)

блин, а потом из-за таких как Вы, я не могу ставку на фрилансе сделать)

блин, а потом из-за таких как Вы, я не могу ставку на фрилансе сделать)

в смысле? как я вам мешаю?

Fargo UPD: у них все exit-ноды заблочены, походу, я сейчас чекнул

У меня есть теперь другое предложение

Придётся тебе использовать мобильный интернет

Fargo UPD: у них все exit-ноды заблочены, походу, я сейчас чекнул

Я выслушую любые варианты =)

Придётся тебе использовать мобильный интернет

у меня такой есть

Суть в том, что у операторов IP каждый раз новый выдается при регистрации в сети

это мамкиных хакиров чат теперь?

Используй телефон в режиме тетеринга по USB, скриптом через adb можешь передергивать режим полёта, чтобы перерегистрироваться в сети и получить новый IP

в смысле? как я вам мешаю?

я хочу зарабатывать парсингом, ибо я школота и мозгов на большее не хватит, вы парсерщик и я парсерщик, хоть еще и не работаю пока, это значит, что есть конкуренция, есть конкуренция - сложнее работу найти

Я так регулярно обхожу баны

Используй телефон в режиме тетеринга по USB, скриптом через adb можешь передергивать режим полёта, чтобы перерегистрироваться в сети и получить новый IP

ох жесть какая но я попробую =)

вы все тут такие умные, я ниче не шарю, даже стьдно стало)

я хочу зарабатывать парсингом, ибо я школота и мозгов на большее не хватит, вы парсерщик и я парсерщик, хоть еще и не работаю пока, это значит, что есть конкуренция, есть конкуренция - сложнее работу найти

так конкуренция всегда и везде есть неволнуйтесь так я тоже только учусь =)

так конкуренция всегда и везде есть неволнуйтесь так я тоже только учусь =)

она нарастает)

она нарастает)

да пусть нарастает как хочет, программировать могут многие а хорошо кодить еденицы, быдлокодеры сами отсеятся

да пусть нарастает как хочет, программировать могут многие а хорошо кодить еденицы, быдлокодеры сами отсеятся

парсинг не относится к тяжелым задачам, я думаю

ERROR: S client not available

Есть интересная идея — поставь себе user-agent гуглобота

так что , чем больше людей в этой сфере, тем сложнее в ней зарабатывать,

а на freelancehunt вообще заказов на 2 страницы

РЕГУЛЯРКАМИ ХТМЛ

В парсинге без регулярок никак)

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Есть интересная идея — поставь себе user-agent гуглобота

я видел в видео по php чел просто куки в header добавил из браузера и всё заработало но я не очень понял как

Так ты даже куки не ставишь?

Тогда неудивительно, что банят

Так ты даже куки не ставишь?

эм.. нет =)

Твоя задача — максимально быть похожим на браузер

Если тебе сервер отправляет куку, то тебе следует её запомнить и использовать

Тогда неудивительно, что банят

ну так ожет весь header скопировать туда и всё ?

Ты используешь requests?

response.cookies есть поле

Ты используешь requests?

да

В request тоже есть параметр cookies

response.cookies есть поле

куки не использую

Короче, пирожок, иди читай доки

В request тоже есть параметр cookies

в него добавить куки браузера?

Короче, пирожок, иди читай доки

доки по request?

requests

в него добавить куки браузера?

Которые тебе дал сервер

фигачь селениумом

Ты чот основ не знаешь

фигачь селениумом

Это пушкой по воробьям

Его стоит юзать только для всякой сложной херни типо защиты cloudflare

Ты чот основ не знаешь

не знаю к сожалению, буду гуглить =)

Которые тебе дал сервер

до этого моменда accept и user-agent прокатывало а тут вон оно как =)

Там еще дохера заголовков