Конкретно, идёшь на след страницу)

ну так для того, чтобы твой скрипт делал что-то нужное, надо сначала ручками, самостоятельно, разобраться, как это можно автоматизировать. если ты хочешь магическую хуйню, которой ты сказал "ДАЙ МНЕ ВСЕХ ПИТОНИСТОВ С ЛИНКЕДИНА И НАСРИ ИМ В ПОЧТУ" и хуяк все готово заказчик дал бабло, то у меня для тебя плохие новости.

ну так для того, чтобы твой скрипт делал что-то нужное, надо сначала ручками, самостоятельно, разобраться, как это можно автоматизировать. если ты хочешь магическую хуйню, которой ты сказал "ДАЙ МНЕ ВСЕХ ПИТОНИСТОВ С ЛИНКЕДИНА И НАСРИ ИМ В ПОЧТУ" и хуяк все готово заказчик дал бабло, то у меня для тебя плохие новости.

пфф

на апворке, магическая хуйня называется индус

роль индуса тут выполняет владислав как раз

ну так для того, чтобы твой скрипт делал что-то нужное, надо сначала ручками, самостоятельно, разобраться, как это можно автоматизировать. если ты хочешь магическую хуйню, которой ты сказал "ДАЙ МНЕ ВСЕХ ПИТОНИСТОВ С ЛИНКЕДИНА И НАСРИ ИМ В ПОЧТУ" и хуяк все готово заказчик дал бабло, то у меня для тебя плохие новости.

Заказчик я сам) просто для себя пытаюсь разобраться, как автоматизировать процесс прохода по всем возможным ссылкам)

Конкретно, идёшь на след страницу)

ну давай сами зайдем и жмакнем на вторую страницу. вот я жмакнул. какой урл был открыт? https://www.linkedin.com/search/results/people/?keywords=python&origin=SWITCH_SEARCH_VERTICAL какой теперь, когда я на второй странице? https://www.linkedin.com/search/results/people/?keywords=python&origin=SWITCH_SEARCH_VERTICAL&page=2

роль индуса тут выполняет владислав как раз

Даже не буду пытаться оспаривать данный факт, я ещё совсем начинающий в питоне и в программировании в целом)

о, чудо! в конце ссылки появился параметр page с цифиркой 2!

Даже не буду пытаться оспаривать данный факт, я ещё совсем начинающий в питоне и в программировании в целом)

жаль :(

значит, наверное, можно заебенить в скрипт да хоть тупой for page in range(100): requests.get('...', params={'page': page})

значит, наверное, можно заебенить в скрипт да хоть тупой for page in range(100): requests.get('...', params={'page': page})

и получить бан от линкедина, но это совсем другая история

Это я тоже понимаю, но допустим как узнать, кроме как ручками сколько страниц вообще существует по данному запросу?

прокси, впн и прочие способы обхода этого говна спасут отца русской демократии

ну да, это лвл 2

Вот я и интересуюсь для того, чтобы перейти на лвл 2)

Это я тоже понимаю, но допустим как узнать, кроме как ручками сколько страниц вообще существует по данному запросу?

так, ну давай посмотрим. когда я на первой странице, мне отображаются следующие данные: вверху - Showing 1,945,699 results внизу - список страниц, от 1 до 10. больше - увы. значит, есть два способа - первый - поделить 1945699 на кол-во пидоров, отобраюающихся на одной странице - получим кол-во страниц. проблема может быть в том, что линкедин хоть и похвастается этими двумя миллионами питонистов, но все их тебе вряд ли отдаст.

второй способ - а зачем тебе знать, сколько страниц вообще существует, когда можно просто идти по новым? вот ты на первой странице находишься, внизу еще девять ссылок, на страницы от 2 до 10. прошелся по ним по всем, оказался на десятой, а там - хуяк - уже отображаются страницы с 6 по 15. значит, качаешь с 11 по 15.

и так, пока страницы справа от текущей не перестанут отображатся. когда перестали - значит ой, кончилось.

Первый способ для меня понятнее)

вот про второй. по class="active" можно понять, какая страница текущая. выдираем все <li> из этого блока, находим там текущую, и берем все справа от нее. это если утрированно и на пальцах.

если понятнее первый способ - ну попробуй его реализовать. только сделай проверку, как только на странице перестали отображаться нужные данные - остановиться, нахуй, чтоб вхолостую не работать и не увеличивать шанс бана.

Да я вот и думаю, может какой-нибудь тайм-аут между итерациями сделать, чтобы не забанили

Или не поможет?

А какой таймаут ставить будешь? Пока не забанят, не узнаешь)

таймаут, юзерагент. увидел rate limit exceeded или типа того - остановись, подожди. не хочется ждать - ищи бесплатные прокси. не хочется пользоваться говном - покупай прокси.

Есть знакомые люди, которые каким-то ботом парсят и рассылают сообщения по типу вышеупомянутого селениума, то говорят что больше 300 человек в день лучше не проходить

зависит от дохуищи всякой херни.

таймаут, юзерагент. увидел rate limit exceeded или типа того - остановись, подожди. не хочется ждать - ищи бесплатные прокси. не хочется пользоваться говном - покупай прокси.

Спасибо, ты первый кто дал подробные объяснения такому губу как я)

Нубу*

это я просто по бегиннерсам соскучился но не настолько, чтобы туда возвращаться

Буду стараться не задавать глупых вопросов)

А чем сейчас вообще в основном занимаются на питоне? Какие заказы в основном?

яннп

А чем сейчас вообще в основном занимаются на питоне? Какие заказы в основном?

да все формошлёпы и мамкины скраперы, как выше правильно написали, в этом никто признаваться не будет

датасаентистов забыл

ну она нанесла удар ногой по верхней точке, продемонстрировав ему богатый внутренний мир

датасаентистов забыл

ну графикошлёпы

А чет посерьёзнее есть смысл писать на питоне? Слышал даже браузерные игры на нем есть

браузерные игры - бекенд, разве что. а это вполне попадает под категорию формошлёпства

ну вон десктопный софт на питоне пишут, для линухов в основном. gajim, terminator, че там еще было.

всякие не очень нуждающиеся в производительности сетевые сервисы или очень нуждающиеся, тогда с какиим-нибудь говнообертками над С++шным кодом

хм, спасибо за обширный ответ)

это я просто по бегиннерсам соскучился но не настолько, чтобы туда возвращаться

?

А чем сейчас вообще в основном занимаются на питоне? Какие заказы в основном?

PDM/PLM система, TNA календарь, сирьёзный бизнисс

а еще котиков рисовать можно

А чем сейчас вообще в основном занимаются на питоне? Какие заказы в основном?

Но в последнее время , что бы не писали на питоне, в итоге получается бот

детям на заметку: http://pythonbooks.org

Зрт т упрлс?

а ты проебал недавнее?

считайте что я пизданулся

см. тут

Збс!

считайте что я пизданулся

#стикерпак

#стикерпак

пф

вы как камеди клаб, метите самое несмешное

ДЖАНГА ХУИТА

Оооо блять

аж лехче стала

Джанга это лучшее что случилось с питончиком)

Ну торнада еще окей

Джанга это лучшее что случилось с питончиком)

>лучшее >джанга

Не осилил вот и злобствуешь)

(Знаю)

Типичный день рубиста

Молодеж?

Зарт?

Типичный день рубиста

Под рубиста это лучше подходит

ДЖАНГА ХУИТА

После чего психанул?

Ретард ебанный

Ретард ебанный

Ретарды на двача

я там не обитаю

как видишь

Ретарды на двача

Дайте банца господину

ДЖАНГА ХУИТА

Там админка и батарейки

И орм

Дайте банца господину

Плюсую

Стапэ

Дайте банца господину

Я бы от хуйча не отказался

Давайте послушаем начальника транспортного цэха

Там админка и батарейки

Админка????????? Ебался шоль

Админка????????? Ебался шоль

Из коробки ёпта

Она не оч

Особенно модель ролей

Заебали

Вы ноду ставили?)

Я 5 месяцев Ее кастомил

Там админка и батарейки

>джанга ЗАТО У НАСС ЕЕЕЕЕ ОДМИНКА ДА ОДМИНКА!!!!!!!111!!11!!!!

Админка им не так

Админка

Так как там написана админка, можно написать самому такое же приложение

У этой пары явно рвет Очко от моего появления