естеснвенно, дальше ничего не полуится

потому что .get работает с суповским классом тег

и изз него извлекает

следует переименовать if company_trim1 is None: xxxxxxxxxxxxx = company_trim2.get_text('title')

чтобы сохранился тэг в переменной

Ххххххххх классное имя переменной, по жопе бы надавать

и вместо " if name is not None:" прост 'if not name:'

ну блин, понятно, что прост, чтобы в чатик быстрее написать)

Ну или если оно в контексте примера.. То ладно

Я уже понял

Окей, получается, если-бы я перенёс часть кода с `link` над итерацией `company_trim1`

то, должно-бы было работать, так?

д

не работает

точнее как, программа пробежалась, но `print ('link')

f

а нет, сек

а нет, всё работает. Я всё понял, спасибо большое

)

company_trim1 = row.find('a', class_="company-name") link = company_trim1 = row.find('a', class_="company-name") это кстати какая-то непоянтная жесть)

company_trim1 = row.find('a', class_="company-name") link = company_trim1 = row.find('a', class_="company-name") это кстати какая-то непоянтная жесть)

Глянь html, если интересно.

Ну и потом, это мой первый код в жизни... :D

я про то, что по сути, написано: a = b c = a = b )

Ну да, там ссылка просто меняется

а

понял, это я случайно

спасибо :D

А на будущий ресёрч, посоветуйте плиз, какие либы использовать для интеграции с браузером и экселем?

А на будущий ресёрч, посоветуйте плиз, какие либы использовать для интеграции с браузером и экселем?

xlwt, xlrd, xlutils

А на будущий ресёрч, посоветуйте плиз, какие либы использовать для интеграции с браузером и экселем?

А что значит интеграция с браузером?

А что значит интеграция с браузером?

Ну, мне нужно будет сохранять html'и для парсинга

т.к. это линкед, я не смогу делать этого онлайн, грубо говоря

т.к. это линкед, я не смогу делать этого онлайн, грубо говоря

Что значит линкед?

linkedin.com

linkedin.com

А почему не сможешь онлайн?

Нужно логиниться

для того что-бы выполнить сёрч

Нужно логиниться

Можно залогинься через питон, если ты об этом

Для этого А) Использовать selenium, выполняет весь js код Б) Вкладка Network в dev tools в Chrome, разборка запросов и алгоритма логина. Отправка таких же запросов через requests

Окей, но я подозреваю, если парсер за меня будет прыгать по страницам, аккаунт могут потенциально забанить, так ведь:?

После логина в сессии сохранятся куки и сможешь получать доступ к страницам недоступным без логина

Я не могу просто этого допустить, т.к. аккаунт проплаченый и не мой :)

Окей, но я подозреваю, если парсер за меня будет прыгать по страницам, аккаунт могут потенциально забанить, так ведь:?

Да, если отследят что ты робот Для того чтобы не доказали что ты робот нужно полностью знать их алгоритм защиты. У тебя его нет и не будет (его там вообще может не быть) По этому защищаемся по максимуму - подделываем юзер агента, не шлем запросы часто, между запросами делаем рандомную паузу. Если там есть жс код который участвует в определение робота и сервер должен получать данные от него, а с юзанием реквестов жс код не выполняется, поэтому тоже могут заманить. Так что для секьюра лучше юзать селениум, но это костыльнее, менее производительно, зато более функционально (чего стоит обход динамически генерируемых элементов нужных для парсинга)

Поскольку в задаче стоит вопрос с конкретным акком - то прокси менять не стоит, могут подумать что взломали и тп.

Да, если отследят что ты робот Для того чтобы не доказали что ты робот нужно полностью знать их алгоритм защиты. У тебя его нет и не будет (его там вообще может не быть) По этому защищаемся по максимуму - подделываем юзер агента, не шлем запросы часто, между запросами делаем рандомную паузу. Если там есть жс код который участвует в определение робота и сервер должен получать данные от него, а с юзанием реквестов жс код не выполняется, поэтому тоже могут заманить. Так что для секьюра лучше юзать селениум, но это костыльнее, менее производительно, зато более функционально (чего стоит обход динамически генерируемых элементов нужных для парсинга)

Окей, спасибо за развёрнутый ответ. Я собственно так и пытался "защититься" - просто, сохранять html страницы и впоследствии парсить, как такая идея?

Окей, спасибо за развёрнутый ответ. Я собственно так и пытался "защититься" - просто, сохранять html страницы и впоследствии парсить, как такая идея?

Имеешь ввиду сначала скачать все что нужно а потом уже парить?

Имеешь ввиду сначала скачать все что нужно а потом уже парить?

Да. Я хотел просто это реализовать так - открыть страницу с сёрчем в браузере (то бишь, уже залогиненый), запустить скрипт и что-бы скрипт сохранил открытую страницу + все, что находятся в paggination

ну и, впоследствии, что-бы и уже скрапил из сохраннёных файлов html

Да. Я хотел просто это реализовать так - открыть страницу с сёрчем в браузере (то бишь, уже залогиненый), запустить скрипт и что-бы скрипт сохранил открытую страницу + все, что находятся в paggination

Ну смотри, можно открыть страницу - спарсить нужные данные, чистые данные сохранить и пойти дальше по ссылке и снова повторить Можно пройтись по ссылкам, посохранять как хтмл, потом запустить другую утилиту которая все распарсит и выплюнет. Я хз зачем именно все сохранять, если можно сразу же перегнать в чистые данные

Ну смотри, можно открыть страницу - спарсить нужные данные, чистые данные сохранить и пойти дальше по ссылке и снова повторить Можно пройтись по ссылкам, посохранять как хтмл, потом запустить другую утилиту которая все распарсит и выплюнет. Я хз зачем именно все сохранять, если можно сразу же перегнать в чистые данные

Ну, так менее "палевно"? Или мы этого не знаем?

Ну, так менее "палевно"? Или мы этого не знаем?

Мы не знаем, а вообще нет, процесс парсинга никак не отслеживается

Только получение страницы или выполнение действий на ней

А сохранение?

А сохранение?

А зачем сохранение? Зашёл на ссылку, нажал на кнопку, динамически сгенерировалась коробочка с серыми данными, нашёл коробочку, получил нужные ссылки например в ней (это все в оперативной памяти), записал в эксель и пошёл на следующую ссылку

Но ведь если сохранение не отслеживается вообще никак - то это беспроигрышный вариант

Но ведь если сохранение не отслеживается вообще никак - то это беспроигрышный вариант

Я не понимаю тебя сейчас

Я же сказал процесс парсинга никак не отслеживается

Я же сказал процесс парсинга никак не отслеживается

Ну, тогда - это шикарно

Я просто где-то слышал другие мнения, сам конечно ничего не утверждаю

Я ещё поинтересуюсь, но пока-что буду придерживаться твоего мнения

Я ещё поинтересуюсь, но пока-что буду придерживаться твоего мнения

Ну как сказать мнения... Знания

Ну, или так

u get my point

Я же сказал процесс парсинга никак не отслеживается

Значит, не имеет разницы Selenium или request?

u get my point

Мне, на самом деле похуй Спросили - я ответил

Мне, на самом деле похуй Спросили - я ответил

Ну так да, спасибо большое :)

ERROR: S client not available

Значит, не имеет разницы Selenium или request?

Динамически подгружаемые элементы И Алгоритмы защиты которые выполняют жс код Только в селениуме

Реквесты - голые запросы к серверу, по http/s протоколу

Ага, я понял

Спасибо за инфу, доброй ночи :)

Спасибо

RabbitMQ имеет какое-нибудь ограничение на длину передаваемого сообщения?

почему джанго админ не создает проект,пишет : "django-admin" не является внутренней или внешней командой, исполняемой программой или пакетным файлом. хотя у других в видео все работает ) у меня создает проект только исключительно в корневой папке питона

django-admin.py вроде надо запускать

значит файла такого нет

django-admin.py устанавливается в область видимости используемого python если работает в virtualenv то его можно запусть после активации оного если работаете напрямую в системе то доступен везде

естественно доступен после установки django

Не могу понять суть блокирующего ввода/вывода и ассинхронности. Мне по осям книжку читать?

Не могу понять суть блокирующего ввода/вывода и ассинхронности. Мне по осям книжку читать?

http://www.tornadoweb.org/en/stable/guide/async.html#blocking

django-admin.py вроде надо запускать

не помогло)

значит файла такого нет

файл есть..

файл есть, PATH/PYTHONPATH не тот?

./django-admin.py, в конце концов

что???

https://docs.djangoproject.com/en/1.10/faq/troubleshooting/#command-not-found-django-admin

./django-admin.py, в конце концов

это только если запускать из папки bin/ =)

это только если запускать из папки bin/ =)

да

я так, для примера

если PATH и прочие virtualenvы лениво настраивать

ыыну я установил через пип виртуал

его надо активировать?

ну*

кстати пай чарм нормальная тема ))

yes

http://www.tornadoweb.org/en/stable/guide/async.html#blocking

Ну тут поверхностно и про веб,а я про саму суть. Например простая запись на диск получается тоже блокирующий ввод/вывод?

Ну тут поверхностно и про веб,а я про саму суть. Например простая запись на диск получается тоже блокирующий ввод/вывод?

да. и запись на диск, и считывание данных из сокета. блокирующая потому, что твоя функция, считывающие данные с диска, сидит и ждёт, пока эти данные считаются, а потом уже продолжает работу. А можно пойти другим путём. Поставить while True, запустить считываение данных и внутри него проверять, считалось или нет. Если да, продолжать работу с этой функцией, а если нет, поделать что-то ещё какое-то время. Вот этот самый while True называется событийным циклом в асинхронщине.

Не стоит только забывать http://stackoverflow.com/a/2625565

Хотя в доке по торнаде это описано