джва дня мучаюсь с этим

subprocess.call(['command'], stdout=open('file', 'a')) например

Спасибо за книгу!

subprocess.call(['command'], stdout=open('file', 'a')) например

ОО, спасибо тебе, няша

по дефолту субпроцесс.Попен вызывает бинарники напрямую

``Popen(["python", "hello.py", ">>", "main2.log", "2>&1"], stdout=PIPE, stderr=PIPE)

subprocess.Popen('command > file', shell=True) для более привычного способа

почему так не работало не знаешь?

это ересь

фишка в том, что все эти » « читает шелл и делает собственные вызовы pipe/dup2 и т.п.

а в коде выше ты передаешь их как аргументы

Просто лучший! Спасибо огромное, теперь меня не уволят)

чтобы < > >> работали в Попен тебе придётся совать это всё в одну строку и юзать shell=True, от чего оно будет запущено через system(3) вместо fork+exec

кстати, в доках вроде напичсано что shell=True небезопасно

конечно. потому что в этом случае тебе надо квотировать аргументы вручную

не я буду через PIPE делать, как в первом твоем примере

PIPE нужен если ты хочешь читать ввод/вывод сам прямо в питоне

только учти кроссплатформенность если чо... в никсах (причем вроде не всех) ты можешь чередовать чтение стдаут/стдерр и писать в стдин вызванному процессу

на винде это скорее всего вызовет дедлок

поэтому для кроссплатформенности в питоне и приделали метод communicate, который работает везде

но он синхронный

ой, не через PIPE, а через stdout=open('file', 'a'), мне в логи писать надо просто

а про коммуникейт знаю, спасибо)

кто нибудь парсер держал для авито? есть годные стать?

кто нибудь парсер держал для авито? есть годные стать?

годные статьи или про что ты?

да, статьи или готовые решения

я как-то писал, когда питон ток начал учить, статей прям как парсить авито толковых не находил

думаю, тут общие подходы нужно изучать, как парсить и обходить защиту от ботов

а не конкретно для авито что-то искать

я тут немного амазон дрочил парсером, так и не победил толком. метод с прокси не канает, потому что почти все прокси сразу получают капчу прям с первого захода. метод ротации юзерагентов дает капчу чуть позже, чем без него. ну и там игры с кол-вом подключений, паузами и проч тоже только меняют скорость выпадения капчи. в итоге самый быстрый способ получился если парсить страниц 500 до первой капчи, запоминать на чем остановился, ждать полчасика и по-новой. юзать сервисы анти-капчи чет заломало, может попробую попозже, если руки дойдут

жоска

Был чувак в одном из чатов который инстограм парсил

Тоже страдал вроде

я тут немного амазон дрочил парсером, так и не победил толком. метод с прокси не канает, потому что почти все прокси сразу получают капчу прям с первого захода. метод ротации юзерагентов дает капчу чуть позже, чем без него. ну и там игры с кол-вом подключений, паузами и проч тоже только меняют скорость выпадения капчи. в итоге самый быстрый способ получился если парсить страниц 500 до первой капчи, запоминать на чем остановился, ждать полчасика и по-новой. юзать сервисы анти-капчи чет заломало, может попробую попозже, если руки дойдут

так вроде там тоже не дураки используйте анти-капчу лучше)

определите наилучший метод, который выдаёт наибольшую задержку до капчи и используйте его вместе с анти-капча сервисами

и будет счастье

краткое руководство как быть гондоном...

Тоже страдал вроде

да я думаю все крупные сервисы очень сильно умеют сопротивляться парсингу. хотя я, если честно, не очень понимаю, почему. они что, боятся, что я второй амазон открою? я понимаю нагрузка на их серваки, ну так я сделаю одно подключение и неспеша буду тянуть дату, им что, жалко?

краткое руководство как быть гондоном...

ты против парсинга вообще или против каких-то конкретных методов?

а как ты думаешь, зачем там вообще капча?

на дверях квартир зачем-то замки висят. им что, жалко?

определите наилучший метод, который выдаёт наибольшую задержку до капчи и используйте его вместе с анти-капча сервисами

я уверен, что в амазоне реально не дураки сидят и про антикапчу они тоже в курсе. легко же паттерны поведения отследить, ну и понятно, что живой человек не будет кроулить 400 страниц поисковой выдачи. капча будет все чаще, потом бан, ясно же. ну и не так уж надо было. просто увидел заказ на парсер такой и просто ради интереса попробовал написать, чисто чтоб понять, что это и как делается

а как ты думаешь, зачем там вообще капча?

ненене, это другое. вот в музей зайти можно? можно. а если туда мой робот вместо меня приедет - нельзя? почему?

я же к ним никуда не лезу, паролей не ломаю, замков не вскрываю. они сами приглашают смотреть, отдают эти данные. но только людям

А роботам отдают через апи

еще раз, я не пытаюсь на этом заработать, я не собираюсь писать парсеры на коммерческой основе (это довольно скучно), мне было интересно попробовать. но мотивов не понимаю

ага, про апи там не так все просто, я попробовал

потому что люди, ходящие на сайт - это клиенты и реклама. т.е. доход а робот, жрущий трафик и ворующий контент - это чистый убыток

А роботам отдают через апи

ты пробовал?

капитализьм

ты пробовал?

Тут уже обсуждали не раз за эту неделю

потому что люди, ходящие на сайт - это клиенты и реклама. т.е. доход а робот, жрущий трафик и ворующий контент - это чистый убыток

про трафик согласен. а в чем ценность их контента как такового?

а это им решать

Тут уже обсуждали не раз за эту неделю

кроме меня тут вроде это никто не обсуждал. может пропустил?

на вопрос не ответил. пробовал?

раз капчу прикручивают, значит причина есть

ну эт понятно, я и не стал долбиться дальше

обычно потому что боты зачастую не просто так шароёбятся

на вопрос не ответил. пробовал?

Пробовал часть апи. У них много разного

а еще и постят рекламу и воруют емейлы

может твой спайдер и не вреден, то под раздачу попадает на общих основаниях

Пробовал часть апи. У них много разного

я просто даже ключ не осилил получить, т.к. для этого надо сначала стать асошитом, а для этого надо указать конкретный сайт или приложение, где будешь юзать дату и пройти валидацию. т.е. для парсеров они тупо не дают шансов легальных. но это их право конечно.

да, статьи или готовые решения

так я к чему начал-то. сам парсер написать очень легко, берешь scrapy по которому море доков и вообще все легко ставится, пишешь спайдер там, пайплайн ну и все что там ему надо, по туториалу прям на сайте за день все пишется неспеша. а потом начинается дрочево с этими банами, капчами, 503, 500, таймауты и проч, но это все к питону уже мало отношения имеет. хотя для чайника вроде меня польза есть, сразу лучше начинаешь понимать все эти реквесты, хттп и прочий веб, так что не зря все это было

надеюсь, амазон не пострадал от моих потуг. тот десяток тыщ его записей, что слил - оставил себе на память

ну я что-то такое писал на реквесте, потом оно перестало работать..)

как приятно с недельку назад написать crud api

а теперь не смотря в код писать клиент для этого апи

ERROR: S client not available

потому что статус-коды логичные и сообщения об ошибках отдаёт

Сам себя не похвалишь

дя

всем утра в хату

часик в радость

чифир в сладость

чифирю сейчас

кто тут у нас сокеты подключал к джанге?

Приветы)

кто тут у нас сокеты подключал к джанге?

А что конкретно тебя интересует?

преимущество использования сокетов в обмене сообщениями между юзерами и динамическом обновлении части страницы перед простым тайм-аутом?

к слову она совсем бесплатная

преимущество использования сокетов в обмене сообщениями между юзерами и динамическом обновлении части страницы перед простым тайм-аутом?

в режиме онлайн-передачи информации, а по тайм-ауту у тебя постоянно рефрешится определенный запрос. на слабых компах или на китайских дешевых телефонах это будет ощутимым минусом (да, такие еще встречаются), ИМХО

не слышал, чтоб в вебе сокеты использовались вообще

мы их юзали, чтоб рабочие станции с десктопным ПО между собой общались

а если тебе надо сайт обновлять, то аякса хватит даже самая китайская железка это осилит но завсит от таймаута, конечно

не слышал, чтоб в вебе сокеты использовались вообще

в 2008 году технология вышла

не слышал, чтоб в вебе сокеты использовались вообще

шооооо они уже много где используются

может, мы о разных о сокетах)

а если тебе надо сайт обновлять, то аякса хватит даже самая китайская железка это осилит но завсит от таймаута, конечно

когда работал с вебом, сообщения от сервака на nodeJS на сайт приходили

тем же slack'ом например

+ их в том, что они работают на всех браузерах

в 2008 только вышла?

но там проще через wrapper писать, через своеобразную абстракцию

если вы про websocket

оу, спасибо, чекну в гугле

я про обычные))

если вы про websocket

да, про веб-сокеты

я про обычные))

прошу прощения

как-то вебсокеты мимо меня прошли интересная штука, спасибо за наводку

как-то вебсокеты мимо меня прошли интересная штука, спасибо за наводку

очень удобная штука, просто и со вкусом =))