http://www.nightmarejs.org/

охуенно. А он поддерживается питоном?

лично я не использовал еще, врать не буду, но мне его несколько людей рекомендовали, и я планирую до него добраться

А как работать со spa парсингом или страницы которые на яве? в кратце

охуенно. А он поддерживается питоном?

ну так phantomjs тоже питоном не поддерживается, так что, думаю, нет. Да и зачем?

А как работать со spa парсингом или страницы которые на яве? в кратце

Через selenium+phantomjs можно, там будет доступ до DOM после обработки JS. Хотя вот советуют nigtmarejs но его надо смотреть

ну так phantomjs тоже питоном не поддерживается, так что, думаю, нет. Да и зачем?

phantomjs поддерживается seleniumом

Круто, надо посмотреть nightmarejs, спасибо

phantomjs поддерживается seleniumом

так-то да, но что там поддерживать? вернуть код страницы и сразу же распарсить ее bs4?

это можно и руками написать легко

так-то да, но что там поддерживать? вернуть код страницы и сразу же распарсить ее bs4?

но я js не знаю((

bs4 не все случаи перекрывает, еще бывают случае наведения, кликов и прочего интерактива

но я js не знаю((

так там он примитивнейший, посмотри примеры

так там он примитивнейший, посмотри примеры

впадлу так-то :D

А на чем пишут ботов для социальных сеток?

А на чем пишут ботов для социальных сеток?

Я на ноде писал немножко

А на чем пишут ботов для социальных сеток?

На чем угодно :) Но желательно на чем-то асинхронном

bs4 не все случаи перекрывает, еще бывают случае наведения, кликов и прочего интерактива

я как-то упоролся и написал бота для флеш-игрушки, который через opencv искал, куда кликать

Я на ноде писал немножко

и че по скоростям? selenium медленный. Под мои потребности хватает, пока, но все равно, медленно

Кто в протоколах шарит?? TCP/UDP

я как-то упоролся и написал бота для флеш-игрушки, который через opencv искал, куда кликать

Мощь)

и че по скоростям? selenium медленный. Под мои потребности хватает, пока, но все равно, медленно

Не знаю насколько тебе быстро надо. Отклик медленный был. Мне этого хватало

На чем угодно :) Но желательно на чем-то асинхронном

нихуяшеньки. Некоторые соц сети к запросу приписывают хуй пойми какой ключ

Кто в протоколах шарит?? TCP/UDP

а что непонятно?

С selenium+phantomjs я выдергивал информацию со страницы инстаграма: прогрузить всю ленту, навести на каждую фото, взять появившуюся информацию, потом кликнуть по топам и взять оттуда информацию. Страница с 8800 фотографиями обрабатывалась час где-то

С selenium+phantomjs я выдергивал информацию со страницы инстаграма: прогрузить всю ленту, навести на каждую фото, взять появившуюся информацию, потом кликнуть по топам и взять оттуда информацию. Страница с 8800 фотографиями обрабатывалась час где-то

Инста не блокировала одну страницу за такую сверхактивность??? О.о

Они меня забросали дроченными хуями, когда доперли то, с какой скоростью я оцениваю ленту

Инста не блокировала одну страницу за такую сверхактивность??? О.о

Поведение не сильно отличается от того как это делает пользователь: листать страницу вниз, пока не надоест. Наведение на фото не отправляет запрос на сервер, поэтому нет с этого нагрузки на них. Ну и переходит потом не по все фото, а по 50 самым лайкнутым. Так что думаю, нагрузка не сильно больше чем от человека

Как распределять ресурсы библиотеки requests на 20 пользователей?

Как распределять ресурсы библиотеки requests на 20 пользователей?

это как? делать 20 запросов параллельно?

это как? делать 20 запросов параллельно?

Нужно , чтобы каждый человек мог работать отдельно, и не было путаницы

Нужно , чтобы каждый человек мог работать отдельно, и не было путаницы

не понял, что значит "каждый человек отдельно"?

каждый разработчик мог импортировать?

каждый разработчик мог импортировать?

Каждый зарегистрированный пользователь на сайте

Каждый зарегистрированный пользователь на сайте

ты юзерский питонокод хочешь через браузер давать выполнять?

на сервере?

на сервере?

В джанге импортировать

В джанге импортировать

в джанге не надо делать внешние запросы

бери celery и выноси все в очередь с воркерами

в джанге не надо делать внешние запросы

Почему не нужно? Как тогда делать http реквесты на другой сайт?

Почему не нужно? Как тогда делать http реквесты на другой сайт?

> бери celery и выноси все в очередь с воркерами

напрямую из веб-приложения делать внешние реквесты - моветон

напрямую из веб-приложения делать внешние реквесты - моветон

Плохинько да? А как в воркере будет 1 человек работать с requests?

Что-то никак не вникну в суть проблемы

Плохинько да? А как в воркере будет 1 человек работать с requests?

человек присылает запрос в джангу - джанга прокидывает таску в очередь celery - воркер выполняет и асинхронно возвращает результат

Что-то никак не вникну в суть проблемы

Например нужно будет отправить запрос на wordstat.yandex.ru и получить

Например нужно будет отправить запрос на wordstat.yandex.ru и получить

и получить люлей от яндекса?

Держи авиту https://pastebin.com/FDXfCpm6

спасибо, посмотрю ??

и получить люлей от яндекса?

Тут не стоит вопрос получения люлей, тут нужно реализация работы

Не знаю о stat, но отправляю на карты за координатами. Там api отдает нормальный жысон.

Тут не стоит вопрос получения люлей, тут нужно реализация работы

ну тогда я описал, как стоит сделать

Только ума не приложу, зачем привязывать запрос к пользователю.

Только ума не приложу, зачем привязывать запрос к пользователю.

Там же у каждого будет свой прокси

Там же у каждого будет свой прокси

а зачем?

а зачем?

Чтобы не палить сервер

Чтобы не палить сервер

какой? яндекса?

если ты будешь, не глядя, проксировать все запросы пользователей к яндексу, то 1) твой сайт будет работать медленно, 2) яндекс тебя забанит и будет прав

какой? яндекса?

Свой. Там же получается, все люди будут работать с одного ip

Свой. Там же получается, все люди будут работать с одного ip

ты что-то странное городишь

Не знаю, может это черезжопашно, но может эту часть вывести на клиент?

это сработает, да, если яндекс разрешил кроссдомен

ты что-то странное городишь

Почему? Если не проксировать, то все будут слать запросы с одного места. Socks5 шибко не палится

ERROR: S client not available

Яндекс банит соксы сразу

Почему? Если не проксировать, то все будут слать запросы с одного места. Socks5 шибко не палится

ты нас спрашиваешь, как нелегально кверить яндексовский API, это в любом случае для серьезного продукта плохая идея

Более того. Идея ущербна тем, что при смене ипа на запросе, токен для работы с апи будет тот же.

Если много запросов яндексу делать то он юзверю ограничивает доступ

Со мной так два раза уже было

Но через неделю опять дают доступ

Там, кажется, ещё и лимит запросов на free акках был. Или я путаю

http://www.asmeurer.com/python3-presentation/slides.html#1

Приветствую всех, ищу исполнителя который напишет Web Приложение для выгрузки статистики Яндекс.Директ и Alloka.ru через API ! Прошу в л.с

Это шо 90% сайтов на питоне2 ? https://w3techs.com/technologies/details/pl-python/all/all

Это шо 90% сайтов на питоне2 ? https://w3techs.com/technologies/details/pl-python/all/all

Временное явление.

hello, pythomans!

Приветствую всех, ищу исполнителя который напишет Web Приложение для выгрузки статистики Яндекс.Директ и Alloka.ru через API ! Прошу в л.с

искать исполнителя на канале творцов - это прямо XX век какой-то :)

Привет всем!

Как в DRF можно по related_name получить только 2 последних объекта

и сериализовать их

У комментария к посту ForeignKey в сериалайзере поста делаю так: comments = CommentSerializer( Comment.objects.reverse()[:2], read_only=True, many=True, ) Но так все равно отдает все комментарии которые есть

искать исполнителя на канале творцов - это прямо XX век какой-то :)

Я уже почти схватился

приветствую, как добавить stop опциональными? https://pastebin.com/M3ZDG3Kc если пишу manage.py scheduled stop, то выводится строка со start

приветствую, как добавить stop опциональными? https://pastebin.com/M3ZDG3Kc если пишу manage.py scheduled stop, то выводится строка со start

Не очень понял вопрос, т.к. 2 ссылка не открывается

2 - это не ссылка...

Предположу, что для получения значения аргумента из словаря, надо использовать get.

и зачем два аргумента, у тебя один аргумент, который принимает значение либо start, либо stop

разве нет?

они могут быть опциональными, и их количество может быть любым

посмотри, что лежит в options

мб там какой-то дефолтный default. Хотя в документаци говорится, что None

kwargs - словарь. Если в нем нет аргумента, то нельзя получать его через индексирование просто так.

Поэтому нужен get