Вся суть ппарсеров

я оттуда данные тяну

Я тебе могутолько костыль посоветовать.. не более

Так и не понял задачу

кто-нибудь вообще понял, что они юзают на фронте? это же не ангуляр?

Ты скажи что тебе нужно спарсить

Для начала

Sasha зайди по ссылке. это категория, мне надо все продукты из нее. как отобразить больше продуктов и как переключать страницы?

а чо используешь scrapy?

*что

Сказал, как удмурт

Sasha зайди по ссылке. это категория, мне надо все продукты из нее. как отобразить больше продуктов и как переключать страницы?

Лол

да

но не суть, можно и реквестс и граб, и аиохттп, пох короче

@serbernar1 ?

эм, ну там же в гет запросе есть page

ты вообще зашел туда ?

открой консоль и посмотри, что происходит, когда страницы переключаешь, либо кол-во товара на странице

там пост отправляется

Ну ты же стрелочки можешь нажимать..

на ту же страницу

Да?

Можешь?..

так почитай апи доки, в чем проблема?

ну вот щас появилась идея попробовать через wall.search сделать и туда запихнуть регулярное выражение, но я не знаю насколько это адекватная идея

http://exist.ru/Catalog/Goods/1/90?page=17

@serbernar1 ну да

Sasha ты меня тролишь что-ли?

Вот, переходишь на последнюю страницу, а дальше идешь просто обратно и всё

первая страница по такому запросу

До первой страницы

@serbernar1 бля, вы вдвоем меня троллите походу

короче в скрэпи ты можешь сделать просто: там в __init__ есть start_urls и rules. и дальше self.rules = ( Rule(LinkExtractor(allow=r'products/\d+'), callback='parse_product', follow=True, ), )И в коллбэке уже что обрабатываешь

По страницам - там реально page в GET pfпросе явно

*запросе

да нет же, блять. вопрос не в этом. ну отпарсил я первую страницу, как вторую вызвать?

НЕТ!

Жмакнуть на неё, нет?

@serbernar1 ага

Ну, так и жмакай в цикле

start_urls = ["www.example.com/page1"] rules = ( Rule (SgmlLinkExtractor(restrict_xpaths=('//a[@class="next_page"]',)) , follow= True), Rule (SgmlLinkExtractor(restrict_xpaths=('//div[@class="foto_imovel"]',)) , callback='parse_call') )

По стилям сам уж там ищи, но это делается через rules

@serbernar1 я без headless браузера граблю, так что js не выполняется

Ну, тогда мой тебе костыльный совет

Берешь питон и селениум.вебдрайвер

Парсишь

?!?!-!-!

Профффит

Sasha это не сработает. страницы переключаются, контент остается тот же)

сам попробуй

Не, я спать хочу уж

Лежу вот, какао пью

@serbernar1 ненавижу это костыльное дерьмо, под названием селениум. а тем более, дружить его со скрапи

Азачем тебе скрапи тогда? Лол

даже не знаю, что тебе ответить на это

Ну, хз, у меня многопоточный бот, который парсит 3 сайта и еще и ставки делает и расчеты, лучше костылей я не нашел

Ну, хз, у меня многопоточный бот, который парсит 3 сайта и еще и ставки делает и расчеты, лучше костылей я не нашел

А борщ он у тебя не варит?

А борщ он у тебя не варит?

Не)

Плюс гуи еще на кутэ

ужсккй

И логи пишет

Потом я эти логи со временем буду обрабатывать...

Это будет пизда, наверное

А борщ он у тебя не варит?

Закинули на него $100 за месяц - $130 чистого, учитывая переводы и всякие ссуды и потери на курсах

Закинули на него $100 за месяц - $130 чистого, учитывая переводы и всякие ссуды и потери на курсах

Я подобное на MQL писал

Давным давно

Нуэто мой первый опыт

И первые эти..ну..деньги за погроммирование

А по какой формуле он рассчитывает доходность?

ERROR: S client not available

По вилкам

А, понял

Ну, там..ну, формула

Разница в кф

Ага

Но там не всё так чисто

Как хотелось бы

Но вообще это не моя идея, да и мне это не особо интересно

Не хочу доить корову

Хочу быть коровой

Ну или быком и ебать коров

Но хотя бы коровкой

Это тебе в Форекс

Будешь хоть быком, хоть медведем

Не, я не шарю в этих всех делах

Дыбил, одним словом

Кто то работал pyqt5 +pycharm последних сборок?

Чет они вообще не совместимы, хотя у меня кривые руки. Не могу никак связать их. Да и в целом, перегнать из ui в py

?

в смысле, IDE несовместима с либой? теплое с мяшким же, нет?

Всем привет

"Несовместимы", имею ввиду, что pycharm в списке модулей не отображает pyqt5, 4ю версию отказывается ставить. Погуглив че да как, в большинстве видео просто ui перегоняют в Py, так и работают. Но то, как они это делают , не понятно.

а, ну да, берешь, делаешь ui в конструкторе, а потом импортишь в питоновский модуль

но, уже не помню, как я делал, давненько уже не работал с гуи вообще

Короче, кто может объяснить банально - нужно сделать простую программу с интерфейсом. Питон, и насколько я понимаю кроме QT адекватного мало.

киви норм, плюс у него лицензия гораздо дружелюбнее

подпишусь на тред

есть еще wxWidgets, я с ней не работал, но вроде ок

ну и классика - Tk ?

Окей, я смогу потом просто с ним работать лишь над технической частью? И в итоге скомпилить в exe?

Gtk