Без Селениума

Ребят знаете как имитировать jquery request чтобы скрапнуть js rendered сайт?

chrome-headless

jquery request - это что-то новенькое в мире веба

Качественного ПО на маке? Слышал это только от блондинок

Ну, по крайней мере шрифты научились рендерить. В отличие от любителей менять оконные менеджеры.

а ты не суй код который должен выполняться пакет

Весь код, содержащийся в пакете, выполнится

jquery request - это что-то новенькое в мире веба

сорри есть что то не то написал ;D спс

В любом случае

В том числе импорты

Весь код, содержащийся в пакете, выполнится

и в чем собственно проблема?

либо не суй версию в свой код, либо не импортируй все барахло в ините.

А если у меня в пакете содержатся импорты, которые должны быть установлены в сетапе, то у меня ошибка

сорри есть что то не то написал ;D спс

если у тебя данные запрашиваются на странице динамично при помощи аякса, то лучше отследить такой запрос и сэмулировать его реквестом дополнительным

либо не суй версию в свой код, либо не импортируй все барахло в ините.

Как мне не ипортировать то, что должно содержаться в пакете?

Вот у меня пакет юзает numpy, и он должен быть установлен во время сетапа, но перед сетапом у меня кинет ошибку, что пакет numpy не найден

Как мне не ипортировать то, что должно содержаться в пакете?

никак. еще раз либо не суй версию в код, который содержит импорты, либо не импортируй все свое барахло в ините. либо извращайся с динамическими импортами, но ты не хочешь идти этим путем.

никак. еще раз либо не суй версию в код, который содержит импорты, либо не импортируй все свое барахло в ините. либо извращайся с динамическими импортами, но ты не хочешь идти этим путем.

Можно и динамические

Вот у меня пакет юзает numpy, и он должен быть установлен во время сетапа, но перед сетапом у меня кинет ошибку, что пакет numpy не найден

во-первых нефиг собирать sdist, если можно без этого обойтись.

Но выглядит как косяк, поэтому я спрашиваю, есть ли уже готовое решение?

при установке колеса никакой setup.py не выполняется.

во-первых нефиг собирать sdist, если можно без этого обойтись.

Вдруг я на pypi выгружаю?

Вдруг я на pypi выгружаю?

так на pypi же

если у тебя данные запрашиваются на странице динамично при помощи аякса, то лучше отследить такой запрос и сэмулировать его реквестом дополнительным

Ага динамично запрашиваются, а симулировать реквест не получается... можешь дать совет как делать?

собираю через sdist, загружаю через twine

если у тебя нет компилябельного кода во время установки - нефиг собирать sdist.

распространяй wheel

Ага динамично запрашиваются, а симулировать реквест не получается... можешь дать совет как делать?

начать рекомендую с просмотра вкладки сеть в инструментах разработчика и по поиску найти те значения которые получает страница. Второй вариант - воспользоваться программой postman. Она делает то же самое, но чуть понятнее отображается. Но ее нужно по правильному подключить для отсмотра трафика. Дай ссылку на страницу, может прозе что подскажу

начать рекомендую с просмотра вкладки сеть в инструментах разработчика и по поиску найти те значения которые получает страница. Второй вариант - воспользоваться программой postman. Она делает то же самое, но чуть понятнее отображается. Но ее нужно по правильному подключить для отсмотра трафика. Дай ссылку на страницу, может прозе что подскажу

police.ge/protocol/index.php, спасибо)

police.ge/protocol/index.php, спасибо)

какие именно данные ты не понимаешь как получить?

Информацию о штрафах, которая появляется после нажатия кнопок

Эти?

Которые похожи на play

Которые похожи на play

да, точно эти

Да

С помощью чего ты это сделал?

Или это просто с inspect

Или это просто с inspect

это из вкладки network в хроме

нашел этот запрос

Окей, попробую, спасибо за помощь)

Окей, попробую, спасибо за помощь)

погоди ты. Он так эти данные не отдает. Ошибку выдает https://police.ge/protocol/index.php?url=protocols

Хмм...

погоди ты. Он так эти данные не отдает. Ошибку выдает https://police.ge/protocol/index.php?url=protocols

ему явно нужно еще параметры в запрос передать

ща скажу

ща скажу

да, это пост запрос с параметрами. Ты на каком языке пишешь?

Пайтон

JS надо?

JS надо?

боже упаси) По идее должен был сработать такой код, но он не сработал. Боюсь, дальше тебе придется покопаться самостоятельно. Пример кода: import requests url = "https://police.ge/protocol/index.php" querystring = {"url":"protocols"} payload = "" headers = { 'accept': "application/json, text/javascript, */*; q=0.01", 'origin': "https://police.ge", 'x-requested-with': "XMLHttpRequest", 'user-agent': "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36", 'content-type': "application/x-www-form-urlencoded", 'cache-control': "no-cache", 'postman-token': "41410dd9-7a62-dfc5-9e8c-6740e8af5d8c" } response = requests.request("POST", url, data=payload, headers=headers, params=querystring) print(response.text)

Спасибо тебе большое))

Спасибо тебе большое))

Не за что и удачи)

Спасибо тебе большое))

И еще. Вот функция которая из аякса запрашивает данные. Может это поможет. function sendRequest(url, data, resetGrid) { $('#loader').show(); data.csrf_token = $('input[name="csrf_token"]').val(); $.ajax({ type: "POST", url: url, dataType: "json", data: data, success: function (result) { $('#loader').hide(); if (resetGrid) { $('html, body').animate({scrollTop: $('body').position().top}, 'slow'); } if (result.success) { var results = result.data.results; loadToGrid(results, resetGrid); if (!results.length) { setDisableInfiniteScroll(true); } } else { onError(); } }, error: function () { onError(true); } }); }

Во, спс ещё раз

что именно?

Баг, который ты заводил

Ну, по крайней мере шрифты научились рендерить. В отличие от любителей менять оконные менеджеры.

Эм, я наверно плохо шарю, но у меня в кедах вполне терпимый шрифт.

Как в github'е найти все проекты, использующие конкретную библиотеку?

распространяй wheel

Я думал наоборот. wheel если что-то склмпидировалось

нет, wheel может содержать бинари, но не обязательно

проблема с wheel и бинарями в том что он становится платформозависимым

В смысле, что без бинарей и без колеса норм

и если автор не позаботился скомпилять колесо под твою платформу - ты попал

без бинарей sdist нах не нужен, поскольку он выполняется у тебя на клиенте

wheel статический формат с нормальными метаданными.

т.е. по-умолчанию у нормальных людей wheel

sdist - если нужно таки что-то скомпилять на целевой платформе.

sdist в общем-то морально устарел, но т.к. раньше pip не умел ничего другого, то мучались кололись и жевали кактус.

с PEP517/518 должно стать сильно получше.

и хотя PEP518 мне ой как не нравится, т.к. он уродливый и толком не решает проблем с пакетными метаданными (да я знаю что он для другого), проблему с кастомными бекендами для установки пакетов он таки решает.

Какую orm удобней всего юзать с асинком? Я видел есть peewee и peewee-async Но в первой тррудности с транхакциями( в частности трабл, что позволяется только one connection per thread, что приводит к поведению по типу read uncommitted , когда в одной корутине пишешь в базу, а во второй в это же время читаешь) , а peewee_async чет не оч развивается

Баг, который ты заводил

Не, не пофиксили

Какую orm удобней всего юзать с асинком? Я видел есть peewee и peewee-async Но в первой тррудности с транхакциями( в частности трабл, что позволяется только one connection per thread, что приводит к поведению по типу read uncommitted , когда в одной корутине пишешь в базу, а во второй в это же время читаешь) , а peewee_async чет не оч развивается

Тебе прям orm надо? SA Core не хватит?

Тебе прям orm надо? SA Core не хватит?

Никогда не пробовал алхимию В чем её соль?

Никогда не пробовал алхимию В чем её соль?

SA core это query builder

Никогда не пробовал алхимию В чем её соль?

в том что это наиболее вменяемый ORM из всех существующих

не знаю на счет pewee, но уж точно на порядок лучше джанго говна

Какую orm удобней всего юзать с асинком? Я видел есть peewee и peewee-async Но в первой тррудности с транхакциями( в частности трабл, что позволяется только one connection per thread, что приводит к поведению по типу read uncommitted , когда в одной корутине пишешь в базу, а во второй в это же время читаешь) , а peewee_async чет не оч развивается

Я кстати не очень понял твою проблему с тредами

Я кстати не очень понял твою проблему с тредами

там вероятно пул подключений ничего не знает о корутинах

верней порождает на каждую корутину по новому подключению.

и никогда их не закрывает

Ну, по крайней мере шрифты научились рендерить. В отличие от любителей менять оконные менеджеры.

еще музыканты любят, и, да, дезайнеры (может из-за ретины?)

еще музыканты любят, и, да, дезайнеры (может из-за ретины?)

в основном из-за наличия специализированного софта

и любили задолго до ретины.