Tishka17
Cloudflare или правильный?
Anonymous
я прост не втыкаю терь мне куки эти в курл пихать?
Slam!
Slam!
я прост не втыкаю терь мне куки эти в курл пихать?
тебе просто надо было проверить, открывается ли через курл то, что нужно открыть реквестами
Anonymous
Slam!
батя девушки
Anonymous
только откуда мне взять значения которые лежат в ссылке
Roman
попробуй в хроме, например, забрать куки и сунуть в курл для начала именно с этого запроса, потому как результат 302 редирект на целевую страницу
Tishka17
я прост не втыкаю терь мне куки эти в курл пихать?
Какие эти? Ты скопировал из браузера с куками уже?
Anonymous
Какие эти? Ты скопировал из браузера с куками уже?
нет, я раню хромиум и там беру куки только после того как клаудфлаер пропал))0
Anonymous
Tishka17
Блин, открой сайт в бараузере
Tishka17
И скопируй запрос целиком
Tishka17
А что тогда было не норм?
Slam!
Блять, то самое чувство, когда через 53 минуты отключат интернет!😳😳
Tishka17
Как куки селениума тебе попали в скопированную из браузера команду?
Tishka17
Которую ты должен был вставить как есть
Anonymous
а все я понял что сделать каж
Tishka17
А я окончательно запутался что за хрень ты творишь
Slam!
Тишка, какая зп у тебя, если не секрет?
Slam!
у писателя бекендов?)
Ser
А что, бек нынче не котируется?
Kop
6 знаков вполне средняя зп для мидла
Roma
Ser
6 знаков вполне средняя зп для мидла
Тут такое дело - а что делать когда ИИ сам будет по запросу пилить нужный код? 😁
Denis
А запрос это новый яп?
Sergey
Во, спс ещё раз
Справился? Там нужно сделать два запроса. Первый - для получений csrf токена. Второй - для пост запроса с этим токеном для получения информации.
Леонид
доброй ночи
ᵛᵉⁿᵈᵉˡⁱᵉᵘ
где стикорыыыы с 2д тян
верните, дайте украсть)
Леонид
как правлино в sqlite созданую таблицу на 9 значений передать те самые 9 значений, каждая отдельная пременная
Леонид
Леонид
Леонид
Все что пришло в больной мой ум)
all_ttn = All_ttn.objects.create(ttn_track=ttn_nomber, create_time=create_time, fio=recipient_contact_person, telefone=recipient_contact_phone, city_client=city_recipient_description, description=description, cost=cost, status_ttn=status, duration_field=None)
Леонид
НО так не работает
Giorgi
Справился? Там нужно сделать два запроса. Первый - для получений csrf токена. Второй - для пост запроса с этим токеном для получения информации.
К сожалению, нет( все-таки не дает инфу
Giorgi
import requests
from bs4 import BeautifulSoup
url = "https://police.ge/protocol/index.php"
client = requests.session()
soup = BeautifulSoup(client.get(url).text, "html.parser")
csrf = soup.find(name="csrf")
querystring = {"url": "protocols"}
payload = dict(csrfmiddlewaretoken=csrf, next='/')
headers = {
'accept': "application/json, text/javascript, */*; q=0.01",
'origin': "https://police.ge",
'X-Powered-By': "XMLHttpRequest",
'user-agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"
" (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36",
'content-type': "application/x-www-form-urlencoded; UTF-8",
'cache-control': "no-store, no-cache, must-revalidate, post-check=0, pre-check=0",
'postman-token': "41410dd9-7a62-dfc5-9e8c-6740e8af5d8c",
'content-encoding': 'gzip',
}
response = requests.post(url, data=payload, headers=headers, params=querystring)
print(response.text)
Giorgi
вот код
Антон
а где referer? один из главных заголовков
Giorgi
с referer {"success":false,"message":null,"data":[]} выдает :/
Антон
'postman-token': "41410dd9-7a62-dfc5-9e8c-6740e8af5d8c
такого заголовка я в гугл хроме вообще не вижу
Антон
{"success":true,"message":null,"data":{"count":58604,"results":[{"protocolAuto":"AA755GA","violationDate":"2019-03-27","protocolPlace":"\u10d9\u10d0\u10ee\u10d4\u10d7\u10d8\u10e1 \u10d2\u10d6\u10d0\u10e2. (\u10db\u10d4\u10e2\u10e0\u10dd \u10e1\u10d0\u10db\u10d2\u10dd\u10e0\u10d8)","protocolLaw":"118-2-1","protocolAmount":50,"publishDate":"2019-05-08","lastDate":"2019-07-07","remainingDays":59,"protocolDate":"2019-03-27","protocolNo":"\u10d0
ответ получается. Первый запрос загружаешь с приемом кукис
Антон
а без referer не грузит, так что с ним обязательно
Giorgi
чуток не понял, что добавили,
Giorgi
лишь referer?
Антон
я через свою программулину грузил, на VBA
Giorgi
аа
Антон
firstResult: 0
Антон
еще в гугл хроме передается
Антон
без него как раз приходит
{"success":false,"message":"\u10d8\u10dc\u10e4\u10dd\u10e0\u10db\u10d0\u10ea\u10d8\u10d0 \u10d0\u10e0\u10d0\u10e1\u10ec\u10dd\u10e0\u10d0\u10d3\u10d0\u10d0 \u10e8\u10d4\u10d5\u10e1\u10d4\u10d1\u10e3\u10da\u10d8","data":[]}
Антон
так что firstResult:0 тоже обязательно
17
a=“name;age;group"
Как из а получить каждый элемент по отдельности?
Антон
for x in a.split(';'):
как-то так
17
Спасибо
Антон
или я чего-то не понимаю?
Giorgi
прост для меня парсеры что-то новенькое)
Антон
ты получил токен, отправка этого токена должна быть в той же сессии
Антон
а ты просто новый запрос создаешь, как я понял. хотя может я что-то путаю, т.к. в питоне недавно совсем
Giorgi
то есть в response надо заменить requests на client?
Антон
попробуй, возможно, там синтаксис другой, но смысл такой
Giorgi
не, инфу не дает
Антон
referer и result: 0 Добавь
'content-encoding': 'gzip', выкинь
и читай, как в той же сессии пост-запрос отправить.
Антон
мне дал инфу, значит никакой защиты там нет
Giorgi
Окей, спасибо
Roman
прост для меня парсеры что-то новенькое)
желательно вообще все поля передавать в хэдерсах и куки. Я для удобства использую хром в инкогнито, а туда забираю все, что выдал веб сервер. Если защита типа csrf или просто на хидденах, то тут достаточно форму распарсить
nzjdMFpV
Сап, насколько верно в элементе словаря хранить список? Это мовитон? А есть более верное решение?
nzjdMFpV
Мне просто не нравится проходить по всему циклу целиком в поисках нужного элемента
А так оно вроде бы и работает
Какие подводные вообще?
🍁 Jaŭhien
Да нормально
🍁 Jaŭhien
Мне просто не нравится проходить по всему циклу целиком в поисках нужного элемента
А так оно вроде бы и работает
Какие подводные вообще?
Ну ты можешь изменить структуру данных
nzjdMFpV
Всм
🍁 Jaŭhien
Ну раз тебе неудобно - меняй структуру
nzjdMFpV
Ну а какую аналогичную структуру можно использовать?