доброй ночи

где стикорыыыы с 2д тян верните, дайте украсть)

как правлино в sqlite созданую таблицу на 9 значений передать те самые 9 значений, каждая отдельная пременная

Все что пришло в больной мой ум) all_ttn = All_ttn.objects.create(ttn_track=ttn_nomber, create_time=create_time, fio=recipient_contact_person, telefone=recipient_contact_phone, city_client=city_recipient_description, description=description, cost=cost, status_ttn=status, duration_field=None)

НО так не работает

Справился? Там нужно сделать два запроса. Первый - для получений csrf токена. Второй - для пост запроса с этим токеном для получения информации.

К сожалению, нет( все-таки не дает инфу

import requests from bs4 import BeautifulSoup url = "https://police.ge/protocol/index.php" client = requests.session() soup = BeautifulSoup(client.get(url).text, "html.parser") csrf = soup.find(name="csrf") querystring = {"url": "protocols"} payload = dict(csrfmiddlewaretoken=csrf, next='/') headers = { 'accept': "application/json, text/javascript, */*; q=0.01", 'origin': "https://police.ge", 'X-Powered-By': "XMLHttpRequest", 'user-agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36" " (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36", 'content-type': "application/x-www-form-urlencoded; UTF-8", 'cache-control': "no-store, no-cache, must-revalidate, post-check=0, pre-check=0", 'postman-token': "41410dd9-7a62-dfc5-9e8c-6740e8af5d8c", 'content-encoding': 'gzip', } response = requests.post(url, data=payload, headers=headers, params=querystring) print(response.text)

вот код

а где referer? один из главных заголовков

с referer {"success":false,"message":null,"data":[]} выдает :/

'postman-token': "41410dd9-7a62-dfc5-9e8c-6740e8af5d8c такого заголовка я в гугл хроме вообще не вижу

{"success":true,"message":null,"data":{"count":58604,"results":[{"protocolAuto":"AA755GA","violationDate":"2019-03-27","protocolPlace":"\u10d9\u10d0\u10ee\u10d4\u10d7\u10d8\u10e1 \u10d2\u10d6\u10d0\u10e2. (\u10db\u10d4\u10e2\u10e0\u10dd \u10e1\u10d0\u10db\u10d2\u10dd\u10e0\u10d8)","protocolLaw":"118-2-1","protocolAmount":50,"publishDate":"2019-05-08","lastDate":"2019-07-07","remainingDays":59,"protocolDate":"2019-03-27","protocolNo":"\u10d0 ответ получается. Первый запрос загружаешь с приемом кукис

а без referer не грузит, так что с ним обязательно

чуток не понял, что добавили,

лишь referer?

я через свою программулину грузил, на VBA

аа

firstResult: 0

еще в гугл хроме передается

без него как раз приходит {"success":false,"message":"\u10d8\u10dc\u10e4\u10dd\u10e0\u10db\u10d0\u10ea\u10d8\u10d0 \u10d0\u10e0\u10d0\u10e1\u10ec\u10dd\u10e0\u10d0\u10d3\u10d0\u10d0 \u10e8\u10d4\u10d5\u10e1\u10d4\u10d1\u10e3\u10da\u10d8","data":[]}

так что firstResult:0 тоже обязательно

a=“name;age;group" Как из а получить каждый элемент по отдельности?

for x in a.split(';'): как-то так

Спасибо

import requests from bs4 import BeautifulSoup url = "https://police.ge/protocol/index.php" client = requests.session() soup = BeautifulSoup(client.get(url).text, "html.parser") csrf = soup.find(name="csrf") querystring = {"url": "protocols"} payload = dict(csrfmiddlewaretoken=csrf, next='/') headers = { 'accept': "application/json, text/javascript, */*; q=0.01", 'origin': "https://police.ge", 'X-Powered-By': "XMLHttpRequest", 'user-agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36" " (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36", 'content-type': "application/x-www-form-urlencoded; UTF-8", 'cache-control': "no-store, no-cache, must-revalidate, post-check=0, pre-check=0", 'postman-token': "41410dd9-7a62-dfc5-9e8c-6740e8af5d8c", 'content-encoding': 'gzip', } response = requests.post(url, data=payload, headers=headers, params=querystring) print(response.text)

почему у тебя второй запрос не в рамках той же сессии идет, где ты csrf получаешь?

или я чего-то не понимаю?

прост для меня парсеры что-то новенькое)

ты получил токен, отправка этого токена должна быть в той же сессии

а ты просто новый запрос создаешь, как я понял. хотя может я что-то путаю, т.к. в питоне недавно совсем

то есть в response надо заменить requests на client?

попробуй, возможно, там синтаксис другой, но смысл такой

не, инфу не дает

referer и result: 0 Добавь 'content-encoding': 'gzip', выкинь и читай, как в той же сессии пост-запрос отправить.

мне дал инфу, значит никакой защиты там нет

Окей, спасибо

прост для меня парсеры что-то новенькое)

желательно вообще все поля передавать в хэдерсах и куки. Я для удобства использую хром в инкогнито, а туда забираю все, что выдал веб сервер. Если защита типа csrf или просто на хидденах, то тут достаточно форму распарсить

Сап, насколько верно в элементе словаря хранить список? Это мовитон? А есть более верное решение?

Мне просто не нравится проходить по всему циклу целиком в поисках нужного элемента А так оно вроде бы и работает Какие подводные вообще?

Да нормально

Мне просто не нравится проходить по всему циклу целиком в поисках нужного элемента А так оно вроде бы и работает Какие подводные вообще?

Ну ты можешь изменить структуру данных

Всм

Ну раз тебе неудобно - меняй структуру

Ну а какую аналогичную структуру можно использовать?

Ну а какую аналогичную структуру можно использовать?

Зависит от задачи

У меня есть список людей по айди Айди мне известно А вот дополнительные данные мне необходимо извлечь, так и получается, что dic ={id:[name, age, city]} И я обращаюсь dic[id][0] и получаю имя dic[id][1] и получаю возраст И т.д.

классы для этого используются

Ты можешь заиспользовать дикт диктов

По айди будет лежать дикт с ключами name age city

А вообще, лучше возьми базу данных

классы для этого используются

Так мне опять же придется проходить в цикле по всем экземплярам класса, чтобы найти нужный элемент, не?

если ID уникально, то создавай объекты с названием = ID

но лучше дописать к нему что-то Human_49 = Person(name, age, city)

Так это же опять необходимо словарь делать, только вместо списков там просто будут объекты класса?

ERROR: S client not available

Непонятно

зачем словарь?

Так, ладно, пойду повторю теорию по ооп

Всем спасибо

Словари -енто скучно. Давайте еще раз поговорим про TIME_WAIT

С апачей. Не, ну вроде всё четенько у мну

Портреюз, клос

Щя глянул нетстат - на два человека почти 175 незакрытых.

Многоватенько буде

Да, от них пачками реквесты летят, но всё же

С праздником!

Чат седни ваще дохлый((

За дидов

Привет. Поясните, пожалста, за преимущества pyspark перед pandas в области организации процессов обработки данных

Привет. Поясните, пожалста, за преимущества pyspark перед pandas в области организации процессов обработки данных

Spark - это Hadoop, распределённый map reduce. Нужен когда у тебя очень много данных

Очень много - это сколько?

Терабайты

Ну, они есть

Ну а пандас умеет распределенные вычисления?

Мне интересны вопросы скорости обработки, память и мультипроцессинг

Ну а пандас умеет распределенные вычисления?

Умеет, если самому организовать или через dask

Ну тут я вряд ли что скажу

https://github.com/auchenberg/volkswagen ???