Так ты даже куки не ставишь?

Тогда неудивительно, что банят

Так ты даже куки не ставишь?

эм.. нет =)

Твоя задача — максимально быть похожим на браузер

Если тебе сервер отправляет куку, то тебе следует её запомнить и использовать

Тогда неудивительно, что банят

ну так ожет весь header скопировать туда и всё ?

Ты используешь requests?

response.cookies есть поле

Ты используешь requests?

да

В request тоже есть параметр cookies

response.cookies есть поле

куки не использую

Короче, пирожок, иди читай доки

В request тоже есть параметр cookies

в него добавить куки браузера?

Короче, пирожок, иди читай доки

доки по request?

requests

в него добавить куки браузера?

Которые тебе дал сервер

фигачь селениумом

Ты чот основ не знаешь

фигачь селениумом

Это пушкой по воробьям

Его стоит юзать только для всякой сложной херни типо защиты cloudflare

Ты чот основ не знаешь

не знаю к сожалению, буду гуглить =)

Которые тебе дал сервер

до этого моменда accept и user-agent прокатывало а тут вон оно как =)

Там еще дохера заголовков

Там еще дохера заголовков

я понимаю, просто не знаю для каких сайтов какие важны

Например

Host: avito.ru User-Agent: Mozilla/5.0 (X11; Linux x86_64; rv:67.0) Gecko/20100101 Firefox/67.0 Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8 Accept-Language: en-US,en;q=0.5 Accept-Encoding: gzip, deflate, br DNT: 1 Upgrade-Insecure-Requests: 1 Connection: keep-alive Cookie: sessid=93378811f18b02c6dd9ec8f74bf7dd90.1558715071; buyer_location_id=637640; u=2fix6nqn.ahkty3.g3cvc1aby8; v=1558715071; dfp_group=16; f=5.cc913c231fb04ced4b5abdd419952845a68643d4d8df96e9a68643d4d8df96e9a68643d4d8df96e9a68643d4d8df96e94f9572e6986d0c624f9572e6986d0c624f9572e6986d0c62ba029cd346349f36c1e8912fd5a48d02c1e8912fd5a48d0246b8ae4e81acb9fa1a2a574992f83a9246b8ae4e81acb9fad99271d186dc1cd0143114829cf33ca7ec20f9213b3a1b8782c626db0e37563f2de6947c9626acff3de19da9ed218fe23de19da9ed218fe23de19da9ed218fe23de19da9ed218fe23de19da9ed218fe23de19da9ed218fe23de19da9ed218fe23de19da9ed218fe23de19da9ed218fe23de19da9ed218fe23de19da9ed218fe23de19da9ed218fe23de19da9ed218fe2f4a4e1a2f8bff455822bf777f388630fb9c3b9d93519b5b45ee33549859bd6db6db3cd24faa95ae9ac156ebd065f6179b5c415ec1b0712ba291950647ecb15689154f4aaf0a7b4f4293e75849a520987d310cc279194eeab465d5650ed2fd5c1685428d00dc691fa9e82118971f2ed6494d66450ac1e7292b88b0b6cd579e24cc772035eab81f5e13de19da9ed218fe2555de5d65c04a913661828fb877cbd03

Дальше уже куки идут

User-Agent: Mozilla/5.0 (X11; Linux x86_64; rv:67.0) Gecko/20100101 Firefox/67.0 Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8 Accept-Language: en-US,en;q=0.5 Accept-Encoding: gzip, deflate, br DNT: 1 Upgrade-Insecure-Requests: 1 Connection: keep-alive

Во

ребята, я в парсинге новичек, укажите на ошибки в парсере какие-то, важно знать мнение экспертов

Лол, а где парсер?

ша

забыл, соре

ссылку на страницу

могу дать

если надо

Во

и всё это в headers надр добавлять? или что то конкретное? с куки я уже понял что надо добавить будет

Да

если надо

ты бы хоть код через pastebin.com сюда вставлял =)

ты бы хоть код через pastebin.com сюда вставлял =)

если не сложно, в редакторе своем можно открыть)

Да

картина проясняется благодоря вам .. спасибо =)

если не сложно, в редакторе своем можно открыть)

сложно

если не сложно, в редакторе своем можно открыть)

Это у тебя не парсер, а какая-то заготовка под него

сложно

Иди в падик пивас пить с корешами

Иди в падик пивас пить с корешами

иду

Это у тебя не парсер, а какая-то заготовка под него

ну да, это я просто сел без подготовки и цели запарсить кому-то или себе. Плюс это мой первый парсер, который я написал сегодня, после отсутсвия практики в программировании целый год

ну да, это я просто сел без подготовки и цели запарсить кому-то или себе. Плюс это мой первый парсер, который я написал сегодня, после отсутсвия практики в программировании целый год

и это просто тренировка

ну такое что -то, думаю, что поняли

Это у тебя не парсер, а какая-то заготовка под него

конечно, если парсить сайты с товарами, то нужно не 1 страницу парсить, это только часть парсера полноценного, и эта часть отвечает за парсинг отдельной страницы. Просто допилить парсер так, чтоб все страницы проверялись

и вроде все

ну и уже в зависимости от заказчика или цели нужно парсить. Я просто название товара парсил, а там еще цену , категорию, например, ну понятно

что значит FOREIGN KEY constraint failed? можно снять ограничение?

ну и уже в зависимости от заказчика или цели нужно парсить. Я просто название товара парсил, а там еще цену , категорию, например, ну понятно

Тебе просто как бы намекнули что неплохо бы знать про пагинацию страниц =)

Тебе просто как бы намекнули что неплохо бы знать про пагинацию страниц =)

я шарю, бро)

но устал обьяснять, что я не ставил себе цели парсить всю категорию этого товара

а только одну страницу, друзья

ладно, забудьте, обсуждайте что-то более интересное, нежели мое чудо из говна и палок)

а только одну страницу, друзья

Тогда всё ок бро =)

Тогда всё ок бро =)

👍

Здравствуйте. Скачал анаконду в сублиме текст - подсказок все равно нет. Что то еще надо сделать?

Установить расширения?

2

Установить расширения?

Я?

Много же туториалов, посмотри

А можно пофлудить?

@pyflood

И такая библиотека есть?

@onlyflood

@pyflood

((( меня от туда кикнули

\

Привет. Где для голосового помощника взять нормальный голос? Какой пакет pip или есть другие идеи?

Привет. Где для голосового помощника взять нормальный голос? Какой пакет pip или есть другие идеи?

Lil peep

Lil peep

Хорош

Дратути! https://t.me/cpteams Собираемся в команды на хакатон "Цифровой прорыв"

Хорош

Я думал меня забанят за спойлеры

Дратути! https://t.me/cpteams Собираемся в команды на хакатон "Цифровой прорыв"

А согласовать с админами не?

Я думал меня забанят за спойлеры

Какие спойлкры, какой лил рип

А согласовать с админами не?

тут столько флуда за просто так, а это же не реклама

Привет. Где для голосового помощника взять нормальный голос? Какой пакет pip или есть другие идеи?

Если серьёзно?