скрапи не об этом вообще-то

по уму тебе нужет либо sax парсер, либо lxml

точнее, вот

https://docs.python.org/3.7/library/markup.html

lxml когда-то заменял ElementTree

большая часть этих модулей распарсит твой сайтмап

lxml подходит, если нужны вообще все возможности xml, типа неймспейсов и прочего

bs4 - это реально набор хаков для невалидной разметки, посмотри его сорсы и ужаснись

bs4 - класс

Используя find и find_all можно любую инфу вытащить с html

TypeError: Cannot mix str and non-str arguments при запросе через requests почему так может быть?

телепаты в отпуске. неси код

телепаты в отпуске. неси код

вызов функции url = list(products)[0] title_new = list(products)[1] methods.main_method(url, title_new) Функция proxies = monitor.get_proxies() data = json.loads(requests.get(data_link).text)

ох пиздец, простите мой акцент

products что из себя представляет?

ох пиздец, простите мой акцент

вчера работало

это тебя не оправдывает

products что из себя представляет?

tuple он все что нужно выдает

т.к. советский союз 70 лет работал

url, new_title = products

data = requests.get(data_link).json

версия питона 3.х?

url, new_title = products

смысл мне так делать url и new_title по разным ключам находятся либо я еблан

версия питона 3.х?

Да

у тебя где-то bytes приходят

смысл мне так делать url и new_title по разным ключам находятся либо я еблан

это полный эквивалент твоим двум строчкам

это полный эквивалент твоим двум строчкам

аааааааааа

все воткнул

если там больше двух элементов, то

нет не болше

url, new_title, *_ = products

а вот как ошибку фиксить

первый раз вижу такую

url, new_title, *_ = products

а, вот как это правильно распаковывать

но это только в 3.х

из кортежей можно брать по индексу, не надо их в список конвертить

питон же

но это только в 3.х

а я других и не признаю ?

смотри в стек трейс, там конкретно сказано, куда приходят смешанные типы

а

погоди

там может быть тема, что ты передаешь параметры в url и как параметр функции

там может быть тема, что ты передаешь параметры в url и как параметр функции

не втыкаю чет сек

выведи в лог свой url и поймешь

выведи в лог свой url и поймешь

вот что url выдает https://www.12amrun.com/products/12am-cross-bag-black

выведи в лог свой url и поймешь

Сейчас

по логам он вообще даже запрос не начинает делать

правильно

т.к. не может сообразить, что делать с параметрами

трейсы есть?

трейсы есть?

трэйсбэк весь или что?

да, желательно. куда-то на paste.org

да, желательно. куда-то на paste.org

https://pastebin.com/yHX0TmLd

ага, ок, проверяй свои аргументы на однородность типов, там где-то затесался unicode\bytes

ага, ок, проверяй свои аргументы на однородность типов, там где-то затесался unicode\bytes

играет роль что я регулярками получал эти стринги?

в какой-то мере

ты там случайно MatchGroup не передал?

выведи типы аргументов в лог

ты там случайно MatchGroup не передал?

я вот такое соорудил и получал значения products = findall('<loc>(.*)</loc>\s.*</lastmod>\s.*\s.*\s.*\s.*\s.*\s.*<image:title>(.*)</image:title>'

ну, а вытаскивать сами значения за тебя Гвидо будет, что ли?

ты получил iterable

там надо вызвать какой-нибудь .text

там надо вызвать какой-нибудь .text

бля сложно как это сделать я нэ ма

я с регулярками не дружу особо

запости код на тот же сайт

да они тебе и не нужны, по ходу

запости код на тот же сайт

https://pastebin.com/DLahtmEn

SOOQA. с тебя котики для восстановления моего благодушного настроения

там отформатировалось криво в некоторых моментах\

https://docs.python.org/3.7/library/xml.etree.elementtree.html#xml.etree.ElementTree.Element.findall

ты получаешь назад список элементов

https://docs.python.org/3.7/library/xml.etree.elementtree.html

изучай примеры вот тут

нет

я знаю

мне именно экспрешенном надо

это регулярки у тебя?

тогда там по логике должны быть строки

слушай, давай ты может почистишь структуру кода для начала? а то сложно проблемные места вычислять

это регулярки у тебя?

Да