Shub
17.10.2018
13:53:56
скрапи не об этом вообще-то
по уму тебе нужет либо sax парсер, либо lxml
точнее, вот
https://docs.python.org/3.7/library/markup.html
Google
Shub
17.10.2018
13:55:16
lxml когда-то заменял ElementTree
большая часть этих модулей распарсит твой сайтмап
lxml подходит, если нужны вообще все возможности xml, типа неймспейсов и прочего
bs4 - это реально набор хаков для невалидной разметки, посмотри его сорсы и ужаснись
Danil
17.10.2018
15:46:04
bs4 - класс
Используя find и find_all можно любую инфу вытащить с html
Ляман
17.10.2018
18:13:34
TypeError: Cannot mix str and non-str arguments
при запросе через requests почему так может быть?
Shub
17.10.2018
18:13:59
телепаты в отпуске. неси код
Ляман
17.10.2018
18:15:09
телепаты в отпуске. неси код
вызов функции
url = list(products)[0]
title_new = list(products)[1]
methods.main_method(url, title_new)
Функция
proxies = monitor.get_proxies()
data = json.loads(requests.get(data_link).text)
Shub
17.10.2018
18:15:42
ох пиздец, простите мой акцент
products что из себя представляет?
Ляман
17.10.2018
18:16:27
Shub
17.10.2018
18:16:35
это тебя не оправдывает
Google
Ляман
17.10.2018
18:16:39
Shub
17.10.2018
18:16:42
т.к. советский союз 70 лет работал
url, new_title = products
data = requests.get(data_link).json
версия питона 3.х?
Ляман
17.10.2018
18:17:58
Shub
17.10.2018
18:18:08
у тебя где-то bytes приходят
Ляман
17.10.2018
18:18:50
все воткнул
Shub
17.10.2018
18:18:53
если там больше двух элементов, то
Ляман
17.10.2018
18:19:12
нет не болше
Shub
17.10.2018
18:19:16
url, new_title, *_ = products
Ляман
17.10.2018
18:19:38
а вот как ошибку фиксить
первый раз вижу такую
Igor
17.10.2018
18:19:44
Shub
17.10.2018
18:20:51
но это только в 3.х
из кортежей можно брать по индексу, не надо их в список конвертить
питон же
Google
Igor
17.10.2018
18:21:52
Shub
17.10.2018
18:22:49
смотри в стек трейс, там конкретно сказано, куда приходят смешанные типы
а
погоди
там может быть тема, что ты передаешь параметры в url и как параметр функции
Ляман
17.10.2018
18:24:18
Shub
17.10.2018
18:24:35
выведи в лог свой url и поймешь
Ляман
17.10.2018
18:24:52
по логам он вообще даже запрос не начинает делать
Shub
17.10.2018
18:27:35
правильно
т.к. не может сообразить, что делать с параметрами
трейсы есть?
Ляман
17.10.2018
18:29:28
Shub
17.10.2018
18:29:47
да, желательно. куда-то на paste.org
Ляман
17.10.2018
18:30:31
Shub
17.10.2018
18:32:22
ага, ок, проверяй свои аргументы на однородность типов, там где-то затесался unicode\bytes
Ляман
17.10.2018
18:33:42
Shub
17.10.2018
18:34:50
в какой-то мере
ты там случайно MatchGroup не передал?
Google
Shub
17.10.2018
18:35:09
выведи типы аргументов в лог
Ляман
17.10.2018
18:36:03
Shub
17.10.2018
18:36:28
ну, а вытаскивать сами значения за тебя Гвидо будет, что ли?
ты получил iterable
там надо вызвать какой-нибудь .text
Ляман
17.10.2018
18:38:07
я с регулярками не дружу особо
Shub
17.10.2018
18:38:25
запости код на тот же сайт
да они тебе и не нужны, по ходу
Ляман
17.10.2018
18:40:26
Shub
17.10.2018
18:41:36
SOOQA. с тебя котики для восстановления моего благодушного настроения
Ляман
17.10.2018
18:41:50
там отформатировалось криво в некоторых моментах\
Shub
17.10.2018
18:42:51
https://docs.python.org/3.7/library/xml.etree.elementtree.html#xml.etree.ElementTree.Element.findall
ты получаешь назад список элементов
https://docs.python.org/3.7/library/xml.etree.elementtree.html
изучай примеры вот тут
Ляман
17.10.2018
18:45:27
нет
я знаю
мне именно экспрешенном надо
Shub
17.10.2018
18:55:46
это регулярки у тебя?
Google
Shub
17.10.2018
18:56:21
тогда там по логике должны быть строки
слушай, давай ты может почистишь структуру кода для начала? а то сложно проблемные места вычислять
Ляман
17.10.2018
19:33:36