Danil
земля пухом
Georgy
https://stackoverflow.com/questions/8053568/how-do-i-use-empty-namespaces-in-an-lxml-xpath-query
пытаюсь парсить xml и доставать кусок xml по xpath. притом ns-map мне невсегда известен. я юзаю библиотеку lxml (не путать с xml. у второй нет раелизации xpath...) чтобы вытащить элемент я сипользую метод find. однако он не работает с абсолюнтыми мутями. зато метод xpath - работает но возвращает не то что мне нужно. ns_map = dict([ node for _, node in ET.iterparse( io.BytesIO(xml_string), events=['start-ns'] ) ]) print(ns_map) xml = ET.fromstring(xml_string) print("xml is valid") sub_xml = xml.xpath(xpath, namespaces=ns_map) print('{} - {}'.format(type(sub_xml), sub_xml)) sub_xml = xml.find(xpath, ns_map) print('{} - {}'.format(type(sub_xml), sub_xml)) xml_string = ET.tostring(sub_xml, method='xml').decode('utf-8') вывод такой. {'soap': 'http://schemas.xmlsoap.org/soap/envelope/', 'wsu': 'http://docs.oasis-open.org/wss/2004/01/oasis-200401-wss-wssecurity-utility-1.0.xsd', 'isogd': 'http://pe.minregion.ru/', 'rev': 'http://smev.gosuslugi.ru/rev120315'} xml is valid <class 'list'> - [<Element {http://schemas.xmlsoap.org/soap/envelope/}Body at 0x7f1932127820>] - xpath <class 'lxml.etree._Element'> - <Element {http://schemas.xmlsoap.org/soap/envelope/}Body at 0x7f1932127820> - find мне надо чтобы xpath выводил тоде самое что и find. то есть преобразовать <class 'list'> - [<Element {http://schemas.xmlsoap.org/soap/envelope/}Body at 0x7f1932127820>] в <class 'lxml.etree._Element'> - <Element {http://schemas.xmlsoap.org/soap/envelope/}Body at 0x7f1932127820> или у мервого каким то образом напечатоть строку...
Georgy
https://lxml.de/api/lxml.etree._Element-class.html - вот дока. тут видно разница между find и xpath
Damir
пытаюсь парсить xml и доставать кусок xml по xpath. притом ns-map мне невсегда известен. я юзаю библиотеку lxml (не путать с xml. у второй нет раелизации xpath...) чтобы вытащить элемент я сипользую метод find. однако он не работает с абсолюнтыми мутями. зато метод xpath - работает но возвращает не то что мне нужно. ns_map = dict([ node for _, node in ET.iterparse( io.BytesIO(xml_string), events=['start-ns'] ) ]) print(ns_map) xml = ET.fromstring(xml_string) print("xml is valid") sub_xml = xml.xpath(xpath, namespaces=ns_map) print('{} - {}'.format(type(sub_xml), sub_xml)) sub_xml = xml.find(xpath, ns_map) print('{} - {}'.format(type(sub_xml), sub_xml)) xml_string = ET.tostring(sub_xml, method='xml').decode('utf-8') вывод такой. {'soap': 'http://schemas.xmlsoap.org/soap/envelope/', 'wsu': 'http://docs.oasis-open.org/wss/2004/01/oasis-200401-wss-wssecurity-utility-1.0.xsd', 'isogd': 'http://pe.minregion.ru/', 'rev': 'http://smev.gosuslugi.ru/rev120315'} xml is valid <class 'list'> - [<Element {http://schemas.xmlsoap.org/soap/envelope/}Body at 0x7f1932127820>] - xpath <class 'lxml.etree._Element'> - <Element {http://schemas.xmlsoap.org/soap/envelope/}Body at 0x7f1932127820> - find мне надо чтобы xpath выводил тоде самое что и find. то есть преобразовать <class 'list'> - [<Element {http://schemas.xmlsoap.org/soap/envelope/}Body at 0x7f1932127820>] в <class 'lxml.etree._Element'> - <Element {http://schemas.xmlsoap.org/soap/envelope/}Body at 0x7f1932127820> или у мервого каким то образом напечатоть строку...
эээ lst[0]?
Georgy
эээ lst[0]?
черт. спсаибо. я тупой.
GTR Network
народ чем asyncio.wait отличается от asyncio.gather ? я создал список task-ов...и пишу await asyncio.gather(*tasks)...а asyncio.wait не аналогично?
Python Developer
#свободуНавальному
Почему pypi может ставить exe? Установил https://pypi.org/project/m3u8downloader/ получил экзешник в python27
#свободуНавальному
Это нормальное поведение или странно?
Alex
Почему pypi может ставить exe? Установил https://pypi.org/project/m3u8downloader/ получил экзешник в python27
в пакете с PyPI теоретически может быть вообще все что угодно
#свободуНавальному
Понятно
#свободуНавальному
в пакете с PyPI теоретически может быть вообще все что угодно
А это что угодно может записаться куда угодно? У меня exe записался в python27/Scripts, поставил на 38, теперь никакого экзешника (во всяком случае в доступного через env). Скрипт может записаться, например в автозагрузку при установке? Или есть ограничения пипы?
Alex
если sdist пакет, то фактически он может делать все что угодно, ибо содержит исполняемый код (setup.py)
#свободуНавальному
зависит от формата пакета.
А как определить формат пакета? Что бы можно было понять стоит ли рисковать устанавливая что-то из репозитория
Akari
лол.
Tishka17
всегда лучше почитать отзывы или исходники
Tishka17
а лучше и то и другое
Akari
а пакеты можно свободно загружать?
Tishka17
Tishka17
лицензия GPL, но исходники не вижу
Tishka17
выглядит подозрительно
Tishka17
судя по тому, что её требуется ffmpeg, она скорее всего тупо вызывает его и он всё качает сам
#свободуНавальному
не стоит ставить всякую рандомную хрень
Для меня любой пакет - рандомная хрень. Потому что доверие "авторитетным" источникам это просто способ успокоить себя. Не рандомно то, сорсы чего я читал, например lua. Родные пакеты тоже рандомны, как и сам язык. И я сомневаюсь что многие люди проверяют сорсы. Поэтому есть смысл говорить только о понимании конкретных случаев, вроде установки пакетов, которые могут без моего участия сделать что захотят, после запуска pip install
Alex
наустанавливают всякой херни...
Tishka17
доверие "авторитетным источникам" - способ снизить риск со 100% до хотя бы 30-40%
#свободуНавальному
Соглы
Akari
А чем ты рискуешь? Интересно
Tishka17
#свободуНавальному
"если sdist пакет, то фактически он может делать все что угодно, ибо содержит исполняемый код (setup.py)" Так что на счёт способа определения таких пакетов? Есть какое-то примечание на сайте или у пипы? Или только в сорсах искать setup.py?
Tishka17
пакет в любом случае - код
Tishka17
часть выполняется при установке, часть - при импорте
Alex
wheel пакеты не могут содержать исполняемый при установке код.
Tishka17
ну можно конечно упаковать просто данные в пакет, окей
Alex
ну или упаковать не питоновские пакеты, а например ансибл плейбуки или еще какую хрень.
Tishka17
wheel пакеты не могут содержать исполняемый при установке код.
я имел ввиду, что если ты тянешь какую функциональность в виде пакета, тебе надо волноваться не только об этапе установки
Alex
вообще в нормальных компаниях пакеты тянут только из внутреннего репозитория куда они попадают через аудит безопасности.
Tishka17
такое мало кто может позовлить себе
Tishka17
и это прям тяжко в реальности
#свободуНавальному
Значит автоматических способов определения не существует? По умолчанию любой пакет может выполнять произвольные команды при установке? Теоретически, даже wheel, если его разработчикам так захочется, ведь это просто обёртка, как я понял
Tishka17
ну можешь антивирус натравить
Tishka17
или запустить какую-нибудь приблуду динамичекого анализа в виртуалке
#свободуНавальному
Уже проверил на вирустотал. Но мой вопрос о инфраструктуре питона. Хочу понять можно ли защититься хотя бы на уровне "если поставил пакет, но ничего не запускал, то пока что ты в безопасности"
Tishka17
у ФСТЭК, ФСБ есть методи аудита безопасности, но это тоже не совсем надежно
Tishka17
и не совсем автоматически
#свободуНавальному
Интересно, архив пакета не содержит бинарных файлов https://files.pythonhosted.org/packages/f8/7a/af6c89c22527a259acad80237c641460538d125ba8cb0ebe1b2915d5ac20/m3u8downloader-0.8.0.tar.gz
#свободуНавальному
И упоминания экзешника в скриптах тоже не нашел
Alex
У PyPI есть внутренние процессы аудита, с некоторой вероятностью отлавливающие вредоносные или фишинговые пакеты, но это не дает 100% гарантии.
Alex
Вон в ноде так вообще театр абсурда. Установка какого-нибудь сраного реакта тянет 1000+ зависимостей. И ты поди все проверь.
#свободуНавальному
Да, я не воспринимаю ноду всерьёз именно из-за этого
Tishka17
хотя это похоже не расчитывалось как модуль
#свободуНавальному
Tishka17
а только из консоли типа вызывать
#свободуНавальному
Да
Tishka17
а так код как код, не сказать что совсем говно
Tishka17
Кто подскажет по marshmallow? Вот у меня есть словарь {"a": {"b": 1}}. Я хочу из него сделать {"a_b": 1}. Как быть? Число полей небольшое, руками готов прописать, все равно типы указывать
Aragaer
напрашивается reduce
Tishka17
да руками я могу сам, но мне все равно ему валидацию писать
Aragaer
а если там в словарях другие поля есть?
Aragaer
или тебе надо просто "сплющить"?
Tishka17
лишние пофиг
Tishka17
мне сплющить
Tishka17
хотя ладно, пофиг
Aragaer
ну вобщем код с циклом и рекурсией написать нетрудно
Tishka17
да мне даже без рекурсии
Tishka17
ладно, не суть
#свободуНавальному
Как посмотреть свойства объекта через print? Например если в редакторе нет автодополнения
#свободуНавальному
А, всё, vars вроде
Aragaer
dir
Aragaer
ну или __dict__
#свободуНавальному
Спасибо, это намного удобнее