Просто мне в задачах на парсинг xml/html важна была скорость разработки.

А на скорость выполнения было накласть.

Ага но иногда и скорость нужна

BeautifulSoup устарел эдак в 2012, не рекомендуется, так как в нем утечки памяти

Друзья, приветствую. Скажите пожалуйста, кто-нибудь знаком с библитекой lxml? Интересуют её преимущества по сравнению с xml в стандартной библиотеке.

приемущества в том, что она написана на cython и работает быстрее, это, пожалуй, все

Я как-то делал десктопное gui к одному форуму, и парсил его BeautifulSoup изначально. Это ощутимо тормозило. Именно парсер просто. Пришлось переделать.

приемущества в том, что она написана на cython и работает быстрее, это, пожалуй, все

А входящая в состав стандартной библиотеки не на нем же?

Ну и просто если надо много данных парсить, то скорость начинает ощущаться.

Угу... У меня не такие большие XML'ки - 100, 200 Кб. Я провел немного замеров - результаты идентичны. Но я может быть не использую каких-то фишек lxml для ускорения обработки...

Я как-то делал десктопное gui к одному форуму, и парсил его BeautifulSoup изначально. Это ощутимо тормозило. Именно парсер просто. Пришлось переделать.

А есть альтернативы получше? Приоритет на скорость и удобство разработки.

А есть альтернативы получше? Приоритет на скорость и удобство разработки.

По удобству - вряд ли. Я в основном bs использую, скорость, обычно, не критична. Если была бы критична, даже не знаю что взял бы.

А входящая в состав стандартной библиотеки не на нем же?

как ты можешь видеть - нет, чистый python https://github.com/python/cpython/tree/master/Lib/xml

у elementtree вроде была версия на си, но что-то её убрали

как ты можешь видеть - нет, чистый python https://github.com/python/cpython/tree/master/Lib/xml

=) Да, точно... Я, собственно, чего спрашиваю. Меня беспокоит вопрос производительности, т.к. очень важно получать ответ максимально быстро. Скрипт пишется для Zabbix, где дефолтное время ожидания выполнения равно трем секундам. Я укладываюсь как использованием xml, так и с lxml, но хочется попробовать выжать максимум.

3 секунды это довольно много

у elementtree вроде была версия на си, но что-то её убрали

Ну да, cElementTree. С какой-то версии deprecated.

попробуй запрофайлить, я не думаю, что ты упрешься в парсинг, если конечно не парсишь мегабайты данных за раз имхо zabbix это не столь критично по времени выполнения

всяко не хайлоад

попробуй запрофайлить, я не думаю, что ты упрешься в парсинг, если конечно не парсишь мегабайты данных за раз имхо zabbix это не столь критично по времени выполнения

Объемы не большие, от 100-300 Кб. Но бывает отваливается по таймауту... Конечно, может быть дело не в xml )

Среднее время выполнения - 700 мс.

возьми cProfile и посмотри стату по выполнению

ребят есть вопро: есть такой код filePath = '/mnt/Images/test.png' searchUrl = 'http://www.google.hr/searchbyimage/upload' multipart = {'encoded_image': (filePath, open(filePath, 'rb')), 'image_content': ''} response = requests.post(searchUrl, files=multipart, allow_redirects=False) fetchUrl = response.headers['Location'] почему я не могу сделать запрос такого типа requests.get(fetchUrl) почему он потом перекидывает на стандартную страницу поиска а не на результат поиска по картинке

возьми cProfile и посмотри стату по выполнению

Окей, спасибо. Не пользовался еще им, погляжу.

я тут пытаюсь поиск по картинке в гугл запилить)) и что то не догоняю) )

Окей, спасибо. Не пользовался еще им, погляжу.

https://ymichael.com/2014/03/08/profiling-python-with-cprofile.html

ребят есть вопро: есть такой код filePath = '/mnt/Images/test.png' searchUrl = 'http://www.google.hr/searchbyimage/upload' multipart = {'encoded_image': (filePath, open(filePath, 'rb')), 'image_content': ''} response = requests.post(searchUrl, files=multipart, allow_redirects=False) fetchUrl = response.headers['Location'] почему я не могу сделать запрос такого типа requests.get(fetchUrl) почему он потом перекидывает на стандартную страницу поиска а не на результат поиска по картинке

Почему ты шлёшь GET-запрос? Там, вероятно, нужен POST.

Ты шлёшь запрос, но ты это делаешь без должного уважения

посоветуйте библиотеку для soap

посоветуйте библиотеку для soap

Зачем тебе это говно?

посоветуйте библиотеку для soap

TLDR: в питоне с SOAP всё очень плохо.

Зачем тебе это говно?

Да блин с середины нулевых не юзал, но тут сторонний сервис хочет soap

Ты шлёшь запрос, но ты это делаешь без должного уважения

ааххах)) норм ))

Да блин с середины нулевых не юзал, но тут сторонний сервис хочет soap

Zeep попробуй

TLDR: в питоне с SOAP всё очень плохо.

с soap вообще все очень плохо

Он умеет возвращать данные в json хотя бы. Но сам запрос надо слать в xml

с soap вообще все очень плохо

Ну в JAVA нормально.

не ну я же типо сначала сначала сделал пост запрос он мне типо ответил и отдал url с запросом а я поэтому потом делаю get запрос)) надо было post запрос делать да?

Ну в JAVA нормально.

И в .net XDD

zeep юзал, терпимо по крайней мере лучше, чем besimple клиент для php

TLDR: в питоне с SOAP всё очень плохо.

++

не ну я же типо сначала сначала сделал пост запрос он мне типо ответил и отдал url с запросом а я поэтому потом делаю get запрос)) надо было post запрос делать да?

А, там нет. Там GET.

Тогда не знаю. Советую отдебажить в postman, а потом переносить в питон.

И в .net XDD

Ну ещё suds можешь попробовать. Но она мёртвая. Можно поискать форк поживее.

Да блин с середины нулевых не юзал, но тут сторонний сервис хочет soap

я в этом случае беру шаблоны на строках и просто параметры подставляю, выходит отлично по производительности

А, там нет. Там GET.

просто соль в том что через селиниум результат открывается а через requests неоткрывается) вот я и думаю )) где я опять туплю)

я в этом случае беру шаблоны на строках и просто параметры подставляю, выходит отлично по производительности

Производительность не критична вообще.

просто соль в том что через селиниум результат открывается а через requests неоткрывается) вот я и думаю )) где я опять туплю)

Ну там, возможно, какой-нибудь идентификатор сессии в куках ещё.

я в этом случае беру шаблоны на строках и просто параметры подставляю, выходит отлично по производительности

Но идея интересная. Может так и сделаю.

Хотя нет. В порнорежиме та же ссылка тоже открывается.

Ну там, возможно, какой-нибудь идентификатор сессии в куках ещё.

Вряд ли

Тогда не знаю.

Но идея интересная. Может так и сделаю.

В одном проекте плюнули на еблю с библиотеками, отправляли запросы через jinja, а принимали через что-то типа xml2dict

А по получившемуся дикту бегали другой библиотекой. dPath (типа аналог xPath в XML).

Ну там, возможно, какой-нибудь идентификатор сессии в куках ещё.

я тоже думал про это , но я запрос делаю реквестом а открываю селениумом ну как то так: import requests filePath = '/mnt/Images/test.png' searchUrl = 'http://www.google.hr/searchbyimage/upload' multipart = {'encoded_image': (filePath, open(filePath, 'rb')), 'image_content': ''} response = requests.post(searchUrl, files=multipart, allow_redirects=False) fetchUrl = response.headers['Location'] browser = Browser() browser = browser.start() browser.get(fetchUrl) я просто хотел сделать только на requests но он почему то не работает как я хочу

я тоже думал про это , но я запрос делаю реквестом а открываю селениумом ну как то так: import requests filePath = '/mnt/Images/test.png' searchUrl = 'http://www.google.hr/searchbyimage/upload' multipart = {'encoded_image': (filePath, open(filePath, 'rb')), 'image_content': ''} response = requests.post(searchUrl, files=multipart, allow_redirects=False) fetchUrl = response.headers['Location'] browser = Browser() browser = browser.start() browser.get(fetchUrl) я просто хотел сделать только на requests но он почему то не работает как я хочу

UserAgent нужно отправить ещё, вероятно.

я тоже думал про это , но я запрос делаю реквестом а открываю селениумом ну как то так: import requests filePath = '/mnt/Images/test.png' searchUrl = 'http://www.google.hr/searchbyimage/upload' multipart = {'encoded_image': (filePath, open(filePath, 'rb')), 'image_content': ''} response = requests.post(searchUrl, files=multipart, allow_redirects=False) fetchUrl = response.headers['Location'] browser = Browser() browser = browser.start() browser.get(fetchUrl) я просто хотел сделать только на requests но он почему то не работает как я хочу

А оно должно работать так как ты хочешь?

я тоже думал про это , но я запрос делаю реквестом а открываю селениумом ну как то так: import requests filePath = '/mnt/Images/test.png' searchUrl = 'http://www.google.hr/searchbyimage/upload' multipart = {'encoded_image': (filePath, open(filePath, 'rb')), 'image_content': ''} response = requests.post(searchUrl, files=multipart, allow_redirects=False) fetchUrl = response.headers['Location'] browser = Browser() browser = browser.start() browser.get(fetchUrl) я просто хотел сделать только на requests но он почему то не работает как я хочу

Ну сравни в чем разница между запросом из requests и от селениума

А оно должно работать так как ты хочешь?

ну да там запрос то отправить картинку в гугл посмотреть результат поиска по тегам и закрыть

я тоже думал про это , но я запрос делаю реквестом а открываю селениумом ну как то так: import requests filePath = '/mnt/Images/test.png' searchUrl = 'http://www.google.hr/searchbyimage/upload' multipart = {'encoded_image': (filePath, open(filePath, 'rb')), 'image_content': ''} response = requests.post(searchUrl, files=multipart, allow_redirects=False) fetchUrl = response.headers['Location'] browser = Browser() browser = browser.start() browser.get(fetchUrl) я просто хотел сделать только на requests но он почему то не работает как я хочу

Я в таких случаях делаю так: Открываю страницу в браузере. Ищу нужный запрос во вкладке Network. Экспортирую как Curl. Импортирую это в Postman. В постмане играюсь с заголовками и прочим, чтобы запрос работал с минимальными входными данными. После этого экспортирую в python.requests или куда мне это дальше там надо.

Я в таких случаях делаю так: Открываю страницу в браузере. Ищу нужный запрос во вкладке Network. Экспортирую как Curl. Импортирую это в Postman. В постмане играюсь с заголовками и прочим, чтобы запрос работал с минимальными входными данными. После этого экспортирую в python.requests или куда мне это дальше там надо.

спасибо учту)) буду разбираться)

Экспорт запросов из браузера в postman это вообще космос фича.

ERROR: S client not available

Экспорт запросов из браузера в postman это вообще космос фича.

так уже заинтриговал )) бегом качаю тулзу

Экспорт запросов из браузера в postman это вообще космос фича.

так зачем экспорт, постман и есть браузер, он может даже просто записывать и отображать все, что происходит в соседней вкладке хрома

так зачем экспорт, постман и есть браузер, он может даже просто записывать и отображать все, что происходит в соседней вкладке хрома

У меня standalone app postman. Или я тебя не понял.

А ну все равно в хроме есть кнопочка перехвата в этом случае

хотя хз как ты ставил

А ну все равно в хроме есть кнопочка перехвата в этом случае

Ну мне с экспортом достаточно удобно. Хотя покажи свой вариант, может ещё круче.

https://chrome.google.com/webstore/detail/postman-interceptor/aicmkgpgakddgnaphhhpliifpcfhicfo?hl=en

хм какая-то монстроидальная тулза. но спасибо за наводку, может пригодиться

https://chrome.google.com/webstore/detail/postman-interceptor/aicmkgpgakddgnaphhhpliifpcfhicfo?hl=en

А, видел вроде. Не уверен, что она работает со standalone app. Да и выглядит менее удобной.

Оно не особо standalone там тоже браузер и нода какая-то

Оно не особо standalone там тоже браузер и нода какая-то

standalone. Просто на электроне. Но это не важно.

В любом случае, не экстеншн к браузеру.

хз перехват крутая штука, просто нажал кнопку и ловишь все в постмане, что тычешь в браузере

Мне как-то хватало вкладки network в devtools

Друзья, посоветуйте библиотеку для манипуляций с pdf: кропить, мерджить, сплитить, вращать страницы.

Мне как-то хватало вкладки network в devtools

Ну оно read only

Привет всем. SQLAlchemy умеет во временные таблицы без их предварительного описания? Типа так: SELECT * INTO #tmptbl FROM tbl ?

Жесть. Уже хз какой вопрос по алхимии задаю, и практически никогда не отвечают. Скалдывается такое впечатление, что алхимию никто не использует вообще.

Жесть. Уже хз какой вопрос по алхимии задаю, и практически никогда не отвечают. Скалдывается такое впечатление, что алхимию никто не использует вообще.

Ну алхимия это либо крошечный проект, либо embedded db. Тебе можно попробовать задать вопрос в чате по андроиду.

:)

о_О а причём тут андроид?

Жесть. Уже хз какой вопрос по алхимии задаю, и практически никогда не отвечают. Скалдывается такое впечатление, что алхимию никто не использует вообще.

у нее дока неплохая, обычно там все найти можно

о_О а причём тут андроид?

Embedded бд для мобильных приложений.

у нее дока неплохая, обычно там все найти можно

ну так можно практически о любом крупном модуле сказать.

А, тьфу

Я гоню

Почему-то про sqlite подумал

если модуль плохо документирован, то его мало кто использует

Почему-то про sqlite подумал

вот и я думаю, что что-то не то