И так несколько раз

таааак

failed to load external entity "<?xml version="1.0" encoding="UTF-8"?>

прикольно, а у меня работает %))

O_O

lxml какой версии?

Так что насчёт моего вопроса?

Так что насчёт моего вопроса?

а в чем вопрос-то заключается? как читать данные в питоне из stdin?

Нее

Как общаться с программой

как запихнуть данные в другую программу, чтобы она их через stdin вытянула?

Максимум до куда я дошёл — вторая итерация

да, потому что как только данные заканчиваются, отправляется то ли EOF, то ли NULL-байт, и данные более не читаются

lxml какой версии?

сорри, я спизднул. не читается. там надо файлоподобную хуйню подавать, а не строку или пользоваться fromstring

In [12]: xml_feed_url = 'https://www.coursera.org/sitemap~www~courses.xml' ...: xml = requests.get(xml_feed_url) ...: doc = etree.fromstring(xml.content) ...: In [13]: doc Out[13]: <Element {http://www.sitemaps.org/schemas/sitemap/0.9}urlset at 0x10e9868c0>

def get_courses_list(url='https://www.coursera.org/sitemap~www~courses.xml'): return requests.get(url) def get_courses_list_tree(courses_list): return etree.XML(courses_list.content)

вот так взлетело вроде

пойду попробую пройтись по этой херне в цикле

ну я б таки fromstring заюзал

Максимум до куда я дошёл — вторая итерация

Можно запускать как os.system('a | b | c')

Для более сложных операций есть модуль subprocess, там всякие штуки вроде Popen и PIPE

Я знаю

Этим я и пользуюсь

Для более сложных операций есть модуль subprocess, там всякие штуки вроде Popen и PIPE

Но не выходит

В чем проблема?

вот есть массив у меня. он может быть пустой, а может быть заполнен (неважно сколько элементов). как написать лучше конструкцию в ф-ии, которая будет возвращать 1 когда не пустой, а 0 когда пустой массив?

Вмешаюсь. Если это точно последовательность - то хватит обычного if seq, которое сработает если seq внезапно окажется True или числом отличным от нуля. Если же непонятно что это, то len(seq)>0 то что нужно

Вмешаюсь. Если это точно последовательность - то хватит обычного if seq, которое сработает если seq внезапно окажется True или числом отличным от нуля. Если же непонятно что это, то len(seq)>0 то что нужно

https://paste.fedoraproject.org/522836/14838997/

уже вот так переделал, проверили и закрыли таск))

В данном случае вообще непонятно зачем нужен has_digit. 0 и 1 это типа False и True? Тогда достаточно return not re.findall(..)

Ага

просто в цикл вытащил этот иф из каждой ф-ии

https://paste.fedoraproject.org/522836/14838997/

а сет там зачем?

проверки туда напихал все

почему в сет?)

кстати, если интересно научиться, то вот такую задачу "регистрирования" функций можно делать через декораторы

чтоб без дубликатов :D

ты предлагаешь в тупл?

угу

т.к. декораторы выполняются в момент импорта

Немного оффтопа: как решать задачу регистрации функций на с++?

кстати, если интересно научиться, то вот такую задачу "регистрирования" функций можно делать через декораторы

что есть "регистрирование"?

ну в данном случае - заносить их в какой-нибудь список

чтоб потом смотреть в него в get_password_strength

то есть все check-функции оборачиваешь в декоратор, и не надо париться над сетами/туплами, набиваемыми вручную

мне казалось, что я видел пример в "Python. К вершинам мастерства", но может и не там

а вообще оно гуглится по python registry decorator

т.е. на каждую функцию-проверку вешать декоратор и внутри get_password_strength проходить по списку зарегистрированных?

уже вот так переделал, проверили и закрыли таск))

Что за таск? Ты это для кого-то делаешь?

https://devman.org

https://devman.org

Хочешь так на работу устроиться?

т.е. на каждую функцию-проверку вешать декоратор и внутри get_password_strength проходить по списку зарегистрированных?

ну было бы клево)

guys

help

2017/01/09 00:13:03 [error] 30589#30589: *238 connect() to unix:///tmp/uwsgi.sock failed (111: Connection refused) while connecting to upstream, client: 176.36.191.191, server: serbernar.in.ua, request: "GET / HTTP/1.1", upstream: "uwsgi://unix:///tmp/uwsgi.sock:", host: "serbernar.in.ua"

Хочешь так на работу устроиться?

нет

ну было бы клево)

на будущее учту, спасибо)

Получилось?

если ты про декораторы, то не пробовал) пилю пока задачку по парсингу курсеры

Started at (UTC): 2017-01-08 22:30:17.196435 Finished at (UTC): 2017-01-08 22:31:13.134697 Elapsed: 0:00:55.938262

20 рандомных курсов парсит

столько времени

че-то надо прикрутить? мульти[процессинг/трединг]?

Прикрути

а какой из них? я помню тут был пример, но чето не найду пока

Трединг

Процессинг не нужен

Ку

from concurent.futures import ThreadPoolExecutor with ThreadPoolExecutor(max_workers=5) as executor: executor.map(processing_function, list_of_urls)

вот вроде

эм ,бля

Started at (UTC): 2017-01-08 22:39:18.677907 Finished at (UTC): 2017-01-08 22:40:14.107720 Elapsed: 0:00:55.429813

это после прикручивания этого добра

:D

я что-то делаю не так?

?

ну как бы в 1 поток 55 сек, в 5 потоков 55 сек

ну попробуй поиграться с количеством потоков

так и должно быть?

почитай про GIL

если упростить, то задачки, которые используют процессор - не позволяют потокам в питоне работать эффективно

треды - эффективно для io-задачек

посмотри сколько времени тратится на загрузку странички - если оно мало от общего времени работы, то попробуй мультипроцессинг

может придёт ещё кто умнее и меня поправит

<method 'read' of '_ssl._SSLSocket' objects> 862 45733 45733

профайлер сказал, что вот это жрет 81% времени

забью тогда пока

это я тупил :) не до конца переделал

courses_info_list = list() with ThreadPoolExecutor(max_workers=5) as executor: for course_info in executor.map(get_course_info, courses_urls): courses_info_list.append(course_info)

Started at (UTC): 2017-01-08 23:12:38.379916 Finished at (UTC): 2017-01-08 23:12:52.604903 Elapsed: 0:00:14.224987

20 воркеров - 5 сек 20 страниц обрабатывает

красота

как все <item>...</item>, а именно содержимое атрибутов, вложенных элементов перенести в базу? с сохранением уровней вложенности (которая там разная) https://paste.ubuntu.com/23767479/ к каком направлении смотреть?

Регулярки

Но нужно попотеть

Или, можешь проходить циклом каждую строку

регулярками тут охуеешь имхо