убери вообще try\except и убедись, что SA выкидывает (или нет) исключение.

не выкидывает

да я умею дебажить, я говорю, что исключение не выпадает, вопрос скорее по SQLAlchemy

убери вообще try\except и убедись, что SA выкидывает (или нет) исключение.

не выкидывает

а разве with не обеспечиват подключения?

а разве with не обеспечиват подключения?

нет. он обеспечивает корректное закрытие после

стоп, минуточку )

import logging logging.basicConfig() logging.getLogger('sqlalchemy.engine').setLevel(logging.DEBUG) может что интересное напишет.

Вопрос. Стоит ли демонизировать pyserial. Или лучше по крону дергать?

всем спасибо, была как обычно, ржака-абасака. забыл, что в local_settings.py переопределялся конфиг постгреса, в котором был указан постгрес докера. я потушил постгрес локальный, а а в докере он прекрасно продолжал работать. а исключение которое я видел в дебагере ко мне отношения не имеет, надо было просто его прочитать повнимательнее ))

чтобы переехать, надо сначала вакансию найти :)

https://www.xing.com/ ещё, но там почти только немцы

мне сегодня пришла вакансия на кипр

требования не фонтан какие высокие

Мгого раз натыкался. И зп норм и требования не высокие были

меня несколько раз звали

там форексы какие-то сидят

только что на этом кипре делать...

здарово други

кто подскажет как с pyserial забирать в 1 и 0

Здратуте

Вопрос по web scraping-y, пишу скрипт, который будет из страницы тащить основную информацию, конвертировать ее в fb2 и на кидл кидать. Сам вопрос, как определить основную инфу на странице? Бывает что вложенных div-ов много и определить нужный трудно.

смотри на scrapy, grab

, beatifulsoup

я супом пользуюсь

и думаю, а вообще реально написать алгоритм, который с ЛЮБОЙ страницы будет тащить основную инфу. Не знаю, как выцепить ее и кучи тегов. Как написать, чтобы программа понимала

scrapely

но проект не развивают

и думаю, а вообще реально написать алгоритм, который с ЛЮБОЙ страницы будет тащить основную инфу. Не знаю, как выцепить ее и кучи тегов. Как написать, чтобы программа понимала

в порядке бреда предложение: может считать основной инфу, которая содержится в самом большом диве? ну или тупо самый большой кусок текста на странице. с помощью xpath я думаю вполне реально его указать

в порядке бреда предложение: может считать основной инфу, которая содержится в самом большом диве? ну или тупо самый большой кусок текста на странице. с помощью xpath я думаю вполне реально его указать

Можно считать основным текстом то, где много тегов p

Можно считать основным текстом то, где много тегов p

а вот это сомнительное утверждение )

как раз в тексте скорее их мало должно быть

http://antirabstvo.ru/text-oil-big-data/

Например

а, я просто после упоминания fb2 сделал предположение, что нужно выдирать именно текстовые куски какие-то

а в указанном примере какой текст на самом деле попадает под оперделение "основной"?

а, я просто после упоминания fb2 сделал предположение, что нужно выдирать именно текстовые куски какие-то

Ну да, я хочу выдернуть всю инфу из статьи, например

https://lenta.ru/news/2016/11/17/tu160/

Или вот читаю я это

а, ну правильно. еще раз вгляделся в пример

И выдергиваю текст статьи полностью

по кол-ву тегов неправильно судить, их например в панели навигации какой-нить сложной может быть не меньше. а вот по кол-ву текста - да

просто игнорировать теги форматирования текста

Ну да

стронги там всякие, параграфы

попробовать можно

и все еще это в один xpath упихать можно имхо

То есть, перебирать текст с тегами, которые по сути отвечают за разметку текста

я бы делал поиск тега, содержимое которого является максимальным по размеру, но при условии, что в содержимом нет других тегов, кроме перечисленных: p, br, strong, h... и т.д.

А почему xpath, как я понял, он же за xml отвечает?

А почему xpath, как я понял, он же за xml отвечает?

а? )

и все еще это в один xpath упихать можно имхо

про это говорю, что XPath (XML Path Language) is a query language for selecting nodes from an XML document.

О, можно искать такой div, в котором внутри будет тэг p

И потом этот див пытаться разобрать

ну вообще html это подвид xml. и пусть меня закидают тухлыми помидорами, я чайник - мне можно ))

ну вообще html это подвид xml. и пусть меня закидают тухлыми помидорами, я чайник - мне можно ))

HTML - подвид SGML

XHTML - подвид XML

я ждал! ))

спасибо за поправку

ERROR: S client not available

Extended from SGML

Во

но я к тому, что xpath отлично разбирает dom и теги им парсить оч удобно

этому html лет писят

ну и вопросы у вас

Просто в HTML можно написать <p>lol <p>kek и это будет нормально, а в XML так нельзя

это я говорю как большой любитель регулярок есичо ))

всё уже вдоль и поперек по этой теме разобрано

но я к тому, что xpath отлично разбирает dom и теги им парсить оч удобно

++

это я говорю как большой любитель регулярок есичо ))

Парсить HTML регулярками моё любимое занятие лол

да, вот я слышал что он только валидный html разбирает и могут быть нюансы, так что готовить с осторожностью ))

Это призывает Ктулху

вы на SO читали про парсинг html регуляркой?

Это призывает Ктулху

да!

вы на SO читали про парсинг html регуляркой?

да!

это шедевр

вы на SO читали про парсинг html регуляркой?

Ага

да, вот я слышал что он только валидный html разбирает и могут быть нюансы, так что готовить с осторожностью ))

не сталкивался, кстати, надо будет проверить как нить

Может еще нейронку подключить что ли

http://stackoverflow.com/questions/1732348/regex-match-open-tags-except-xhtml-self-contained-tags/1732454#1732454

Это призывает Ктулху

Это и была отсылка к этому

Может еще нейронку подключить что ли

Вы таки не поверите...

Вы таки не поверите...

Есть и такая?

Есть и такая?

На прошлой работе прикручивали

Не совсем парсинг. Скорее поиск в уже распарсеном. То есть сперва парсер разбивал на токены а потом уже машинное обучение

да, вот я слышал что он только валидный html разбирает и могут быть нюансы, так что готовить с осторожностью ))

зависит от библиотеки, которая html разбирает и xpath по нему ищет

Доброго времени. Как через pip устанавливать, чтобы root не запрашивало?

--user

Ох, я —user перед install ставил...