Что за метод?

https://ru.wikipedia.org/wiki/%D0%9C%D0%B5%D1%82%D0%BE%D0%B4_%D1%83%D1%82%D1%91%D0%BD%D0%BA%D0%B0

Что за метод?

Становишься премьер-министром и строишь домик для уточки

Как мне вытащить ссылку из текста и приклеить к слову, к которому эта ссылка относится

Ссылка вытаскивается парсером, текс с ссылкой объединяется в словарь.

Ссылка вытаскивается парсером, текс с ссылкой объединяется в словарь.

Я повторюсь, и что мне это даст?

Я повторюсь, и что мне это даст?

Я ответил на закоменченый вопрос.

К примеру у тебя в html коде 3 одинаковых слова, твоя задача вытащить весь текст, и сохранить ссылку в формате WORD[URL]

Я выше писал, в чем проблема

А тебе выше ответили как её решить

Вот у тебя есть страница https://pastebin.com/hEARZqfw В ней есть ссылки привязанные к словам

Ничего, но задача отформатировать текст так, чтобы было WORD[URL]

А если будет 2 и более одинаковых WORD, то как мне явно указать, к какому из них принадлежит ссылка?

К примеру у тебя в html коде 3 одинаковых слова, твоя задача вытащить весь текст, и сохранить ссылку в формате WORD[URL]

В тексте нету словарей, словарь ты сам создаешь.

Ну если json типа

Ничего, но задача отформатировать текст так, чтобы было WORD[URL]

Задача форматировать html а не собирать инфу?

Задача форматировать html а не собирать инфу?

Именно!

Из регулярки там только re.sub надо, у некоторых либ свои методы есть и больше ничего.

Задача форматировать html а не собирать инфу?

Можно же создать новый...

Можно же создать новый...

Тоже вариант)

Из регулярки там только re.sub надо, у некоторых либ свои методы есть и больше ничего.

Да, но re.sub вернет мне уже str, а не BS4 object

Да, но re.sub вернет мне уже str, а не BS4 object

А нахрен тебе бс4 упал?

А нахрен тебе бс4 упал?

Блять ну ты ебнулся что ли

А нахрен тебе бс4 упал?

ну так мне по сути из тегов только <a>

а потом bs4object.get_text()

и сразу из всех тегов текст вытаскивается

А нахрен тебе бс4 упал?

Не нужно НЕ bs4

чтобы руками не вытаскивать регулярками

Блять ну ты ебнулся что ли

Ну ему нужен объект бс но зачем после редактирования текста

и сразу из всех тегов текст вытаскивается

Попробуй вытаскивать не из всех

Ну ему нужен объект бс но зачем после редактирования текста

Так ты либо текст из bs4object достаешь, либо преобразуешь этот объект в текст и кидаешь в re.sub

Попробуй вытаскивать не из всех

Уровень знаний: цикл

чтобы руками не вытаскивать регулярками

Сохрани в файл

Html

TAGS = { "time": lambda item, copy_item: re.sub(r"<time*[^>]+>(.*)</time>", r"\t\1", copy_item), "strong": lambda item, copy_item: re.sub(r"<strong*[^>]+>(.*)</strong>", r"\t\1", copy_item), "br": lambda item, copy_item: copy_item.replace("<br>", "\n").replace("<br/>", "\n"), "a": lambda item, copy_item: re.sub(r'<a href="([^\"]*)" [^>]+>([^</a>]+)</a>', r'\2[\1]', copy_item), "span": lambda item, copy_item: re.sub(r"<span*[^>]+>(.*)</span>", r"\1", copy_item), "i": lambda item, copy_item: re.sub(r"<i*[^>]+>(.*)</i>", r"\1", copy_item), "p": lambda item, copy_item: re.sub(r"<p*[^>]+>(.*)</p>", r"\t\1", copy_item), "em": lambda item, copy_item: re.sub(r"<em*[^>]+>(.*)</em>", r"\1", copy_item), "h1": lambda item, copy_item: re.sub(r"<h1*[^>]+>(.*)</h1>", r"\t\1", copy_item), "h2": lambda item, copy_item: re.sub(r"<h2*[^>]+>(.*)</h2>", r"\t\1", copy_item), "h3": lambda item, copy_item: re.sub(r"<h3*[^>]+>(.*)</h3>", r"\t\1", copy_item), "h4": lambda item, copy_item: re.sub(r"<h4*[^>]+>(.*)</h4>", r"\t\1", copy_item), "h5": lambda item, copy_item: re.sub(r"<h5*[^>]+>(.*)</h5>", r"\t\1", copy_item), "h6": lambda item, copy_item: re.sub(r"<h6*[^>]+>(.*)</h6>", r"\t\1", copy_item), }

Смотри какая красота

Зато регулярки знаешь неплохо)

Ага

TAGS = { "time": lambda item, copy_item: re.sub(r"<time*[^>]+>(.*)</time>", r"\t\1", copy_item), "strong": lambda item, copy_item: re.sub(r"<strong*[^>]+>(.*)</strong>", r"\t\1", copy_item), "br": lambda item, copy_item: copy_item.replace("<br>", "\n").replace("<br/>", "\n"), "a": lambda item, copy_item: re.sub(r'<a href="([^\"]*)" [^>]+>([^</a>]+)</a>', r'\2[\1]', copy_item), "span": lambda item, copy_item: re.sub(r"<span*[^>]+>(.*)</span>", r"\1", copy_item), "i": lambda item, copy_item: re.sub(r"<i*[^>]+>(.*)</i>", r"\1", copy_item), "p": lambda item, copy_item: re.sub(r"<p*[^>]+>(.*)</p>", r"\t\1", copy_item), "em": lambda item, copy_item: re.sub(r"<em*[^>]+>(.*)</em>", r"\1", copy_item), "h1": lambda item, copy_item: re.sub(r"<h1*[^>]+>(.*)</h1>", r"\t\1", copy_item), "h2": lambda item, copy_item: re.sub(r"<h2*[^>]+>(.*)</h2>", r"\t\1", copy_item), "h3": lambda item, copy_item: re.sub(r"<h3*[^>]+>(.*)</h3>", r"\t\1", copy_item), "h4": lambda item, copy_item: re.sub(r"<h4*[^>]+>(.*)</h4>", r"\t\1", copy_item), "h5": lambda item, copy_item: re.sub(r"<h5*[^>]+>(.*)</h5>", r"\t\1", copy_item), "h6": lambda item, copy_item: re.sub(r"<h6*[^>]+>(.*)</h6>", r"\t\1", copy_item), }

Не надо так делать

Но спустя час я так и не решил проблему =(

Бери bs4 и парси всё им

Можно как-то ему мут выдать?

Бери bs4 и парси всё им

А почему не lxml?

А почему не lxml?

Потому что bs4 может под собой использовать разные парсеры, включая lxml

Еще один

Список объектов бля

Так ты либо текст из bs4object достаешь, либо преобразуешь этот объект в текст и кидаешь в re.sub

Кидаешь текст, редактируешь, сохраняешь. ??? Profit

А почему не lxml?

Да похуй же

?

А если будет 2 и более одинаковых WORD, то как мне явно указать, к какому из них принадлежит ссылка?

Bs4, регулярки - это способ парсить. А в чем хранить дальше данные - вообще к ним не относится. Ты так же можешь вытащить регуляркой или через бс4 данные, а потом их проебать. А можешь вытащить любым способом, а потом нормально в памяти сохранить

Bs4, регулярки - это способ парсить. А в чем хранить дальше данные - вообще к ним не относится. Ты так же можешь вытащить регуляркой или через бс4 данные, а потом их проебать. А можешь вытащить любым способом, а потом нормально в памяти сохранить

Это к чему вообще?

Зачем вот это вот всё?

Есть прямой вопрос

К тому, что блин словарь с данными в памяти не имеет отношения к тому как ты для него данные достанешь

К тому, что блин словарь с данными в памяти не имеет отношения к тому как ты для него данные достанешь

Мне это вообще не нужно

Задача отформатировать html код

под задачу

В бс4 у тебя есть объект "нода". Допустм ссылка. У нее есть есть текст и адрес. Вытащил, сохранил куда-нибудь

А потом делай с ними что хочешь

Задача отформатировать html код

Ты только что говорил про парсинг

Я не говорил, что мне нужно парсить и хранить

отформатировать

И всё

Что значит "форматировать"?

Привести к заданному формату*

Ну текст хтмл поменять)

Не понятно. Тебе все таки надо расставить пробелы в коде, сохраним структуру. Поменять внешний вид страницы сохранив структуру кода. Или переделать нахрен структуру кода сохранив смысл?

Ок

ну че, давай еще раз

Я беру новостной сайт

Забираю с него по нужным мне блокам div инфу

И так к некоторым словам привязаны слова

тег <a>

Задача сохранить текст не теряя сайтов

А имеено

any text abra kadabra tut[URL]

Я могу сделать обычный str.replace

Так стоп

но если будет несколько слов tut, а ссылка привязана только к одному из них, то уже ошибка

но если будет несколько слов tut, а ссылка привязана только к одному из них, то уже ошибка

Это вообще к чему?

Так тебе блин распарсить сайт, вытащить из него инфу и сгенерить для нее новую страницу надо или все таки просто расставить пробелы в коде?

Так тебе блин распарсить сайт, вытащить из него инфу и сгенерить для нее новую страницу надо или все таки просто расставить пробелы в коде?

Сохранить текст статьи новостного сайта, без рекламы и всякой шляпы

Просто основной текст статьи

С сохранением ссылок

и сохранить в файл

но если будет несколько слов tut, а ссылка привязана только к одному из них, то уже ошибка

Парсер находит тег, в теге слово и ссылка. Ты берешь извлекаешь и вяжешь

Найди блок, в котором лежит основной текст и бери его

Просто основной текст статьи

<a href='/index.php'><span>что-то</span><br/><strong>qwrtt</strong></a> Вот во что это должно распарситься?

Простите переформатироваться

<a href='/index.php'><span>что-то</span><br/><strong>qwrtt</strong></a> Вот во что это должно распарситься?

что-то[http[s]://domain.com/index.php]

А куда дел qwrtt?

не заметил

<a href='/index.php'><span>что-то</span><br/><strong>qwrtt</strong></a> Вот во что это должно распарситься?

А так можно вообще?

Да без проблем вообще

И не только так

Ещё можно картинки в ссылки пихать

Предположу что так тогда что-то qwrtt[http[s]://domain.com/index.php]

К последнему слову вяжем ссылку

А "что-то" куда дел?

А "что-то" куда дел?

К последнему слову вяжем ссылку*