закомменченые места не работают

А где тут обработка 25 урлов?

ну весь код в 250 строк

мне че все кидать

проблема в этой части

Какая проблема? Я уже забыл :)

Ну если мы грим про обработку 25 урлов, то проблема явно не в этой части.

А в том, как именно ты распараллелил обработку этих урлов.

в обработке их и не было проблемы

Ну ок :D

видишь код?

Вижу

Но хочу развидеть :D

Ща напишу, как бы это на Grab выглядело

не надо

Да, я уже тоже решил не постить, стока же кода получается.

Но юзать сначала urllib.request, а потом requests это как-то странно

Но юзать сначала urllib.request, а потом requests это как-то странно

потому что через первый фото не открывается

редиректит на заглушку

https://dumpz.org/2699264/ как-то так

Ну дык и юзай везде requests, зачем ты миксуешь разные либы.

почему magnet = html.xpath('//*[@id="tor-hash"]')

выводит всю страницу

оно не может выводить всю страницу, это операция присваивания переменной

не

бля

это понятно

почему в магнет вся страница

там не может быть всей страницы, там ваще список у тебя должен быть :)

т.к. xpath список возвращает

Илил что такое html?

ElementTree?

выводит всю страницу

Наверное не прально ищешь ид.

Я думаю, он там что-то жёстко перепутал т.к. xpath список возвращает, плюс такой xpath не может вернуть "всю страницу", что бы это ни значило

уже не вся страница а []

А cpan не нуно указывать? Я прост по памяти, уже и не помню.

о а что ты делаешь?

Парсит страницу.

На самом деле проще один раз распарсить все страницы рутрекера и потом подпарсивать по необходимости. Бот будет работать моментально -)

уже не вся страница а []

А ты досих пор еще с этим ботом паришься

А ты досих пор еще с этим ботом паришься

я его пытаюсь переписать

а то он умер

я его пытаюсь переписать

Ох лучше б ты бухал

я не понимаю почему переменная обнуляется

Она не обнуляется, ты не так ищешь, и она не находит.

Она не обнуляется, ты не так ищешь, и она не находит.

через консоль хрома все находится

Не верь хрому.

Ща гляну, в старом коде как искал...

my $nb = $tree->findnodes("/html/body//div[\@class=\"text\"]");

my $nb = $tree->findnodes("/html/body//div[\@class=\"text\"]");

это что за язык?

Великий и могучий Perl.

Но это тоже через XPath

?

Это какой-то люто бессмысленный xpath

Можно проще ;) findnodes("//div[@class=\"text\"]")

Наверное можно и так, старый код, до сих пор работает, а что работает лучше не трогать.

(Hard Rock) [MC] [24/88.2] AC/DC - Dirty Deeds Done Dirt Cheap - 1976, WavPack (image+.cue)​ Категория: Зарубежная рок-музыка (оцифровки) Размер: 822.2 MB []

?

Herokuapp

Bggg

?

ERROR: S client not available

Herokuapp

ой еще домен покупать

идите вы

либо нет?

ой еще домен покупать

Бесплатный гитхаба :^)

Бесплатный гитхаба :^)

зачем, если в хероку и так есть

любители костылей(

Можно проще ;) findnodes("//div[@class=\"text\"]")

Не, так не буит работать.

Будет

Ну или у тебя там XPATH движок кривой

Я в переле не шарю

my $tree = HTML::TreeBuilder::XPath->new; my $ua = LWP::UserAgent->new; my $page = $ua->get("$key")->decoded_content; $tree->parse($page); my $nb = $tree->findnodes("/html/body//div[\@class=\"text\"]"); $text = $nb->[0]->as_HTML("<>&"); $text =~ s/<.*?>/ /gi;

Шикарно, да

Зачем ты @ экранируешь?

Или в перле строки компилируются?

Потому что perl.

Ну типа, если бы не заэкранировал, то он попытался бы подставить значение переменной @class, так?

Вернее это массив, насколько я помню

$ @ % спецсимволы

Ну так внутри строки же

Да, вижу, беда, если не экранировать.

Плин, просто поверь, например что-бы выдать имя бота @BotName в коде, нуно экранировать \@BotName ибо perl выдаст ошибку, что такого массива нет.

Ну дык я верю, я выше тебя это и спрашивал -)

Я же тебе говорил, попробуй span в путь добавить.

* включает в себя span, если шо

ну хз тада...

да че ж все так трудно то

да че ж все так трудно то

?

запарсить страницу

парсил через bs4

сказали что на lxml проще

перешел и ничо не работает

XPath доку то почитай, да и вообще всегда читай доку, плюс исходники либ.