Phantomjs headless это во-первых. Во вторых selenium умеет тот же хром

В третьих это универсально

Я без этих штуковин прекрасно все парсил, не нужно. Если вместо тяжелого дом парсера юзать регекспы - то плюсик к опыту регекспов и скорость вырастет в разы, и память соответственно

Ну вот такие, например. Это код треда, вызывающего произвольную фигню. Менеджер где-то рядом болтается.

парсинг понятее растижимое, как вы например javascript эвенты хендлили? подозреваю никак

Ах да, тут истинная многопоточность, и треды не блокируют ))) Менагер тупо проходит циклом по списку занятых тредов и если от них что-то пришло - выдаёт это например в табличку.

парсинг понятее растижимое, как вы например javascript эвенты хендлили? подозреваю никак

А кто сказал что это нужно?

да я уже понял уровень вашей аргументации

да я уже понял уровень вашей аргументации

Ладно, задам вопрос иначе. Кто сказал что это нужно в данной конкретной задаче?

никто не говорил что за задача :)

вы не описали условия задачи

никто не говорил что за задача :)

"Парсинг сайтов" Где написано про "хендлинг js"?

короче, я из этой беседы сольюсь, простите

короче, я из этой беседы сольюсь, простите

Для хендлинга и прочей фигни есть тот же headless chrome, который гарантированно хорошо работает, потому что это хром, который выдаёт дамп полностью сформированной странички % )

Snusmumrik, а можно тогда ещё скрин самого парсера? Где циклом в функцию кладутся урлы и колбеки

крута чо

Snusmumrik, а можно тогда ещё скрин самого парсера? Где циклом в функцию кладутся урлы и колбеки

Конкретно эта фигня - для чутка другой задачи, я не грузил её урлами : )

какой то луа головного мозга

какой то луа головного мозга

Ты одновременно прав и не прав, это забавно. Ну, пофигу же чем, на самом деле. Нода не умеет работать браузером, и не создаёт DOM для того чтобы нормально хендлить весь JS, который может ajax'ами дополнять страничку. Так зачем морочиться, когда здоровенная часть фигни уже есть на луях (лично у меня, например)?

да вы тут не первый

такой

Snusmumrik, а можно тогда ещё скрин самого парсера? Где циклом в функцию кладутся урлы и колбеки

Ок, boot.lua запускает main.lua, который запускает script.lua. Эта фиговина связывается с нодой по hemera nats. https://drive.google.com/drive/folders/0B5jgIFA1a21rYzROOE9ONFAzS28?usp=sharing

с этим диагнозом

потому что там несколько строчек и вот тебе все плюшки, в луа непонятно как оно работать вообще будет

кто-то вон выше хотел MTA писать

потому что там несколько строчек и вот тебе все плюшки, в луа непонятно как оно работать вообще будет

Как напишешь - так и будет : )

с нодой есть один файл и все

он и запускается, и все, просто же

с нодой есть один файл и все

А DOM? Допустим, на сайте - капча. Капча подгружается из обфусцированного сгенерированного js, которая модифицирует DOM. Что сделает нода в этом случае? А будет ли js обрабатывать на нескольких процессорах?

А DOM? Допустим, на сайте - капча. Капча подгружается из обфусцированного сгенерированного js, которая модифицирует DOM. Что сделает нода в этом случае? А будет ли js обрабатывать на нескольких процессорах?

я как раз это делаю сейчас, с капчей

жду пока она подгрузится получаю координаты элемента на странице делаю скриншот, вырезаю со скриншота по координатам капчу

жду пока она подгрузится получаю координаты элемента на странице делаю скриншот, вырезаю со скриншота по координатам капчу

А если она не грузится? Если поле url капчи пустое, и заполняется после получения какого-то такого скрипта?

Selenium, phantimjs

последний мёртв. Первый, возможно, тоже.

жду пока она подгрузится получаю координаты элемента на странице делаю скриншот, вырезаю со скриншота по координатам капчу

Причём автоматически: эта обфусцированная лабуда сама знает в какую часть документа пихнуть только что сгенерированную ей же ссылку на капчу.

А если она не грузится? Если поле url капчи пустое, и заполняется после получения какого-то такого скрипта?

еще раз, дожидаюсь пока она полностью загрузится с помощью js def wait_for_image_isload(driver, element): start_time = time.time() while time.time() < start_time + 5: if driver.execute_script("elem = document.getElementById('{}'); return (typeof elem.naturalWidth!=\"undefined\" && elem.naturalWidth>0)".format(element.get_attribute('id'))) == True: return True else: time.sleep(0.1) raise Exception( 'Timeout waiting for {}'.format(condition_function.__name__) )жду что она появилась в доме

осечек это не давало

около 2к проходов, как бы она медленно не грузилась

Во-о-о-от. Только твой способ медленный как незнамо что. У тебя есть временнЫе лимиты? У меня - минута на полный парсинг, включая разгадывание капчи.

у меня 18 секунд лимит

ты вообще о чем

если за 18 секунд не успел - смена капчи

ты вообще о чем

Ты же драйвер используешь. Драйвер постоянно висит? Он не закрывается? А если тебе нужно обработать сотню страничек одним приложением за минуту? Хм. Я просто тут как раз подрубаю многопоточность и постоянно висящий сервисом headless chrome, который формирует уже полностью конечную страничку и выдаёт её текстом.

а в чем проблема? у меня есть пулл машин, там запущены webdriver которые я использую

webdriver позволяет сменить драйвер на phantomjs, он headless

короче, что я тебе поясняю бггг

прицел сбился

Хех, ладно : ) У меня нет пула машин, зато есть один маленький скрипт который за минуту должен обработать кучу всего. Phantom боюсь что глючный.

вас как отпусит, так и приходите

вас как отпусит, так и приходите

Бебебе :P

я боюсь, что вам нужно выйти из мира lua, и использовать его только как встраевамый язык, либо на openwrt

а на openwrt он не встраиваемый?

бггг куда?

в веб-сервер

uhttpd

да, я его использую для парсинга xml например, т.к. других языков на мой openwrt не поставишь, слишком маленький

объем памяти

ну и uci (не путать с luci) тоже не целиком на lua

lua - это единственный ЯП который мне подошел для парсинга xml на openwrt. (не считая говноскриптов на баше)

железка tpl842nd если что, там реально мало памяти

NodeMCU

Что за неламповая херня в чатике?

вот где мало памяти

:)

NodeMCU

прекольная вещь

я боюсь, что вам нужно выйти из мира lua, и использовать его только как встраевамый язык, либо на openwrt

Я боюсь, что мне нужно делать то что мне нравится, например, писать крупные серверные приложения на луа, потому что оно быстрее в разработке и/или исполнении чем ноды/жавы/с++ : ) А то что удобно писать на петоне - я пишу на петоне. А то что можно написать только на сишке, я пишу на сишке и пробрасываю биндинг в луа.

Что за неламповая херня в чатике?

Да тут товарищ, в чате про луа, наполненном маниакальными помешанными на луа чуваками, говорит что луа годится только для openwrt/встраиваемость ))

это все очень хорошо, если бы я не работал в конторе которая терминировала 80k/s зачем вы мне это все рассказываете в целом?

это все очень хорошо, если бы я не работал в конторе которая терминировала 80k/s зачем вы мне это все рассказываете в целом?

Чего-чего? Терминировать 80к/с?

80 тысяч запросов в секунду http

да хрен с ним, парсите страницы на луа бггг

что я в самом деле :)

я ж говорю, тут уже собирались MTA писать на луа :)

80 тысяч запросов в секунду http

А, это без проблем. Я писал луа-сервис который обрабатывает 3млн UDP-запросов в секунду на core i5, на сервере - больше, а TCP раза в три медленнее.

3млн UDP? это что dns что ле ? :)

короче, ладно, я еще раз сольюсь

lua 3млн запросов в секунду бггг udp

3млн UDP? это что dns что ле ? :)

Логи. Куча машин шлёт бешеное количество логирующих сообщений.

syslog?

Все, абсолютно все логи всего предприятия принимаются одним скриптиком и пишутся в базу.