я тоже :)

Ты - нет

И за оптимизацию по задаче

нет, то, что ты выше написал - это преждевременная ненужная оптимизация

Сделаем пока говнецо которое js не обрабатывает, а потом если что докостылю

Это подход близорукий

ну что с тобой спорить

ты фанатик религиозный

В фантоме не надо ничего оптимизирвоать, там все есть в коробке

а вот ты будешь именно костылить под js

фантом сам по себе - тяжелая ненужная херня. Если тебе мало проблем при парсинге - тогда можно взять фантом и проблемы сразу появятся

Меня волнуют более серьезные вопросы, как сделать так, что бы система легко масштабировалась- закинул модуль и он вклинился в сеть исполнителей. что бы балансировщик правильно раздавал задачи по парсингу

на деле это всего лишь костыль для особо упоротых сайтов, которые без js парсить крайне сложно

И у меня уже есть все, что ты бы костылил потом

Это полноценный браузер

по дефолту он не нужен

В фантоме не надо ничего оптимизирвоать, там все есть в коробке

пфф. ты вообще помнишь ту проблему которую человек задал то?

Это полноценный браузер

именно

и поэтому это говно

пфф. ты вообще помнишь ту проблему которую человек задал то?

Речь идет уже не о том, что человек что-то задал

погоди, давай по порядку

советы он получил

Речь идет уже не о том, что человек что-то задал

то, что человек задал - одна из типичных проблем

и там фантом не нужен, скорее всего

вот его задачу чем бы ты решал

Я уже ответил, разве нет?

ну мне либо перечитывать over 500 сообщений либо тебе ответить)

ну мне либо перечитывать over 500 сообщений либо тебе ответить)

заюзай фантом, он за тебя перечитает

ну гипотетически предположу что ты сказал - фантом

и это блин жуткий оверхед по сравнению с предложенным Николаем Питоном

Я против недоинструмента. Сейчас 20% сайтов с динамикой. Если у тебя в задаче стоит серьезный сбор и бюджет ограничен у тебя/компании, то берешь фантом и строишь поверх него инфраструктуру. Если у тебя есть еще задача обрабатывать реально большие объемы данных, то пилишь на связке с++ + webkit перфомансный краулер как ворвер, а на java балансировщик. Логгер и прочее

Для простого сбора фантом тоже подойдет

банально потому что его решение будет в десятки раз быстрее и погрешность если и будет то мизерная.

10 строк кода

Я против недоинструмента. Сейчас 20% сайтов с динамикой. Если у тебя в задаче стоит серьезный сбор и бюджет ограничен у тебя/компании, то берешь фантом и строишь поверх него инфраструктуру. Если у тебя есть еще задача обрабатывать реально большие объемы данных, то пилишь на связке с++ + webkit перфомансный краулер как ворвер, а на java балансировщик. Логгер и прочее

ты оверинжиниришь на ровном месте

на питоне все БЫСТРО делается

Я против недоинструмента. Сейчас 20% сайтов с динамикой. Если у тебя в задаче стоит серьезный сбор и бюджет ограничен у тебя/компании, то берешь фантом и строишь поверх него инфраструктуру. Если у тебя есть еще задача обрабатывать реально большие объемы данных, то пилишь на связке с++ + webkit перфомансный краулер как ворвер, а на java балансировщик. Логгер и прочее

задача тупо выдать список доменов с prestashop

но и на фантоме тоже

реально быстро

я не про скорость написания, я про скорость работы

а питоне я думаю 5кк сайтов опросить пару часов

на фантоме сутки?

а результат один

опросить или спарсить?

Каких сайтов?

какая средняя латенси?

глубина проходки?

вспоминаем задачу, детект престашоп - опрос главной и поиск подстроки в результате

какая средняя латенси?

о, умные слова пошли. А говорил, фантом сам разберется со всем

Ну до тебя же туго доходит. тебе русским языком сказали с чем фантом разберется

и чего нет у тебя

А на мне другие задачи уже

Ну до тебя же туго доходит. тебе русским языком сказали с чем фантом разберется

я тебе объяснил, что ты смотришь на узкий круг задач

а ты хочешь фантом вообще для всего юзать

не надо так

В общем фантома 5к домашних страничек на среднем сервере соберет и за пол дня

несколько гигов информации, проблема тоже

несколько десятков гигов бы я сказа

100-200кб * на 5кк

в общем, я тебе так скажу, если тимлид увидит, что ты миллионы сайтов парсишь фантомом просто чтобы достать базовую инфу, то тебя уволят

несколько десятков гигов бы я сказа

пизжу

В общем проблемы нет пацаны сбора на фантоме

И разработка быстрая, и сбор быстрый

Память жрет, да, баги есть

в общем, я тебе так скажу, если тимлид увидит, что ты миллионы сайтов парсишь фантомом просто чтобы достать базовую инфу, то тебя уволят

и я с этим согласен. но с оговоркой - может чел только фантом знает?

Но изначально инстурмент универсальный

изначально всё универсальное

только вот под каждую задачу свой инструпент

в общем, я тебе так скажу, если тимлид увидит, что ты миллионы сайтов парсишь фантомом просто чтобы достать базовую инфу, то тебя уволят

Если адекватный тимлид, то в дурку сдадут еще )

JS и на php можно интерпретировать так то

и я с этим согласен. но с оговоркой - может чел только фантом знает?

тогда зачем его наняли на такую работу?

какую?

в общем, я тебе так скажу, если тимлид увидит, что ты миллионы сайтов парсишь фантомом просто чтобы достать базовую инфу, то тебя уволят

" Если у тебя есть еще задача обрабатывать реально большие объемы данных, то пилишь на связке с++ + webkit перфомансный краулер как ворвер, а на java балансировщик. Логгер и прочее"(.c)

кто то читает плохо

Alex у тебя проф деформация - ты парсишь то где js нужен и теперь считаешь что везде js нужен

но это не так

Alex у тебя проф деформация - ты парсишь то где js нужен и теперь считаешь что везде js нужен

Я собираю данные везде, не только там где нужен js

" Если у тебя есть еще задача обрабатывать реально большие объемы данных, то пилишь на связке с++ + webkit перфомансный краулер как ворвер, а на java балансировщик. Логгер и прочее"(.c)

за вебкит на реально большиъ объемах данных тебя в дурку пожизненно упекут )

с диагнозом "слабоумие"

какую?

парсить сайты пачками

там да

в любой форме, не имеет значение это фантом или вебкит как библиотека

а если просто чуваку спросили - а давайте узнаем все сайты с престашоп

а в конторе только фантом юзают

как ни странно там даже питон лучше будет работать

чем плюсы с китом

в любой форме, не имеет значение это фантом или вебкит как библиотека

а ты много проработал или так, теория с коленки?)

а ты много проработал или так, теория с коленки?)

Достаточно чтобы понимать что вебкит там не нужен

а ты много проработал или так, теория с коленки?)

можешь погуглить мой линкедин и угадать откуда опыт

там все довольно очевидно

можешь погуглить мой линкедин и угадать откуда опыт

не могу, ресурс заблокировали, а я законы чту

не могу, ресурс заблокировали, а я законы чту

патриот?

можешь погуглить мой линкедин и угадать откуда опыт

Но я с тобой согласен, реально не то ляпнул. Корректнее было бы сказать v8 + c++

ты понимаешь, что если работодатель не находит тебя на линкедине, то ты профнепригоден? это первый тест на работу в IT - настроить vpn/прокси

я утрирую, конечно, но тенденция такая

ты понимаешь, что если работодатель не находит тебя на линкедине, то ты профнепригоден? это первый тест на работу в IT - настроить vpn/прокси

Мы свой прокс пишем

Alex ок, скажем так у меня был опыт работы в области где нужно было спарсить миллионы сайтов как можно быстрее.

ты понимаешь, что если работодатель не находит тебя на линкедине, то ты профнепригоден? это первый тест на работу в IT - настроить vpn/прокси

ты утрируешь, а я прикалываюсь