как будто это сложно

на плюсы знаешь хоть? Протоколы с скеки знаешь отлично? Или может реализовал реально крутой инструмент?

как будто это сложно

прежде чем выводы делать надо тему понимать

прежде чем выводы делать надо тему понимать

ты уже выше показал, насколько ты ее понимаешь. И да, я по работе тоже парсил миллионы сайтов

ты уже выше показал, насколько ты ее понимаешь. И да, я по работе тоже парсил миллионы сайтов

Что ты несешь? Я тебе сказал что ребята у нас разрабатывают прокс под нашу задачу. Ты сказал что это легко

ты уже выше показал, насколько ты ее понимаешь. И да, я по работе тоже парсил миллионы сайтов

добавь миллиарды, не поверю)

Что ты несешь? Я тебе сказал что ребята у нас разрабатывают прокс под нашу задачу. Ты сказал что это легко

на js пишут, небось?

добавь миллиарды, не поверю)

я работаю в конторе, которая ответственна за 30% мирового DNS-трафика. Расскажи мне про свои объемы

Тебе 20 раз написал что кресты и epoll

Для определения cms бывает необходимо проверить переменные в window. Это справедливо, также, и для prestashop

на js пишут, небось?

на фантом джи эс ?

Тебе 20 раз написал что кресты и epoll

ну хоть тут есть мозг

наверное

читай хоть тем местом, что с того что ты где то работаешь?) Я вижу что ты кроме пистона вряд ли что-то знаешь

Уж про знание сетевого стека молчу

читай хоть тем местом, что с того что ты где то работаешь?) Я вижу что ты кроме пистона вряд ли что-то знаешь

я вижу, что ты кроме js вряд ли что-то знаешь серьезно. А про сетевой стек я статьи писал

о, я понял, откуда у Алекса полно времени на то, чтобы сраться в чате

я вижу, что ты кроме js вряд ли что-то знаешь серьезно. А про сетевой стек я статьи писал

где, для школьного конкурса?)

он запустил фантом и ждет, пока тот допарсит

я вижу, что ты кроме js вряд ли что-то знаешь серьезно. А про сетевой стек я статьи писал

Покажи мне хоть одну свою статью, балабол ты теоретик

прям сюда кидай и не будь балаболом

что теоретик - то правда

Не мог пропустить такой срач

jvm-срач был теоретический, предложения померять отвергались с негодованием

но это же не повод опять устраивать содомию

jvm-срач был теоретический, предложения померять отвергались с негодованием

jvm-срач был фундаментальный, и бенчмарки в нем не играли никакой роли

jvm-срач был теоретический, предложения померять отвергались с негодованием

я в какой-то момент вбросил сюда дебиановский benchmarkgame

вполне себе ок для "померять"

jvm-срач был фундаментальный, и бенчмарки в нем не играли никакой роли

коллега, никто не спорит. особенно с фундаменталистами

Не хорошо обсерать работу других. Я считаю что прокс написать - не веб сервер, но все равно требует глубоко понимания сетевого стека, особенно если все правильно реализоват по рфсшки. Если для тебя это легко- покажи мне свой чудо инстурмент или статью

по сетевым технологиям

Не хорошо обсерать работу других. Я считаю что прокс написать - не веб сервер, но все равно требует глубоко понимания сетевого стека, особенно если все правильно реализоват по рфсшки. Если для тебя это легко- покажи мне свой чудо инстурмент или статью

я не спорю, что это требует знаний

раз ты их пишешь

Ну вот я прошу тебе показать статью, ты же сказал что писал их

но судя по тому, насколько ты активно пытаешься впилить js везде - со знаниями у тебя проблемы

У вебкита в парсинге всего один кейс, когда обходят защиту сайта, крайне разнообразного в плане механизмов защиты и проверки от эмуляции.

У фантома (господи помилуй) таких кейсов вообще нет)

Ну вот я прошу тебе показать статью, ты же сказал что писал их

одна из низкоуровневых - https://habrahabr.ru/post/142816/

но судя по тому, насколько ты активно пытаешься впилить js везде - со знаниями у тебя проблемы

Я вообще не заметил что я куда то впиливаю js. вот что забавно

Я вообще не заметил что я куда то впиливаю js. вот что забавно

а, то есть ты не парсишь все подряд на фантоме?

одна из низкоуровневых - https://habrahabr.ru/post/142816/

понятно, высокоуровневый питошка. Ну ок, что то да писал,хоть как то за слова ответил

понятно, высокоуровневый питошка. Ну ок, что то да писал,хоть как то за слова ответил

статью не читай, сразу пиши хуйню

статью не читай, сразу пиши хуйню

ок, прочту, вижу что не только питон

а, то есть ты не парсишь все подряд на фантоме?

А мне что? Парсить что-то на скрапи, а что то на фантоме?)) А может что то вообще нативщиной крестовой?) Ну реально смешно

одна из низкоуровневых - https://habrahabr.ru/post/142816/

MTU здесь проще всего поставить равным 1500 — это определенный стандартом максимальный размер пакета в сетях Ethernet. OMG

А мне что? Парсить что-то на скрапи, а что то на фантоме?)) А может что то вообще нативщиной крестовой?) Ну реально смешно

ну вообще да

MTU здесь проще всего поставить равным 1500 — это определенный стандартом максимальный размер пакета в сетях Ethernet. OMG

слушай, ну это пять лет назад было, я маленький был еще :)

Я не развожу лапшекод на работе, решение под задачи и я их решаю

А мне что? Парсить что-то на скрапи, а что то на фантоме?)) А может что то вообще нативщиной крестовой?) Ну реально смешно

Даже выбрав headless для парсинга, фантом — далеко не лучший вариант сейчас

Я не развожу лапшекод на работе, решение под задачи и я их решаю

ты либо решаешь задачу, либо пихаешь везде фантом

ты либо решаешь задачу, либо пихаешь везде фантом

я уже сказал где бы не стал его использовать

я уже сказал где бы не стал его использовать

ну, это неправильный ответ

правильный ответ - почти нигде

слушай, ну это пять лет назад было, я маленький был еще :)

ок, договорились. но градус апломба я бы на твоем месте снизил (я и снизил на своем)

Это для тебя я везде сую JS и фантом. А по факту это решение оптимальное для большинства типовых задач.

Фантом — это боль и ненависть

А не оптимальное решение

ок, договорились. но градус апломба я бы на твоем месте снизил (я и снизил на своем)

ну, у меня свежие статьи все вокруг питона и асинхронщины, но человек просил что-то понизкоуровней

Фантом — это боль и ненависть

доводы кроме производительности какие?

Фантом — это боль и ненависть

именно интересно с чем возникла боль?

доводы кроме производительности какие?

Пофигу на производительность, у тебя руки не болят от методов работы с ним?)

Всё устраивает?) Типа так и надо?)

Пофигу на производительность, у тебя руки не болят от методов работы с ним?)

Нет, у меня шаблоны есть и апи. Написал шаблон и я даже уже не помню когда обращался к api фантома. Все работает автоматизированно

не понимаю где там боль

Ну тут да, если его не трогать то естественно ничего не болит

Но после nightmare на фантомовские скрипты вообще смотреть не хочется

Схема работает уже пол года почти, проблемой были только пара багов

хотя фантом не идеален, уже говорил не раз. Баги есть, память течет если не знать как его готовить

Но удобен имхо все равно

ок, договорились. но градус апломба я бы на твоем месте снизил (я и снизил на своем)

когда я вижу, что человек не разбирается в теме - я оставляю за собой право так ему об этом и сказать

Ну тут да, если его не трогать то естественно ничего не болит

Мне важно тащить все данные. в том чилсе и js подгрузкой. Т.е не поверхостный обход нужен. посоветуй инструмент лучше если знаешь, потыкаю его

Просматривать часам заголовки на ajax евенты нет желания. Т.е интересует инстурмент что бы нормально обратабыват сам логику. потому что я тысячи сайтов не промониторю)

Мне важно тащить все данные. в том чилсе и js подгрузкой. Т.е не поверхостный обход нужен. посоветуй инструмент лучше если знаешь, потыкаю его

Я же уже написал выше, nightmare. Адекватный fluent api, нормальный браузер под капотом, а не вебкит курильщика, и управление без цирковых номеров с пробросом данных внутрь фантома async / await для подгрузки твоих данных, между прочим тоже))

когда я вижу, что человек не разбирается в теме - я оставляю за собой право так ему об этом и сказать

ну ты же понимаешь, что за косяк с MTU тебя тут можно в блин раскатать и сверху попрыгать? что за "определенный стандартом" ярлык "не разбирается в теме" можно пришить к тебе суровой ниткой? вообще, чем непримиримее боец, тем, обычно, меньше у него знаний по теме. Данинг он такой Крюгер...

Проще говоря, это фантом, сделанный по человечески

ну ты же понимаешь, что за косяк с MTU тебя тут можно в блин раскатать и сверху попрыгать? что за "определенный стандартом" ярлык "не разбирается в теме" можно пришить к тебе суровой ниткой? вообще, чем непримиримее боец, тем, обычно, меньше у него знаний по теме. Данинг он такой Крюгер...

на основании статьи пятилетней давности? ну-ну

на основании статьи пятилетней давности? ну-ну

ну, хорошо. с высоты сегодняшних знаний можешь переписать тот абзац корректно?

ну, хорошо. с высоты сегодняшних знаний можешь переписать тот абзац корректно?

там не так однозначно все будет, это надо расписывать подробно

есть ли тегирование в сети и все такое

плюс - там вообще не совсем корректно говорить об MTU, это просто размер буфера

есть ли тегирование в сети и все такое

omg

omg

что omg?

при чем тут тегирование?

Спасибо, полезная инфа. Что касается асинк методов, то и в фантоме проблемым нет обернуть шашлон генератором и через yield работать

Проще говоря, это фантом, сделанный по человечески

при чем тут тегирование?

а ты не в курсе, что длина кадра ethernet зависит от наличия в сети VLAN-трафика?

а ты не в курсе, что длина кадра ethernet зависит от наличия в сети VLAN-трафика?

кхе-кхе.

да вообще пиздец

воинствующее невежество

и что 802.1q добавляет 4 байта в конец

да где пиздец, ну поправь, если не согласен

Скоро будет tcp зависить от http ребята)

я просто с этим работал в свое время

не думаю

Скоро будет tcp зависить от http ребята)

и ты тоже не знаешь, как VLAN работает, да?

не думаю

оно и заметно

поправь

Я вообще кушаю