короче, я проверил. Прокси не подключаются. показывает мой айпи
Наличие HTTP3 проверил?
Null
👨💻
Пробуй просто оригинальный хром запускать а не не chromium. Но всеровно нужно закрыть кучу дыр где он говорит что ним управляют. Или покупать всякие сомнительные решения за 10к$
есть такая штука как управления над браузером вообще в целом. То есть все действия происходят грубо говоря поверх браузера. По этому принципу BAS вроде как сделан, но неточно. Я когда исходники смотрел, там чет такое проскальзывало
👨💻
только понять нужно, как это проверять вообще
ISergey
Не всё так плохо. Я в докере поднимаю xvfb, запускаю средствами самой ОС полноценный браузер в стандартном режиме. Скрипты коннектятся к браузеру и выполняют запросы. Такой браузер абсолютно такой же как в обычной десктопной версии Linux. И никаких проблем это не вызывает.
У такого браузера к примеру отрубана видеокарта. О чем известно, отсутствуют голоса перевода и так далее.
Но все зависит от задачи . Некоторым сайтам пофик на все )
Null
есть такая штука как управления над браузером вообще в целом. То есть все действия происходят грубо говоря поверх браузера. По этому принципу BAS вроде как сделан, но неточно. Я когда исходники смотрел, там чет такое проскальзывало
BAS работает скорей всего по тому же протоколу что и Puppeteer и Playwright. Это CDP протокол, ты можешь к нему напрямую подключиться и команды передавать.
Null
У такого браузера к примеру отрубана видеокарта. О чем известно, отсутствуют голоса перевода и так далее.
Но все зависит от задачи . Некоторым сайтам пофик на все )
Ну это понятно, это в любом случае точечно нужно обходить через подмену из JS. Универсального решения ещё ни у кого не видел.
👨💻
Null
Только у него излишне алармистский настрой и кликбейтное название. Но теорию объясняет нормально.
Null
это палится в первую очередь)
Если ты знаешь что конкретный сайт проверяет, то это элементарно подменяется. Скрипты подмены отрабатывают до любого запуска скрипта с сайта.
👨💻
Если ты знаешь что конкретный сайт проверяет, то это элементарно подменяется. Скрипты подмены отрабатывают до любого запуска скрипта с сайта.
ну во фронте плохо разбираюсь. Чисто так, дебагер запустить могу и подмену небольшую сделать, не более
ISergey
Если ты знаешь что конкретный сайт проверяет, то это элементарно подменяется. Скрипты подмены отрабатывают до любого запуска скрипта с сайта.
Проблема детектят сам факт подмены )
Null
Проблема детектят сам факт подмены )
Если я заранее знаю что они проверяют, то я подменю именно этот кусок. Если проверяют видеокарту, то я отдам то, что отдаёт реальный браузер. У них не остаётся варианта.
Такое можно обойти только если они выкатят новый код, в котором будет альтернативная проверка, обход которой у меня не реализован. Но для этого достаточно проверять хэш-сумму скриптов, и не запускать инстанс, если хэш изменился.
Null
Есть пример того, о чём вы говорите? Какой к примеру код для проверки вы считаете нельзя обойти?
👨💻
заходя на этот сайт два запроса всего
и оба
TLS 1.3, но показывает мой айпи
ISergey
Если я заранее знаю что они проверяют, то я подменю именно этот кусок. Если проверяют видеокарту, то я отдам то, что отдаёт реальный браузер. У них не остаётся варианта.
Такое можно обойти только если они выкатят новый код, в котором будет альтернативная проверка, обход которой у меня не реализован. Но для этого достаточно проверять хэш-сумму скриптов, и не запускать инстанс, если хэш изменился.
Я собрал свою версию браузера с нужными мне подменами на более низком уровне. В итоге в js ниче менять не нужно .
👨💻
Наличие HTTP3 проверил?
то есть можно сделать вывод, что данного протокола нет.
Проверял так
await page.setRequestInterception(true);
page.on('response', (response) => {
const securityDetails = response.securityDetails();
console.log(securityDetails!.protocol());
});
Null
Я собрал свою версию браузера с нужными мне подменами на более низком уровне. В итоге в js ниче менять не нужно .
Ну это круто конечно, я в плюсах не разбираюсь чтобы писать такое. Да и мне нравится что я из UI на уровне JS могу новые подмены делать :)
Null
заходя на этот сайт два запроса всего
и оба
TLS 1.3, но показывает мой айпи
Это ты версию TLS (шифрование) смотришь. А нужен протокол. Я посмотрел, у них HTTP2. Так что норм.
👨💻
Это ты версию TLS (шифрование) смотришь. А нужен протокол. Я посмотрел, у них HTTP2. Так что норм.
а ну да, tls это же шифровка обычная.. чет я перегрелся с самого утра уже сидеть
👨💻
в общем-то, не работает ваш прокси.. пойду в баги писать им. Печально конечно
Null
в общем-то, не работает ваш прокси.. пойду в баги писать им. Печально конечно
Не понимаю с чего ты решил что в прокси проблема. Судя по логам через прокси запрос шёл.
Ты в своём прокси можешь логи включить и посмотреть идут запросы или нет.
ISergey
Вод для тестов https://www.hyatt.com/
На сайт под управлением просто так не зайдешь . Там относительно не плохой антифрод .
Ну вот на этом сайте антифрод (kasada) вся магия у него в Нутри виртуальной машины (сходу понять что ни проверяют крайне сложно) строки кое-как достать можно, а вот девиртуалищировать их байт-код не тривиально .
Null
Или зайди из этого браузера на whoer.net и сделай скрин IP, который он видит.
Null
Ну вот на этом сайте антифрод (kasada) вся магия у него в Нутри виртуальной машины (сходу понять что ни проверяют крайне сложно) строки кое-как достать можно, а вот девиртуалищировать их байт-код не тривиально .
Понял, я кому-то недавно кидал статью про разбор VM тик-тока. Если найду, скину попозже. Может поможет.
Null
ISergey
Ток хотел скинуть )
Null
:)
ISergey
Из интересно эти товарищи при помощи console.clear детектили что открыт девтулс или к браузеру приконектились по сдп
👨💻
Или зайди из этого браузера на whoer.net и сделай скрин IP, который он видит.
мой айпи видит, чуть выше писал уже как раз об этом
👨💻
ISergey
А прокси сервер идет на другой upstream ?
Null
Из интересно эти товарищи при помощи console.clear детектили что открыт девтулс или к браузеру приконектились по сдп
Ну console.clear так же легко подменяется и проблема решена :)
👨💻
const proxyServer = httpProxy.createProxyServer({});
const server = http.createServer((req, res) => {
// For HTTP requests
proxyServer.web(req, res, {
target: `http://${req.headers.host}`,
changeOrigin: true,
secure: false // This depends on your SSL/TLS requirements
});
});
server.on('connect', (req, cltSocket, head) => {
// Listen to the `connect` event for HTTPS requests
const { port, hostname } = new URL(`http://${req.url}`);
const srvSocket = net.connect(+port || 443, hostname, () => {
cltSocket.write('HTTP/1.1 200 Connection Established\r\n' +
'Proxy-agent: Node.js-Proxy\r\n' +
'\r\n');
srvSocket.write(head);
srvSocket.pipe(cltSocket);
cltSocket.pipe(srvSocket);
});
srvSocket.on('error', (e) => {
console.error(`Proxy to ${hostname}:${port} error: ${e}`);
cltSocket.end();
});
});
server.listen(port, '0.0.0.0', () => {
console.log(`Proxy server listening on port ${port}`);
});
вот полностью мой тунель, который чисто перенаправлять должен
ISergey
Так это точно не работает ?
https://blog.apify.com/how-to-make-headless-chrome-and-puppeteer-use-a-proxy-server-with-authentication-249a21a79212/
Null
const proxyServer = httpProxy.createProxyServer({});
const server = http.createServer((req, res) => {
// For HTTP requests
proxyServer.web(req, res, {
target: `http://${req.headers.host}`,
changeOrigin: true,
secure: false // This depends on your SSL/TLS requirements
});
});
server.on('connect', (req, cltSocket, head) => {
// Listen to the `connect` event for HTTPS requests
const { port, hostname } = new URL(`http://${req.url}`);
const srvSocket = net.connect(+port || 443, hostname, () => {
cltSocket.write('HTTP/1.1 200 Connection Established\r\n' +
'Proxy-agent: Node.js-Proxy\r\n' +
'\r\n');
srvSocket.write(head);
srvSocket.pipe(cltSocket);
cltSocket.pipe(srvSocket);
});
srvSocket.on('error', (e) => {
console.error(`Proxy to ${hostname}:${port} error: ${e}`);
cltSocket.end();
});
});
server.listen(port, '0.0.0.0', () => {
console.log(`Proxy server listening on port ${port}`);
});
вот полностью мой тунель, который чисто перенаправлять должен
Так это только для http-запросов? А https он не будет проксировать же? Попробуй готовый прокси поднять, выше ссылку кидали.
ISergey
Ну console.clear так же легко подменяется и проблема решена :)
Это понятно , просто сам факт такого детекта был интересен ))
👨💻
👨💻
Null
Это понятно , просто сам факт такого детекта был интересен ))
Мне больше понравилось статья у Антуана Вастеля (из Datadome), он там разбирает способ, в котором скрипт сайта подменяет некоторые внутренние методы, такие как querySelector и другие и когда их вызывает кто-то из puppeteer, то он создаёт ошибку, берёт её стэк и видит там строчку "puppeteer". После такого внутренние методы вообще лучше не трогать, чтобы не спалиться. Либо находить такие проверки и вырезать их.
👨💻
в общем, стало только хуже после proxy-chain
Sasha
👨💻
хз, где тут накосячить можно было
const server = new ProxyChain.Server({
port: port,
host: 'localhost',
verbose: true,
prepareRequestFunction: ({ request, username, password, hostname, port, isHttp, connectionId }) => {
return {
requestAuthentication: false,
upstreamProxyUrl: fullProxy,
failMsg: 'Bad username or password, please try again.',
};
},
});
server.listen();
👨💻
ISergey
А сами прокси то работают ? Для теста возьми как-то еще прокси сервер . И его в качестве апстрима укажи. ( чтобы просто увидеть что оно побежало )
Null
👨💻
👨💻
запрос через curl работает
👨💻
а вот pupputer не грузит
Null
Обычный http-прокси без аутентификации, не должно быть никаких проблем с хромом.
👨💻
А ты точно из одного контейнера проверяешь?
из разных конетйнеров проверяю, в этом и суть проверки как раз
👨💻
parsebot-1 | ProxyServer[8080]: 3 | !!! Handling CONNECT example.com:443 HTTP/1.1
parsebot-1 | ProxyServer[8080]: 3 | Using upstream proxy http://UMLDs3SL:<redacted>@166.1.213.213:64130/
parsebot-1 | ProxyServer[8080]: 3 | Using HandlerTunnelChain => example.com:443
parsebot-1 | Connection 3 closed
parsebot-1 | {
parsebot-1 | srcTxBytes: 6032,
parsebot-1 | srcRxBytes: 1472,
parsebot-1 | trgTxBytes: 1494,
parsebot-1 | trgRxBytes: 6032
parsebot-1 | }
👨💻
это логи на curl -vvv --proxy http://parsebot:8080 https://example.com
и они отрабатывают и я получаю обратно страницу html
Null
из разных конетйнеров проверяю, в этом и суть проверки как раз
Так у тебя контейнер с хромом может не видеть ip прокси твоего. Из этого же контейнера проверь курлом что выдаст.
👨💻
Так у тебя контейнер с хромом может не видеть ip прокси твоего. Из этого же контейнера проверь курлом что выдаст.
команда работает абсолютно в любом контейнере, даже из под самого себя
👨💻
👨💻
но browserless браузер не хочет конектится
👨💻
ну я все еще склоняюсь, что это баг
Null
но browserless браузер не хочет конектится
Попробуй для начала из системы браузер запустить с этим прокси, чтобы убедиться что проблема не в хроме а в докере.
👨💻
Попробуй для начала из системы браузер запустить с этим прокси, чтобы убедиться что проблема не в хроме а в докере.
запускал. Ну тот, что хром тестинг, котоырй автоматом с пупетиром скачивается, все работает отлично
Null
запускал. Ну тот, что хром тестинг, котоырй автоматом с пупетиром скачивается, все работает отлично
Т.е. и хром и проксичейн в хостовой системе работают корректно?
👨💻
ну с прокси чейном не запускал, но абсолютно такая же логика работы была с http-proxy. через курл запросы шли, проходили на ура, а браузлесс пупетир не хотел идти
👨💻
👨💻
отставить. Не работает с такой же настройкой
👨💻
Ну вот, смотри что не так настроил в проксичейне.
ну так запросы он передает),
а пупетир отказывается. звучит как сказка
👨💻
ISergey
У тебя puppeteer connect .
ISergey
А браузер с какими аргументами запущен ?
👨💻
У тебя puppeteer connect .
нет
const browser = IS_PRODUCTION === 'production'
? await puppeteer.connect({
// browserWSEndpoint: `${process.env.BROWSERLESS_CHROME}?launch=${launchArgs}`
browserWSEndpoint: process.env.BROWSERLESS_CHROME + `?--proxy-server=${proxy}`,
})
: await puppeteer.launch(launcnOptions);
const launcnOptions = {
headless: false,
timeout: 99999999,
args: [
'--lang=de',
'--no-sandbox',
'--disable-setuid-sandbox',
`--proxy-server=${'http://localhost:8080'}`
]
}
Null
👨💻
где фришгные чекнуть можно ?