Причем тут favicon ? он то тут каким боком ? один запрос fetch может быть корректным когда браузер с головой и не корректным когда без головы

В headless не отправляются заголовки sec-ch-ua и sec-ch-ua-mobile и не делается запрос favicon. В более сложных случаях может быть ещё больше отличий. Так что делай дамп заголовков и сравнивай. Других вариантов не вижу. 🤷🏻‍♂️

Как сделать дамп ?

page.on("request", (req) => { console.log(`[request] ${req.url()}\n${JSON.stringify(req.headers())}\n\n`); }); page.on("response", (res) => { console.log(`[response] ${res.url()}\n${JSON.stringify(res.headers())}\n\n`); }); page.on("requestfailed", (req) => { console.log(`[requestfailed] ${req.url()}\n${JSON.stringify(req.headers())}\n\n`); });

good { "sec-ch-ua":"\" Not A;Brand\";v=\"99\", \"Chromium\";v=\"92\"", "accept":"application/json", "referer":"https://exapmle.com/", "accept-language":"ru-RU,ru;q=0.9,en-US;q=0.8,en;q=0.7", "sec-ch-ua-mobile":"?0", "user-agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4512.0 Safari/537.36" } bad { "sec-ch-ua":"", "accept":"application/json", "referer":"https://example.com/", "accept-language":"ru-RU,ru;q=0.9,en-US;q=0.8,en;q=0.7", "sec-ch-ua-mobile":"?0", "user-agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/537.36 (KHTML, like Gecko) HeadlessChrome/92.0.4512.0 Safari/537.36" }

> HeadlessChrome Ты даже юзерагента не поменял. Начни с этого. )

Не заметил)

Да у меня нет запроса к favicon но как это вообще связанно между собой ?

Я могу теперь просто в postman загнать заголовки ?

@shad0w64 слушай, а как может быть такое, я выяснил все заголовки которые необходимы, через puppeteer теперь все работает, но не работает обычным запросом node js

Им достаточно чтоб не блочить

const https = require('https'); process.env.NODE_TLS_REJECT_UNAUTHORIZED = '0'; const httpsAgent = new https.Agent({ rejectUnauthorized: false }); const options = { 'method': 'POST', 'hostname': 'web2.temp-mail.org', 'port': 443, 'path': '/mailbox', 'headers': { 'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/537.36' }, httpsAgent }; const req = https.request(options, (res) => { console.log('statusCode:', res.statusCode); console.log('headers:', res.headers); res.on('data', (d) => { process.stdout.write(d); }); }); req.on('error', (e) => { console.error(e); }); req.end();

Попробуй все заголовки передай.

const https = require('https'); process.env.NODE_TLS_REJECT_UNAUTHORIZED = '0'; const httpsAgent = new https.Agent({ rejectUnauthorized: false }); const options = { 'method': 'POST', 'hostname': 'web2.temp-mail.org', 'port': 443, 'path': '/mailbox', 'headers': { 'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/537.36' }, httpsAgent }; const req = https.request(options, (res) => { console.log('statusCode:', res.statusCode); console.log('headers:', res.headers); res.on('data', (d) => { process.stdout.write(d); }); }); req.on('error', (e) => { console.error(e); }); req.end();

Постману достаточно user-agent

Есть подозрения что все дело в этом

А реальные отправляемые заголовки ты можешь посмотреть? Или он от себя ничего не добавляет? (Я не пользовался постманом.)

Вряд ли они из-за версии будут блокировать.

Он от себя только убирает

Я вот даже на картинке вижу возле заголовков цифру 8. И снизу подпись что 7 заголовков скрыты.

В браузере я подчищаю все заголовки и работает

Такие как записывать ?

Ответ тот же

Да там что-то с tls