Yuf
есть кто ?: может кто помочь
Yuf
Yuf
Yuf
https://pastebin.com/889FvQGf
Alhimik
Alhimik
Sasha
Народ. Как можно убавить колличество сессий которые генерит пупитер. Точнее хром. Он валит тср чессиями через прокси
Alhimik
Народ. Как можно убавить колличество сессий которые генерит пупитер. Точнее хром. Он валит тср чессиями через прокси
Думаю что это нельзя убавить. Первый раз слышу о таком. Почему это является проблемой?
Sasha
Думаю что это нельзя убавить. Первый раз слышу о таком. Почему это является проблемой?
Мобильные прокси умирают . Входящий инет лимитируется по конектам . 1000 соеденений
Sasha
Грубо говоря 50 потоков и баста
🦋noteee
Alhimik
Alhimik
Нет, точно так же - файл пустой.ю
Ну так это с бэкэндом нужно разбираться тогда или на фронте заголовки некорректные установлены.
🦋noteee
Ну так это с бэкэндом нужно разбираться тогда или на фронте заголовки некорректные установлены.
Так я когда загружаю со своего браузера - все загружается прекрасно
Alhimik
Так я когда загружаю со своего браузера - все загружается прекрасно
Так я же выше спросил про ручную загрузку.
🦋noteee
Так я же выше спросил про ручную загрузку.
Если вручную загружать со своего браузера. Например - яндекс, то все в порядке.
Если запустить поппитер и вручную загрузить через него - проблема точно такая же
Alhimik
Покажи более полную инфу. Как выглядит страница (форма для выбора файла), как выглядит код загрузки в puppeteer, если есть такая возможность.
🦋noteee
https://www.tiktok.com/upload?lang=ru-RU
🦋noteee
🦋noteee
Покажи более полную инфу. Как выглядит страница (форма для выбора файла), как выглядит код загрузки в puppeteer, если есть такая возможность.
Я могу отправить тебе код полностью?
🦋noteee
https://pastebin.com/nHh47y5w
🦋noteee
к скрипту прилагается. Что бы ты просто запустил и сразу все работало, без ввода логина и пароля в тиктоке
🦋noteee
На пастебин кидай, а сюда ссылку.
Я как понимаю вы создатель этой библиотеки или просто создатель чата?
🦋noteee
А что такие длинные селекторы? )
Я нажимал ПКМ - Copy - Copy Selector. По другому я не умею, но вот так оно работает, кликает в нужное место
🦋noteee
Вы посмотрели что там с загрузкой видео?
Alhimik
Вы посмотрели что там с загрузкой видео?
Пока нет возможности запустить и проверить, код посмотрел. А там видео загружается сразу как выбираешь его?
🦋noteee
Пока нет возможности запустить и проверить, код посмотрел. А там видео загружается сразу как выбираешь его?
Да. Начинается загрузка сразу. Если выбрать большой файл - загрузка идет долго, как будто все нормально. От скорости интернета уже зависит. А после загрузки - размер видео становится 1 секунду, оно не запускается и черное первью. Медифайл отсутствует просто
🦋noteee
Такая проблема и на других сайтах, не только с тиктоком
🦋noteee
Я пробовал ее решить всю ночь. Так и не смог. Она начала появляться ещё с версии 2.0.0
Alhimik
Такая проблема и на других сайтах, не только с тиктоком
Не знаю, не видел такой проблемы (ни на каких версиях). Буквально вчера загружал файл. Позже проверю.
Alhimik
Я пробовал ее решить всю ночь. Так и не смог. Она начала появляться ещё с версии 2.0.0
Действительно, не грузит тикток. Но если подключиться к уже открытому браузеру то загрузка происходит корректно. Вероятно они находят какие-то отличия headless браузера от дефолтного установленного и препятствуют загрузке. (Иногда это может быть ненамеренно, иногда как защита.) Нужно детальней разбираться.
Alhimik
На других сайтах такой проблемы не увидел. Проверил на https://dropmefiles.com/.
🦋noteee
Действительно, не грузит тикток. Но если подключиться к уже открытому браузеру то загрузка происходит корректно. Вероятно они находят какие-то отличия headless браузера от дефолтного установленного и препятствуют загрузке. (Иногда это может быть ненамеренно, иногда как защита.) Нужно детальней разбираться.
Понял. Поможете мне решить эту проблему? Я не представляю как можно её решить
Alhimik
Понял. Поможете мне решить эту проблему? Я не представляю как можно её решить
Для начала можешь перехватывать запросы и ответы и сравнивать заголовки. Это может надолго затянуться. Нет желания этим заниматься.
Alhimik
Ну первый запрос и нашёл какой-то пакет https://github.com/pierreminiggio/tiktok-poster, не проверял, но изменения вносились 18 дней назад, может быть актуален.
Alhimik
Понял. Поможете мне решить эту проблему? Я не представляю как можно её решить
Кстати, у тебя подключен puppeteer-extra-plugin-stealth?
🦋noteee
Ну первый запрос и нашёл какой-то пакет https://github.com/pierreminiggio/tiktok-poster, не проверял, но изменения вносились 18 дней назад, может быть актуален.
У него в коде есть page.evaluate, может он мне нужен? А так загрузка файла у него точно такая же как и у меня
Alhimik
У него в коде есть page.evaluate, может он мне нужен? А так загрузка файла у него точно такая же как и у меня
Как я уже сказал проблема не в самой загрузке. Загрузка работает и на тиктоке (через установленный браузер + puppeteer connect) и на других сайтах напрямую. Нужно разбираться в чём отличия (возможно на уровне запросов).
Макс
Парни, а кто-то пробовал доработать пупиттер под смену фингерпринта? например через сервис https://fingerprints.bablosoft.com/
Sasha
Макс
А для чего?)
А то ты не знаешь)
Ботов пилить, да и парить некоторые сайты получалось бы эффективнее.
Sasha
А ты посмотри что берет антибот) в финжере баса оч много лишнего прям оч много
Vlad
А ты посмотри что берет антибот) в финжере баса оч много лишнего прям оч много
Интересная инфа, не знал
Pavel
Паттерн для генерации скриншотов/видео с канваса https://twitter.com/RReverser/status/1417800541133058050
Unknown
Паттерн для генерации скриншотов/видео с канваса https://twitter.com/RReverser/status/1417800541133058050
Оч интересно, но нифига не понятно 😂
Anonymous
здравствуйте, как в puppeteer при net::ERR_TUNNEL_CONNECTION_FAILED что-то сделать
(захендлить ошибку эту)
буду благодарен за помощь)
Светлана
try{await page.goto(url)}catch(e){your handle code here}?
Anonymous
может быть же другая ошибка 😒
Светлана
ну чекни, что эта та ошибка, через сверку e.name, если та - хэндлишь, если нет - кидаешь дальше
Светлана
или через instanceof
Светлана
второе надежнее но я хз что там за тип, мне пока только на http гулять приходилось
Anonymous
благодарю
Светлана
Пацаны, есть кнопка, которая генерит печатную форму, запихивает его в iframe и вызывает у него метод print.
Вот содержимое этого фрейма как-то в пдф перегнать можно средствами кукловода?
Phil
Покупаем кофе
Phil
На юге Бразилии выпал снег в 13 городах, в некоторых районах прошёл град, температура воздуха упала до -8°C
Выглядит это конечно красиво, но гибель кофейных плантаций от заморозков приведёт к росту мировых цен на кофе
@leprame
Stas
Привет, поясните как может быть такое: есть запрос из браузера с оболочкой — все ок возвращается json (даже с сторонних сайтов), а есть браузер без оболочки который возвращает какой-то html, также подобный запрос curl возвращает тоже html
Stas
В чем разница запроса без оболочки и с оболочкой, почему они разные
Alhimik
В чем разница запроса без оболочки и с оболочкой, почему они разные
Что за оболочка?
Вообще нужно смотреть заголовки запроса + порядок запросов. Множество факторов может влиять на результат.
Stas
Stas
Запросов никаких нет, я полностью все обрубаю
Stas
Только один фетч
Stas
При headless: false — работает, при headless: true — не работает
Stas
Точнее не не работает, ответ другой приходит от сервера
Alhimik
headless
В headless не получится скорей всего добиться полного соответствия с headfull. Например, в headfull режиме при загрузке страницы сайта, браузер подгружает favicon, в headless режиме этого не делается. Думаю есть и другие отличия, нужно глубже погружаться и разбираться с каждым сайтом отдельно.
Stas
Какая разница в node js запросе и browser fetch ?
Stas
Если все заголовки сохраняю
Stas
Все чотко
Alhimik
Какая разница в node js запросе и browser fetch ?
Любой http-клиент может имитировать любой запрос (при условии что клиент в принципе поддерживает протокол, например http2). Если результаты разные, значит что-то ты некорректно передаёшь.
Stas
Как могут быть разные запросы если я меняю только headless на true или false ?
Stas
Я вообще ничего не меняю в заголовках
Stas
Только скрываю или показываю оболочку браузера
Stas
Один запрос
Stas
Корсы отключены
Alhimik
Как могут быть разные запросы если я меняю только headless на true или false ?
Нужно делать дамп заголовков и сравнивать. Я привёл пример c favicon. На конкретном сайте всё что угодно может влиять.