Vladislav
Без сборщика это несерьёзно
Andrey
document.addEventListener("mouseout")
все так просто оказалось, спасибо большое!!
Old Turbo
всем привет парни) хочу задать вопрос: есть страница с сообщениями ( на сайте, постраничная) и тут около 2350 страниц по 20 сообщений на каждо странице, как можно выгрузить эти все сообщения не имея доступа к серваку и так далее? буду очень рад за помощь, надеюсь внятно обьяснил :)
Anton K.
Без сборщика это несерьёзно
Согласен. Но есть нюансы(компу нельзя в инет и все внешние источники информации включая usb отрублены, хорошо хоть мозила есть с es6)
Old Turbo
просто доступа как-бы к фулл коду нет и сайт не мой, это рабочий сайт и было бы очень отлично выгрузить инфу:)
Old Turbo
4176 страниц, и просто вручную копировать вставлять я не знаю сколько времени займет)
Anton K.
Old Turbo
это мне самому надо будет написать или есть уже источники?)
Old Turbo
извини, если глупые вопросы задаю:)
Anton K.
это мне самому надо будет написать или есть уже источники?)
Самому конечно. Можешь опираться на источники. Но у каждого сайта своя логика. И парсер для каждого сайта индивидуальный
Anton K.
Если знаешь js загугли чето типа парсер на node js (там на хабре есть целый цикл )
Anton K.
Фронтендерам вообще просто парсеры делать, так как они знают типовую логику сайтов.
Isvlad
если пагинация сделанна на каком-то фремворке то проще постучать на апишку
Anton
мало куда можно взять и постучаться
Isvlad
апишки редко открыты ж
так или иначе, если куда-то стучит то в отладчике видно. имея валидную сессию прям с браузера есть вероятность что можно вытащить все
Isvlad
прост ето самый простой способ, потом уже парсить если етот не получился
Old Turbo
Old Turbo
по факту задача проста, есть 4176 страниц по 20 сообщений на каждом. нужно все в один файлик, думал все будет намного проще)
Anton
прост ето самый простой способ, потом уже парсить если етот не получился
не поспоришь. если удастся подложить сессию - жизнь пойдет как по маслу
Isvlad
она и есть проста если есть апишка в отладчике - то абузишь ее, если нет то парсим
Isvlad
если одноразовая задача то вообще решается не вылазя из браузера
Old Turbo
объясни?)
Anton
я не особо шарю в таких вещах, но ща попробовал потыкать отладчик и найти где то в жс коде путь до метода апишки компании + хедеры с сессией, чот сомневаюсь что это просто не зря ж безопасники сидят над этим потеют каждый день
Anton
ага, есть такое
Old Turbo
ну сайт на котором я супер не защищен ни чем, типа я уверен что все есть в коде) ток я не сильно скилловый)
Anton K.
ну сайт на котором я супер не защищен ни чем, типа я уверен что все есть в коде) ток я не сильно скилловый)
Тогда в твоём варианте быстрее и проще 4500 страниц вручную перещелкать)
Anton
го реал ссылку))
Isvlad
ну сайт на котором я супер не защищен ни чем, типа я уверен что все есть в коде) ток я не сильно скилловый)
вот тебе пример как вытащить со страницы без апишки [...document.querySelectorAll('.model-price-range>a')].map(x=>x.textContent) для того-же каталога ...
Anton K.
Проще на upwork пойти)
Ну может он бесплатно хочет
Кирилл
вот тебе пример как вытащить со страницы без апишки [...document.querySelectorAll('.model-price-range>a')].map(x=>x.textContent) для того-же каталога ...
остаётся вопрос как пройтись по 4К страниц из этой же консоли и получить общий результат )
Isvlad
если не хоч вручную по всем страничкам ходить - юзай userJS аддоны коих полно
Anonymous
Либо на запросах разобрать
Кирилл
Селениум, но не самый быстрый вариант
да если уж прибегать к селениуму то лучше что нить на ноде написать
Old Turbo
парни с радостью бы скинул ссылку на сайт но сайт рабочий и супер дырявый, недоброжелатель положит его навсегда:)
Anton K.
да если уж прибегать к селениуму то лучше что нить на ноде написать
Тем более там вообще ничего сложного нет (если конечно сайт не на новомодных технологиях)
Isvlad
парни с радостью бы скинул ссылку на сайт но сайт рабочий и супер дырявый, недоброжелатель положит его навсегда:)
тебе уже выдали в руки все что нужно ) p.s. Занимаюсь парсерами любой сложности)
Anton K.
Я помню пытался скачать страницу сайта написанного на реакте и не понимал почему то что он скачивает != Тому что задеплоено на хосте. Но теперь понимаю.
Anton K.
Проще на upwork пойти)
Если он этот сайт нам не доверяет то не доверит и тому индусу. Остаётся только вручную
Andrey
document.addEventListener("mouseleave", callback)
да, уже все сделал, спс
Isvlad
/report
Group Butler [beta]
/report
Reported to 0 admin(s)
Anonymous
CMS готовая вещь
Anonymous
DLE
Anonymous
ещё есть) она русский продукт)
Anonymous
cms вряд-ли напишешь нормальную
Китикет
Выгодно для бизнеса
Anonymous
Ну это само собой
Китикет
Наоборот, ахахах
Китикет
Надо с вордпресса переходить когда ты почти джун
Китикет
К тому же вордпресс это в основном php
Китикет
То есть по большей части деградация
Ivan
Подскажите как можно отфильтровать объекты внутри объекта, допустим, вернуть все объекты, значение ключа x которых больше 1? Наподобие filter() для массивов.
Anton
сложить их в мапку?
Китикет
Object.entries
Не не, поддержка хромает
Китикет
for in и погнали
Ivan
сложить их в мапку?
Как именно? У меня получается вернуть только ключ со значением в виде фильтруемого свойства.
Ivan
Не не, поддержка хромает
Потом придется обратно в объекты из массивов все это парсить?
Китикет
babel?
Вроде во всех новых проджект стартерах уже до es2017 идет деградация, то есть Object.entries не полифиллится
Ivan
блин, простой фильтр на объекте уже головная боль)
Китикет
Обычно я подобные действия с обьектами делаю через for in в императивном стиле) Мб привычка уже
Китикет
Object.keys и тд часто не очень красиво выглядят