O.
Кто знает норм библиотеку для веб-скрапинга ?
Cheerio, Puppeteer. Если все просто, без динамики, то запрос с дальнейшими регулярными выражениями и т.д.
Nurik
Решил заюзать bull вместо Kue. Как в нем распараллелить обработку ? Просто у меня выгрузка детализации запросом уходит в API и таких запросов в среднем 700 - 800. Кладу в очередь, но при этом обработка происходит последовательно. При этом я так понял, там воркеры как отдельные процессы только запускаются ? Нельзя чтобы джобы параллельно запускались в воркерах ?
O.
Расскажи про cheerio пожалуйста
Документация превыше всего: https://github.com/cheeriojs/cheerio
Mishutka
Кто знает норм библиотеку для веб-скрапинга ?
Zombie.js или phantom.js, ещё был horseman но он закрылся, у них на гитхабе вроде есть ссылки на альтернативы.
Mishutka
А вообще, можно через обычные запросы + cheerio как советовал мужчина выше.
Mishutka
а ты чего против puppeteer?
Я не против, просто никогда не слышал про него)
Cenator 🐈
про зомби вообще не слышали
Mishutka
фантом тоже закрылся
Да ладно? Его вроде Гугл бот использует.
Yurii
Я не против, просто никогда не слышал про него)
ну короче, тренд - puppeteer, он поддерживается и разрабатывается командой google chrome
Cenator 🐈
Да ладно? Его вроде Гугл бот использует.
ну не могут быстро выпилить а пупетр от разрабов хрома же
Mishutka
Спасибо за инфу, нужно будет потестить!
tazasho
`Meteor - хорош или плох, и почему
Cenator 🐈
умер*
Yurii
умер*
а чего умер, вот в конце января 1.6.1 …
Serhii
для коммерции, в принципе)
Yurii
`Meteor - хорош или плох, и почему
я считаю больше плох, чём хорош. Он себя позиционировал, как фреймворк для «гуманитариев», очень много магии и неявной работы, писать свои решения непросто, но очень много решений уже готовых в атмосфере
Yurii
`Meteor - хорош или плох, и почему
а и кросс-платформенность из коробки (к плюсам)
Данил
как назвать типа обновление, в котором только исправлены баги и проведена оптимизация?
Sergey
Fix того-того то
Sergey
как назвать типа обновление, в котором только исправлены баги и проведена оптимизация?
тебе для коммита? там после первой строки можно указывать подробности и описание изменений, чтобы потом можно было почитать
Данил
не
Данил
не для коммита
Данил
для шапки оповещения о новой обнове
Sergey
так-то это патч, если по семверу https://semver.org/
Данил
"Новый патч" вместо "Новое обновление" значит?
Данил
ну так-то да, а в описании написать что "Здесь исправлены баги и улучшена производительность"
Sergey
условно: выпущен патч 6.2.3, включающий следующие исправления: - foo - bar
Данил
ага окай пасиба
Nurik
есть еще такая штука как standard-version сама делает анализ и потом проставляет версию.
Nurik
минорная, либо патч.
✙ Isliam ✙
А вообще, можно через обычные запросы + cheerio как советовал мужчина выше.
а с аяксом как поступал, юзая запросы? они бывают зарутанные
Rich
help
Rich
Как с этим бороться, работает нормально, а потом вылетает с ошибкой что порт уже занят. Но порт только это приложение и занимает
Rich
Rich
pm2 работает
Rich
и через некоторое время начинает исполнять
Mishutka
а с аяксом как поступал, юзая запросы? они бывают зарутанные
Что значит зарутанные? Иногда бывает защита токеном, но его часто можно найти на странице или в коде. Если такой метод не срабатывает то лучше использовать какой нибудь фреймворк, из рекомендованных выше.
Mishutka
Ещё в хедерах часто можно найти токен.
✙ Isliam ✙
я не особо с этим возился, но вроде встречал токены генерируемые
✙ Isliam ✙
может так же запросом получает
Mishutka
я не особо с этим возился, но вроде встречал токены генерируемые
Обычно токен можно использовать несколько раз. Смотри через хром какие заголовки отправляются вместе с запросом а потом, пробуй отправить такой же через postman. И куки тоже проверяй иногда сайт генерирует сессию для каждого гостя. Если используешь axios для него есть либа, которая добавляет поддержку cookie.
Dmitry
как отфильтровать решенные промисы в массиве?
Mishutka
как отфильтровать решенные промисы в массиве?
Promise all? А потом фильтруй как хочешь. https://developer.mozilla.org/ru/docs/Web/JavaScript/Reference/Global_Objects/Promise/all
Dmitry
Promise all? А потом фильтруй как хочешь. https://developer.mozilla.org/ru/docs/Web/JavaScript/Reference/Global_Objects/Promise/all
так а если есть не зарезолвленные промисы, то Promise.all будет возвращать один промис в ожидании
Mishutka
так а если есть не зарезолвленные промисы, то Promise.all будет возвращать один промис в ожидании
Promise.all дождется пока все промисы вернут какой нибудь результат, и вернет массив либо ошибку. Там не может быть не решенных промисов.
Dmitry
ну это я знаю
Mishutka
Если нужно более тонкое управление асинхронностью, ты можешь использовать стримы rxjs. Тогда поток можно будет фильровать и выбрасывать не нужные вещи. Эта либа популярна на фронтенде (Angular), в ноде ее редко используют как я знаю.
Vladimir
Vladimir
но есть хаки типа Promise.race с Promise.resolve
Dmitry
сделал по другому, потому что так не катит, как я вижу
Anton
Вопрос как решить проблему с gulp.watch на window ? все четко делаю по екзамплу с сайта но не работает ничего, что надо еще устанавливать ?
Stas
сделал по другому, потому что так не катит, как я вижу
Не уверен что это правильно, но может поможет в твоём решении. Можешь сделать вложенный промис.
Alexander
ребята, подскажите RBAC пакет для экспресса
Alexander
https://www.npmjs.com/package/express-rbac
очевидно. Он годный? А вот вы что используете, господа участники данного комьюнити?
Alexander
Alexander
нет, он явно не годный
Yurii
его функционала достаточно, чтобы разграничить по ролям или уровням доступа. можешь взять чистый https://www.npmjs.com/package/rbac
Nurik
так а если есть не зарезолвленные промисы, то Promise.all будет возвращать один промис в ожидании
Прежде чем подставлять результирующий массив в Promise.all можно заранее ловить определенные ситуации с помощью catch для каждого промиса и пробрасывать дальше исключение внутри catch. Например если хочешь чтобы 404 статус резолвился.
Ihor
Господа. Может есть какая-то тулзовина которая чекает формат объекта? Например… У меня есть вот такой JSON прилетающий:
Ihor
Ihor
ну и адаптер который чекает правильность формата
Ihor
Ihor
но честно говоря… это звездец какой-то.
Ihor
даже не спрашивайте почему мне прилетает такой извращенный json…
Vladimir
joi или аналоги
Ihor
joi или аналоги
во, спасибо.. кажется, выглядит неплохо. Главное чтобы оно умело сверять ооооочень большую глубину вложенностей. Хотя если схему в схему.. в общем спасибо, это хорошая наводка
Nurik
https://github.com/epoberezkin/ajv
Nurik
joi достаточно медленный
Ihor
в моем случае перформанс важен.. тем методом что я чекаю… работает то неплохо.. но поддержиавать это страшно