(;¬_¬)
зефир это экстеншн для пыха написаный на си и вообще по моему скромному мнению можно было и попроще извращаться
Anonymous
ты не сравнивай зефир и свифт
О! Собрат нашелся =) Пишешь на зефире?
(;¬_¬)
О! Собрат нашелся =) Пишешь на зефире?
нет, не пишу. просто читаю много всяких статей, вместо того чтоб код пилить =)
(;¬_¬)
но вот то что ты скинул, ты же сам понимаешь что это не пхп а си
(;¬_¬)
и по сути ты сравнивал си и свифт
Anonymous
и по сути ты сравнивал си и свифт
Но учитывая слепую веру в apple у swift'девелоперов, это.. работает =)
(;¬_¬)
ну уж во что верят яблочники это вообще отдельная тема. а так есть же и веб-фреймворки на свифт написаные... не знаю правда зачем это сделали О_о
Артур
всем привет)) подскажите плиз как поступить лучше))
Артур
парсю сайт) и сохраняю html код страницы)
Артур
куда лучше сохранять в sql или в файл ?
Артур
что бы уменьшить нагрузку
Артур
по оперативке при парсинге
Артур
чет телеграм подлагал)
Артур
сообщение дергнуло)
Anonymous
парсю сайт) и сохраняю html код страницы)
А зачем тебе вся html разметка
Артур
А зачем тебе вся html разметка
ну что бы типа не заметили что парсю))
Артур
а так страницу сохранил и спокойно с нее парсю)
Anonymous
А как они "заметят"
Anonymous
что бы уменьшить нагрузку
Используй Selenium и не парься
Anonymous
вахах
Артур
А как они "заметят"
ну как бы я хз))) но замечают что парсишь))
Anonymous
Используй Selenium и не парься
Это называется не парится?
Артур
я когда то музыку парсил)
Anonymous
Это называется не парится?
Ладно, беру слова обратно
Артур
и они меняли html)
Anonymous
Это называется не парится?
Только сейчас осознал что сказал :D
Anonymous
ну как бы я хз))) но замечают что парсишь))
Ты можешь dom модель держать в памяти и парсить ее в приложении не обращаясь к сайту
Владислав
А как они "заметят"
100500 похожих запросов за минуту )
Anonymous
100500 похожих запросов за минуту )
Это решается отнюдь не сохранением html разметки в sql
Владислав
The Ant
Ты можешь dom модель держать в памяти и парсить ее в приложении не обращаясь к сайту
можно сдернуть весь сайт, потом офлайном парсить неделями
Anonymous
Только сейчас осознал что сказал :D
Я так попарился с ним что у меня иногда глаз дергается на его логотип
Anonymous
Можно просто поставить делей и не быть задротом
Владислав
можно сдернуть весь сайт, потом офлайном парсить неделями
Профили друзей нужных юзеров в ВК/Фейсбук дёрнешь? И да, друзья постоянно меняются :D
Артур
что бы так и сохранить все)
Артур
я сначала парсю категории и сохраняю ссылку на список товара
Артур
ну а дальше по пагинации
Владислав
сложно? ;D
Ну за раз ты большое кол-во профилей не дёрнешь, вот я к чему. Попробуй линкедин попарси =)
The Ant
я сначала парсю категории и сохраняю ссылку на список товара
а, вспомнил. ты так и не научился парсить по сайт мапе? ;D
Артур
вроде все ок ) но блин у меня скрипт вылетает по нагрузке((
Anonymous
что бы так и сохранить все)
эээ э лучше возьми что-то типа плагина для хрома Web Scraper Ним нормально проламываются сайты с защитой без запуска чертовых селениумов
Владислав
вопрос в количестве проксей всего лишь
Прокси тебе не поможет. Им пофигу твой айпи.
Владислав
Вопрос в кол-ве аккаунтов, которые блочатся.
Артур
меняй юзерагента
а это может быть хорошей идеей ))
Артур
но ) вопрос был не про это)
Владислав
а это может быть хорошей идеей ))
Напиши, как попробуешь =)
Артур
где меньше нагрузки будет в .html или в запросе sql ?)
Артур
Напиши, как попробуешь =)
та пока на этом сайте ничего не делали админы)
Артур
так что парсинг слава Богу работает)
Артур
вот работаю с оптимизацией кода)))
Владислав
где меньше нагрузки будет в .html или в запросе sql ?)
Что быстрее: прочесть файл или поле из БД?
Владислав
Ну так в чём вопрос?
Артур
ну хз)) решил спросить у умных людей)
Артур
может я ошибаюсь)
The Ant
так что парсинг слава Богу работает)
чекай сайт мапу на предмет лишних страниц и тока потом парси
The Ant
не гонять туда сюда ботом по сайту
The Ant
ой не пизди
The Ant
все там помогает
Артур
окей)
Артур
ну тебе виднее))
The Ant
я просто помню твой случай :D
Владислав
Господа, кто ставил Webpack Encore в Docker? Поделитесь, кто как делал.
The Ant
с пасрсингом товаров
Артур
ну так все работает)
Артур
а что с ним не так ?)