(no)

ни о каком воровстве, если речь идет о публичных данных, и речи не может быть

(again no)

again yes

да ну, все парсят конкурентов (кто может)

то, что в современном мире у сайта нет API - это проблема сайта, а не разрабов, которые хотят с ним работать

это инет, всё ок

если у сайта нет API, он ему не нужен

интерфейс

Что такое API?

это не значит, что его надо парсить

бля можете обьяснить как может работать 50% бота ?

тебе осталось только посмотреть в доках как точно называется нужное исключение

В доках сайта или доках селениума

все норм настройл работает автопостинг и прочая дич

а сам бот не робит

В доках сайта или доках селениума

ну исключение при парсинге оно в селениуме или у сайта? и вообще я тебе прямые ссылки скинул там

На С++ я полюзуюмь Qt, он шикарен. Но вот с Python я разобрался , что лучше . Вроде работаю на Pysharm , но рекомендуют пробнуть Spider

это не значит, что его надо парсить

не "надо", но если нужны данные, а интерфейса нет - то можно

Что посоветуете?

если у сайта нет API, он ему не нужен

толсто слишком

ну йобана, зачем апи сайту со шмотками

Что посоветуете?

vim

Тоесть не разобрался)

зачем вообще тратить человекочасы на апи сайту со шмотками

ну йобана, зачем апи сайту со шмотками

ты шутишь? та же ламода сейчас заруливает по API, там интеграция программная - это киллер-фича

не "надо", но если нужны данные, а интерфейса нет - то можно

Почему-то я планирую встречу и гоню общаться с бизнесом, если планируется интеграция, хотя по-твоему мог бы содрать данные с фронта, почему я так делаю, как ты думаешь?

ты шутишь? та же ламода сейчас заруливает по API, там интеграция программная - это киллер-фича

ну у ламоды другой масштаб так-то

зачем вообще тратить человекочасы на апи сайту со шмотками

чтобы аналитику и интеграцию делать же, очевидно

зачем вообще тратить человекочасы на апи сайту со шмотками

Ты не понимаешь просто, это не просто сайт со шмотками

чтобы аналитику и интеграцию делать же, очевидно

)0)00))

Почему-то я планирую встречу и гоню общаться с бизнесом, если планируется интеграция, хотя по-твоему мог бы содрать данные с фронта, почему я так делаю, как ты думаешь?

ты правильно все делаешь. Но, повторюсь, если у сайта нет апи - это проблема сайта

И что думаете про Pypy?

зачем вообще тратить человекочасы на апи сайту со шмотками

Чтобы подключить поставщиков шмоток, ресейлеров, мобильные приложения?

API нет у 80%+ сайтов рунета

Открытого API

Сайт который я сейчас пытаюсь парсить специально API и не создаёт

Чтобы подключить поставщиков шмоток, ресейлеров, мобильные приложения?

Ну для этого определённый оборот надо набрать.

не всем нужен API

А если это мелкий магазинчик, то не нужно.

В чём проблема ?

А если это мелкий магазинчик, то не нужно.

Проблема парней с парсерами - что ты так и останешься мелким магазином и только косвенно по тому, как часто тебя парсят будешь понимать свою ценность на рынке

Проблема парней с парсерами - что ты так и останешься мелким магазином и только косвенно по тому, как часто тебя парсят будешь понимать свою ценность на рынке

А можно разве сделать так чтобы сайт нереально было спарсить?

А если это мелкий магазинчик, то не нужно.

если это мелкий магазинчик и реселлит крупного - то он, наверняка, на платформе с уже интегрированным апи должен быть сделан

Вместо текста изображения с текстом

Хотяяя

Водяные знаки

API нет у 80%+ сайтов рунета

и это печально, да

кто-нибудь может подсказать как пофиксть вот такое https://pastebin.com/ddKTZzRL ?

Да можно защитьить себя от парсера

Типа вы серьёзно считаете, что всем сайтам экономически целесообразно иметь API?

кто-нибудь может подсказать как пофиксть вот такое https://pastebin.com/ddKTZzRL ?

пытаюсь через pipenv поставить, но чет не взлетает

Нет

А можно разве сделать так чтобы сайт нереально было спарсить?

Авито тратит значительную часть сил на забан левых клиентов и делает это успешно. Но я говорю не о технической невозможности, а об принципиальном подходе - увидел в вакухе парсинг фронта - посылаешь общаться бизнес с бизнесом

тебе осталось только посмотреть в доках как точно называется нужное исключение

from selenium.common.exceptions import NoSuchElementException user_title = self.Entry1.get() user_color = self.TCombobox4.get() try: title = driver.find_element_by_xpath('//a[contains(text(), "{title}") and contains(text(), "{color}")]'.format(title=user_title, color=user_color)) title.click() except NoSuchElementException: print('No such title') Всё время No such title выдаёт

Не виже смысла для открытого API если у тебя не масштабный проект

Авито тратит значительную часть сил на забан левых клиентов и делает это успешно. Но я говорю не о технической невозможности, а об принципиальном подходе - увидел в вакухе парсинг фронта - посылаешь общаться бизнес с бизнесом

Avito парсится

даже урок есть на ютубе

Типа вы серьёзно считаете, что всем сайтам экономически целесообразно иметь API?

типа все платформы для сайтов идут к тому, что там по умолчанию он есть

как чувак через OCR вроде делал

Всем привет, подскажите пожалуйста чем можно отдебажить uwsgi? При определенном количестве запросов они просто накапливаются в очередь и скорость обработки падает, а все воркеры висят в busy, python tracebacker никаких эксепшнов не показывает

API ограничен часто смысла нет в нём иногда

типа все платформы для сайтов идут к тому, что там по умолчанию он есть

какого рода платформы?

какого рода платформы?

торговые, например

торговые, например

ну так не все сайты на готовых платформах (и не все сайты торговые)

Ну нахуй, я себе сейчас мозг сломаю

Больше не участвую в бесмысленных диалогах

ну так не все сайты на готовых платформах (и не все сайты торговые)

А вот здесь мы возвращаемся к вопросу целесообразности делать мелкие торговые сайты не на готовых платформах)

Объясните мне лучше нахуй связи таблиц бд в 2018...

А вот здесь мы возвращаемся к вопросу целесообразности делать мелкие торговые сайты не на готовых платформах)

Это оскорбляет мои чувства веб-девелопера-самоучки!

Объясните мне лучше нахуй связи таблиц бд в 2018...

Им без связей одиноко

from selenium.common.exceptions import NoSuchElementException user_title = self.Entry1.get() user_color = self.TCombobox4.get() try: title = driver.find_element_by_xpath('//a[contains(text(), "{title}") and contains(text(), "{color}")]'.format(title=user_title, color=user_color)) title.click() except NoSuchElementException: print('No such title') Всё время No such title выдаёт

отлаживай, что я могу сказать

При проектировании бд следует уделять время связям, или лучше через логику это реализовать всё

Всем привет, подскажите пожалуйста чем можно отдебажить uwsgi? При определенном количестве запросов они просто накапливаются в очередь и скорость обработки падает, а все воркеры висят в busy, python tracebacker никаких эксепшнов не показывает

Так воркеры загружены просто и нужно скейлится, нет? https://uwsgi-docs.readthedocs.io/en/latest/StatsServer.html

Это оскорбляет мои чувства веб-девелопера-самоучки!

у вас просто HTML API

Пипл, может ещё что на хабр написать о питоне?

Так воркеры загружены просто и нужно скейлится, нет? https://uwsgi-docs.readthedocs.io/en/latest/StatsServer.html

нагрузка не настолько большая, я думаю проблема в приложении, но не могу найти причину...

А если в приложении, тогда при чем воркеры? дебажь приложение

А если в приложении, тогда при чем воркеры? дебажь приложение

я не знаю в каком конкретно месте дебажить)

дебажь во всем, начиная с роутинга и вьюхи и заканчивая моделями, профайлер попробуй для начала

просто никаких проблем не могу найти, кроме того что запросы висят на уровне uwsgi, даже не знаю куда копать, ладно, попробую профайлером поискать что-то, спасибо

Предлагаю забан за любой вопрос касаемо парсинга сайтов, надоело. В 2018 у всех есть API, если бизнес не может договориться, то ворвать данные через внешний интерфейс не выход

Вот из за таких как ты, и пропадает свобода из интернета

просто никаких проблем не могу найти, кроме того что запросы висят на уровне uwsgi, даже не знаю куда копать, ладно, попробую профайлером поискать что-то, спасибо

А что за фреймворк? Если единичные запросы с девелоперским wsgi-сервером проходят, а с uwsgi нет, то нужно настройки uwsgi посмотреть, количество воркеров минимально

А что за фреймворк? Если единичные запросы с девелоперским wsgi-сервером проходят, а с uwsgi нет, то нужно настройки uwsgi посмотреть, количество воркеров минимально

django

ни о каком воровстве, если речь идет о публичных данных, и речи не может быть

100500 все что выставлено в инете уже де-факто не твое собственные

Вот из за таких как ты, и пропадает свобода из интернета

++

Когда написал комент и в группе + 3 человека ахах

100500 все что выставлено в инете уже де-факто не твое собственные

а вы точно юрист

Когда написал комент и в группе + 3 человека ахах

Да эт просто в соседнем чате я ссылку дал?

Ахах

Та понятно

Да эт просто в соседнем чате я ссылку дал?

Можно считать тебя некромантом ))