Tishka17
На пастбин
Kel0
На пастбин
https://dpaste.org/AwD7
Tishka17
Хм. По схеме все ок
Alexander
Привет всем! Кто-нибудь парсил Я.Маркет на характеристики товаров? Пока сталкиваюсь с постоянной капчой
Alexander
Пытался имитировать мобильное устройство, старый браузер - упираюсь в капчу
Anonymous
за тобой едут
Tishka17
Пытался имитировать мобильное устройство, старый браузер - упираюсь в капчу
Если ты видишь капчу, значит ты должен прекратить делать то, что делаешь
Alexander
Я хотел бы спарсить каталог iPhone, которые есть в продаже и их цену
Kensi
давно так...
Я просто, за неделю уже человек 10 видел, кто либо парсит, либо ищет человека, кто сделает парсер
Alexander
В целом, ничего антизаконного не делаю, лишь собираю публичную информацию
Tishka17
В целом, ничего антизаконного не делаю, лишь собираю публичную информацию
Если она под капчей, значит не предназначена для автоматической обработки
Kensi
Я хотел бы спарсить каталог iPhone, которые есть в продаже и их цену
А не легче спарсить данные, не с яндекса скажем, а с DNS, Megafon и т.д?
Alexander
там как раз набор магазинов
Kensi
Я понимаю
Kensi
Но просто это поменять три строчки кода
Kensi
resp = requests.get(f'https://www.dns-shop.ru/catalog/recipe/30f83a52f0d45348/apple-iphone={teg}&page={i}')
Kensi
Типа, так, если я правильно понял
Mediator
Я просто, за неделю уже человек 10 видел, кто либо парсит, либо ищет человека, кто сделает парсер
Ну эта тема всё время рядом с работой на python. Но не всё со взломом капчи.
Alexander
Я понимаю
Я пока что пытаюсь как-то обойти капчу используя selenium
Kensi
Ну-с, успехов тогда
Kensi
Проще было бы просто менять строчки
Tishka17
Проще было бы просто менять строчки
Сам бы попробовал для начала
Vlad
Товарищи подскажите пожалуйста , как проще всего перемножить между собой элементы списка?
Tishka17
Все вместе или как?
Anonymous
меня ограничили и не пускают в чат для новичьков
Anonymous
Я нечего не делал
Anonymous
Я нечего не делал
ты там ростался с девушкой
Tishka17
меня ограничили и не пускают в чат для новичьков
И ты пришел ныть сюда? Заканчивай уже
Anonymous
Я пообещяю что буду хорошим..
Anonymous
И ты пришел ныть сюда? Заканчивай уже
Просто много умных слишком
Anonymous
Просто много умных слишком
вот именно, развелось тут умных
Anonymous
вот в номальных чатах быдло обитает
Anonymous
Давайте называть вещи своими именами
Anonymous
я назвал вещь своим именем
Anonymous
Уважаю
Nikolay
Anonymous
За прямоту
Vol
О, и тут уже срачи собираются
Anonymous
Я ухожу
Anonymous
Сергей
есть ли бесплатные python хостинги с возможностью делать запросы в другие сервисы?
Николай
Привет, есть проблема с отправлением данных в Google Sheets. Кто знает как передать переменные, вместо значений? (API подключился, обычные текстовые значения передаются, не могу найти как передавать переменные 🙂)
Сергей
localhost, AWS EC2 Free Tier
нужно что бы в нете постоянно было. Второй на 12 месяцев только получается?
а
.?
а
Мне только что высветило "Данный чат недоступен"
а
Что за приколы
Kensi
Телега лагает мб
Егор
Привет. Каким обрзом вставить значения в базу данных, если есть ограничения в виде наличия уникальных ключей? При этом не хочется делать на каждую вставку коммит, так как это очень долго. Например, sqlalchemy выполняет такую вставку раза в 2 быстрее, чем с коммитами.
Tishka17
Эм. А какая разница, есть ограничения или нет?
Tishka17
И при чем тут коммиты
Егор
Эм. А какая разница, есть ограничения или нет?
Если есть ограничения, то при попытке вставить ключ, который уже есть, я поймаю errors.UniqueViolation
Anonymous
Если есть ограничения, то при попытке вставить ключ, который уже есть, я поймаю errors.UniqueViolation
Так не ставь ключ, он по идее у тя должен автоматически генерироватся
Егор
Так не ставь ключ, он по идее у тя должен автоматически генерироватся
Мне важно, чтобы были уникальные значения. Пример таблицы. CREATE TABLE processed_roads ( road VARCHAR ( 64 ), lat_end REAL, lon_end REAL, segment_index INT, unique (segment_index,) );
Tishka17
Егор
Ничего. Например, в алхимии вот так можно: road_local_df.head(200).to_sql(name='roads', con=self.__conn, if_exists='replace', index=False) Это быстрее работает.
Tishka17
psql
https://t.me/ru_python/1301572
Егор
CREATE TABLE botr ( id MEDIUMINT NOT NULL AUTO_INCREMENT, user_id text NOT NULL, message text NOT NULL, PRIMARY KEY (id) );
Уникальными должно быть то, что я указал выше. Дублей быть не должно. Наверное,можно сначала селектить, а потом вставлять, конечно. Но, тоже — такая себе история.
Tishka17
Да блин
Tishka17
Третий раз повторить?
Уруруборос Иванович
Сидят в своих ОРМах и нихрена не знают
Уруруборос Иванович
Чо
DDL таблицы сюда напиши
Tishka17
И ответ на исходный вопрос уже был