Bulat
попробуй r.text = r.text.encode('ascii', 'ignore') r.json()
Cannot set attribute😂 Самый прикол, что вчеоа все работало, просто убрал пару строчек кода
Yegor
Cannot set attribute😂 Самый прикол, что вчеоа все работало, просто убрал пару строчек кода
Добро пожаловать в сеть интернет, где апи обновляется каждый день
harver1
Cannot set attribute😂 Самый прикол, что вчеоа все работало, просто убрал пару строчек кода
Покажи свой код, покажи что у тебя получается и что тебя конкретно не устраивает, и ошибку покажи если она есть
Tishka17
harver1
Покажи код целиком. Кажется, там больше одной ошибки
Да там вообще мне кажется ошибки нет, просто в самом жсоне юникод, а хочется чтоб было читаемо
Tishka17
Да там вообще мне кажется ошибки нет, просто в самом жсоне юникод, а хочется чтоб было читаемо
Ну да, а ошибка в другом месте, где он скобки забыл добавить для вызова метода
Andrey
Как работает persistent connection (Keep-Alive) в библиотеке requests и aiohttp client если я делаю запрос через прокси сервер? Между чем устанавливается постоянное соединение в цепочке PC-PROXY-HOST? И что будет если я попытаюсь сделать запрос через одну сессию к HOST через разные прокси? Соединение разорвется и tcp handshake произойдет заново? Буду благодарен за любую информацию.
Andrey
Зачем юзать разные прокси?
Нужно делать много запросов поэтому использую около 1000 прокси, делал это при помощи requests и threading, сейчас переписываю все на aiohttp так как затраты на создание потоков слишком большие, в доке прочитал что очень рекомендуют использовать session а не открывать соединение на каждый запрос. Пытаюсь понять между чем будет открыто постоянное соединение.
Tishka17
Зачем вообще прокси
Bulat
Andrey
Прокси используются для того что бы обойти 429 http status code. (в Украине сбор данных с открытых источников не запрещен)
Andrey
Да.
Tishka17
Ну... Я не ориентируюсь в законах Украины, но обход защиты сайта - фуфуфу. Речь не о сборе данных, а о том, что ты применяешь техники, нарушающие стандартную работу сайта по отношению к тебе
Andrey
Лучший способ защититься от парсинга и скрапинга сделать платное/бесплатное api и контролировать весь процесс. В другом случаи тебе все равно будут скрапить, но контролировать процесс ты уже не сможешь.. Я не делаю ничего плохого, и не юзаю никакие баги и дыры в сайте, а просто имитирую несколько сотен юзеров. По сути гугл, яндекс и другие кравлеры занимаются тем же.
Bulat
Чо
Хром так видит ответ фласка
Andrey
А правильно ли это с точки зрения морали вопрос не стоит, есть закон, и вопрос в том нарушаю я его или нет.
Tishka17
Лучший способ защититься от парсинга и скрапинга сделать платное/бесплатное api и контролировать весь процесс. В другом случаи тебе все равно будут скрапить, но контролировать процесс ты уже не сможешь.. Я не делаю ничего плохого, и не юзаю никакие баги и дыры в сайте, а просто имитирую несколько сотен юзеров. По сути гугл, яндекс и другие кравлеры занимаются тем же.
Не хочу спорить, но "имитирую несколько сотен юзеров" - фу. Кроме того "не юзаю никакие баги" - ложь, ты юзаешь дыру, что из-за прокси сайт не может отследить что ты - это ты. Это не сбор из открытых источников, это сбор из источника, который закрылся от тебя RO 1w
Tishka17
Хром так видит ответ фласка
Так есть проблема или нет?
Alex
У меня кстати смежный вопрос - можно ли такой Keep-Alive, скажем так, иметь в виду как оптимизацию для сервиса/сайта? Например у меня форма на сайте где пользователь указывает данные для доставки заказа. На беке я подгружаю допустимые адреса из DaData. Лично по моим наблюдениям когда реквестс еще не испоьзовал переиспоьлзование сокета по-умолчанию переиспользование соединения давало до 30% сокращения времени на получение ответа по сети. Но может тут есть нюансы?
Bulat
Так есть проблема или нет?
Нет, хром так видит ответ от фласка, в консоли русский язык присутствует
Alex
Ну реквестс сессия держит соединения как-то время и переиспользует их
Я знаю что современный реквестс по-умолчанию делает Keep-Alive на уровне сессии, но меня интересует теоритический вопрос. Допустим я пишу на, простигосподи, пыхе с использованием их обертки для курла. Стоит ли заморачиваться с этим вообще или это что-то сильно ситуативное?
Alex
*На самом деле конкретный язык или либа меня не интересуют, только сама техника.
Tishka17
Если много запросов без большой паузы между ними, это сократит время
Захаров
вопрос - fastapi может есть регулярки в обозначении эндпоинтов? типа @app.post("/v1/auth/?"), в доке вроде не нашел указаний
MitV
Как поставить python 3.7.x на Big Sur ?
MitV
Целый день потратил на дебуггинг kubespray c pyenv…
Захаров
Какой цели хочешь добиться?
передать регулярку в path
Katya
🔥 Mad Devs ищет Senior Python developer в проект Clutch 💰 З/П 2 500 - 3 300 $ ☑️ Кого и куда мы ищем: Проект в сфере b2b – активно развивающийся продукт с широкой пользовательской базой. Штаб квартира находится в Вашингтоне. Рука об руку ведется работа с командой профессиональных дизайнеров, продакт менеджерами и бизнес аналитиками. Мы со своей стороны помогаем распиливать большой монолит на друпале на микросервисы на питоне или го. Деплоим все это в k8s. Пайплайн автоматический с минимумом человеческого взаимодействия. Новая и большая фича может быть сделана в новом микросервисе. Команда в проекте распределена между 3 странами. Работаем по спринтам, за код в продакшне отвечает команда разработки и мониторит его самостоятельно. ☑️ Что нужно будет делать: Разработка новых банковских продуктов Работа с приложениями в продакшне Вести задачи в JIRA Писать техническую документацию по продукту ☑️ Наши ожидания: Опыт 5+ лет на Python Опыт в разработке проектов в продакшне Разговорный английский Intermediate OOP/SOLID/TDD AWS будет плюсом Опыт оптимизации перформанса в продакшне 🤟 Mad Devs - full stack команда для разработки и администрирования крупных IT продуктов. География клиентов: США, Австралия, Европа, Вьетнам, Сингапур, СНГ. Мы разработали для наших клиентов 50+ проектов, наиболее масштабные из которых: Consensys, Triggermesh, Edumall/Topica, GoDee, Clutch ☑️ Как мы работаем: Мы поддерживаем ремоут с гибким графиком работы и асинхронной коммуникации. У нас высокая инженерная культура. Мы несем велью нашим клиентам и мы делаем проекты в которых: есть код ревью есть выстроенные CI/CD пайплайны, которые запускают тесты, линтеры, секьюрити чеки мы пишем документацию и коммуницируем асинхронно и много времени уделяем качеству, покрывая до 100% кода тестами ☑️ Что мы предлагаем: Agile подход к работе Гибкий график и возможность работать из любой точки мира Минимум бюрокаратии и никакого булшита Инверсное управление компанией нашими сотрудниками Официальная зарплата Возможность брать кредит в компании Возможность развиваться за счет компании Регулярные 1-1 митинги для решения ваших проблем и для оказания поддержки Если ты считаешь что подходишь и хочешь стать частью Mad комьюнити: 👉 @utesheva_daria или на почту hr@maddevs.io
uvicorn
Ну дженерик же
а как тут помогут жденерики?
decorator-factory
Или ты хочешь прям проверить в рантайме?
Tishka17
T=TypeVar("T") и вперед
uvicorn
Ну да. Ты можешь вызвать f(4, 5), но не f("a", [1, 2, 3]) — в этом и смысл TypeVar
А, тогда я понял. Я просто думал, что может принимать абсолютно любой тип
decorator-factory
да, "дженерик" просто обозначает параметрический полиморфизм, необязательно параметризованный тип
uvicorn
ладно, я понял, всем спасибо!
Alex
Если много запросов без большой паузы между ними, это сократит время
Я бы хотел продолжить тему по повышению отзывчивости для пользователя. Продолжим пример с дадатой - я хочу еще больше сократить время на получение ответа сервера для автокомплита адресов вводимых пользователем и мой следующий шаг - кэширование. Вопрос как это сделать правильно с точки зрения архитектуры. Допустим у нас уже есть клиентская либа у которой есть условный метод do который является конечным эндпоинтом для всех остальны методов этого клиента и именно здесь выполняются запросы в апи. Моя идея - отнаследоваться от этого клиента и в наследнике сделать, скажем: @functools.lru_cache def do(*args, **kwargs): return super().do(*args, **kwargs) Что скажешь?
decorator-factory
ладно, я понял, всем спасибо!
В твоём случае T не может быть любым типом, кстати, потому что ты делаешь +. https://t.me/ru_python/1385229
Tishka17
И возможно лучше не наследованием, а "декорированием" как раз. (Паттерн декоратор, а не применение через собачку)
Tishka17
Нет
Tishka17
Через экземпляр
Alex
Понял
Tishka17
Я так понимаю идея в том чтобы не плодить сущности.
Нет, идея в том, что ты возможно захочешь где-то отнаследоваться от того класса и поменять поведение. А кэшу в целом пофиг поверх чего висеть
Yegor
вопрос - fastapi может есть регулярки в обозначении эндпоинтов? типа @app.post("/v1/auth/?"), в доке вроде не нашел указаний
@app.get('/hello/{number}/') def hello_world_number(number: int): return {"msg": "Hello World Number", "number": number}
Yegor
Тип в аннотации автоматом проверяется
Захаров
@app.get('/hello/{number}/') def hello_world_number(number: int): return {"msg": "Hello World Number", "number": number}
не совсем про это спрашиваю - хочу поддерживать 2 юрл @app.post ("/v1/auth/") так и ("/v1/auth") через регулярку вида @app.post("/v1/auth/?")
Захаров
по всей видимости, в path засунуть регулярку нет возможности( буду рад быть неправым
Yegor
по всей видимости, в path засунуть регулярку нет возможности( буду рад быть неправым
@app.get('/hello/{arg}/') def hello_world_number(arg: str): if arg == "hello": return {"msg": "Hello World Number", "arg": arg} elif arg == "foo": return "foo"
Захаров
что значит 2 url? str тогда указывай и ветвление в функции делай
два апишных эндпоинта, ты немного не на мой вопрос отвечаешь
Yegor
два апишных эндпоинта, ты немного не на мой вопрос отвечаешь
Я просто не понимаю что тебе нужно, зачем тебе регулярки?
Захаров
чтобы @app.post ("/v1/auth/") @app.post ("/v1/auth") поддерживать одним выражением вида ("/v1/auth/?"), где "/v1/auth/?" очевидно, регулярка
Alex
Нет, идея в том, что ты возможно захочешь где-то отнаследоваться от того класса и поменять поведение. А кэшу в целом пофиг поверх чего висеть
Я это и имел в виду. Т.е. вместо того чтобы создавать наследника CachingClient ради того чтобы переопределить у него такой do мы делаем это на уровне одно инстаса NonCachingClient.
Айван
T=TypeVar("T") и вперед
А почему часто создают свой T если он и так есть в typing?
Tishka17
Я это и имел в виду. Т.е. вместо того чтобы создавать наследника CachingClient ради того чтобы переопределить у него такой do мы делаем это на уровне одно инстаса NonCachingClient.
Я имел ввиду, что у тебя будет экземпляр cl=NonCachingClient и экземпляр совершенно другого класса CachinClient, который будет юзать этот cl
Alex
А почему часто создают свой T если он и так есть в typing?
https://github.com/python/cpython/blob/3.9/Lib/typing.py#L32-L114 найди мне здесь T
Alex
Я имел ввиду, что у тебя будет экземпляр cl=NonCachingClient и экземпляр совершенно другого класса CachinClient, который будет юзать этот cl
Если я правильно понимаю, это все-таки "композиция", а не "декорирование".
Мамасолиев
Теперь я знаю что такое рид
Айван
https://github.com/python/cpython/blob/3.9/Lib/typing.py#L32-L114 найди мне здесь T
Создаётся тут, но не видел что "не для экспорта". А почему так? :/
Иван
кто шарит в symphony ? Напишите пж в лс.