smqwe
вынеси в отдельный поток.
Ну так может за меня всё сделали и есть асинхронная библиотека для этой хуйни
Alex
Ну так может за меня всё сделали и есть асинхронная библиотека для этой хуйни
хуйня у тебя вместо головы. а aiohttp прекрасно умеет работать с поткоками данных да и чего бы ему не уметь. https://docs.aiohttp.org/en/stable/streams.html
smqwe
а зачем файлик то делать? ну отдавай данные потоком
Просто отдать заголовок, что это CSV и потоком байты отдавать?
Anonymous
да
smqwe
да
Ну как вариант
smqwe
надо же. первая умная мысль.
Бля, ты самый токсичный пидорас в конфе, как только не открою почитать, все у тебя дебилы
Anonymous
Просто отдать заголовок, что это CSV и потоком байты отдавать?
проблема больше в том, что допустим набор данных 10мб
Anonymous
представь 100 клиентов их тянут - 1гб озу
Alex
представь 100 клиентов их тянут - 1гб озу
ну во-первых если данные тянуть сразу одним куском в базу непонятно зачем тут вообще потоки данных нужны.
Anonymous
предположим он курсором префетчит аккуратно по 100-500 строк
Alex
А, да не. Норм. Один клиент только
только ты учти что если ты данные тянешь из SQL базы данных, то вероятно ты их вытягиваешь все сразу в память.
Alex
если явно серверные курсоры не используешь.
smqwe
Там немного данных и небольшая нагрузка
smqwe
Даже заморачиваться не буду
Alex
Там немного данных и небольшая нагрузка
тогда к чему вообще весь этот сыр-бор.
smqwe
Меня только интересовало как данные отдать без сохранения
smqwe
Это вы там уже озу считать начали
Alex
Меня только интересовало как данные отдать без сохранения
условно вычитать из одного места и положить в другое.
smqwe
Ну вот я и спрашивал, куда положить
Alex
https://docs.aiohttp.org/en/stable/web_reference.html#streamresponse
smqwe
Да
smqwe
Я понял о чем речь
Anonymous
Ну вот я и спрашивал, куда положить
так проблема не куда положить, а сколько положить. если набор данных довольно большой, и сосут его одновременно довольно много - это проблема
Anonymous
а если там еще и сериализация какая - то совсем тоска
IANCURTIS
Кто эти роботы?
Roman
Привет привет, буду очень благодарен если кто-то подскажет, Надо сделать asyncio queu task execution. Я не понимаю 1, мне надо например 5 воркеров, значит ли это что я беру в gather 5 функий и внутри делаю while который берет и проверяет есть ли что делать ? Или не другому это надо делать ? Мне надо чтобы эти 5 воркеров работали не зависимо друг от друга
­­шизик
Народ, кто хочет получить купон на Али 1500р
­­шизик
В лс
A
как во время исполнения получить список объявленных переменных в соседнем файле foobar, который я заимпортил? dir(foobar) покажет же и всё то, что импортируется уже в самом foobar.
A
надо.
Андрей
Не надо
A
нужно.
Андрей
Не нужно
A
интересно.
Андрей
как во время исполнения получить список объявленных переменных в соседнем файле foobar, который я заимпортил? dir(foobar) покажет же и всё то, что импортируется уже в самом foobar.
Не файле, а модуле Никак не узнать, когда ты что-то в модуле импортируешь, то это что-то становится равноправным обьектом наряду с объявлеными непосредственно в самом модуле
Андрей
Да и не нужно это знать абсолютно
A
познавательно.
Roman
https://docs.python.org/3/library/asyncio-queue.html Тут вот внизу пример, в чем отличия/вопросы?
Задача такова, есть монгоДБ, там инсертиться документы с флагом status:started. Мне надо воркеры асынк и 1 главный который проверяет базу каждую секунду на новые документы со статусом started меняет на статус processing и там всякие штуки делает и потом в базу обратно ложит уже отработаную вещь.
Roman
То есть Q в которую задачи вставляет 1 воркер и 5 воркеров которые уже делают дела
Roman
А как ?
Roman
Чтобы запрос летел сразу на воркеров ?
Roman
И те уже делали дела ?
Андрей
Ну мб очередь какую-нибудь
Владимир
А как ?
Попробуйте про RabbitMQ или Redis погуглить на эту тему Бывают упоминания что можно и просто бд использовать, но это обычно приводят как так себе вариант
Roman
Я знаю что такое редис
Roman
Говоришь через редис работать?
Alex
Попробуйте про RabbitMQ или Redis погуглить на эту тему Бывают упоминания что можно и просто бд использовать, но это обычно приводят как так себе вариант
некоторые субд умеют в поллинг. но вообще rule of thumb использовать брокеры очередей. RabbitMQ как один из вариантов.
Roman
А есть мб уже готовый вариант как селери только asyncio?
Roman
Сам сайт на ноде, а воркеры должны быть на питоне у меня
Roman
Я могу и вручную в принципе Q сделать, но зачем велосипед, мне кажется должно быть уже такое решение
Андрей
А зачем там asyncio? Много I/o операций?
Ninja
Ребят, кто нибудь работал с селениумом и мультипроцессингом в python? Если в мультипроцессинге наплодить браузеров, никаких подводных камней не возникает? Или будут конфликты?
Владимир
Ребят, кто нибудь работал с селениумом и мультипроцессингом в python? Если в мультипроцессинге наплодить браузеров, никаких подводных камней не возникает? Или будут конфликты?
В официальной доке по селениуму по моему по другому решается. Счас будет ссылка https://www.selenium.dev/documentation/en/grid/ https://www.selenium.dev/documentation/en/grid/when_to_use_grid/ Но опыта запуска этого дела у меня толком нет - один раз для тестового запустил одну штуку через грид по мануалу и все)
KeyZenD
try: print(0/0) except ValueError: pass except DivisionByZero: pass так же можно отловить несколько разных ошибок?
KeyZenD
можно и except (ValueError, DivisionByZero)
не, мне просто потом надо определить какой эксепшн сработал
Anonymous
kilinov
и добавление в эти карты других людей
Александр
ребит в пабсаб плохо умеет
таки шо вы предлагаете? редис? кафка?
Anonymous
смотря что используется
Anonymous
скорей всего редис уже есть, для него это прям родная задача
Andrii
@gloomy_philosopher , тут какие-то гости странные🤔
Anonymous
Anonymous
Добавьте бота уже