Если бы мне надо было запустить это один раз - то все ок. Я скажу больше, у меня есть рабочий вариант, который не идёт по строкам, но он через чур изощрённый, и я хочу узнать Бест практик для таких задач

Прям каждый раз миллионы строк надо анализировать? Может быть можно только изменившиеся?

Конечно не сложно. Только тебе надо сделать так, чтобы народ не делал вид что купил, а на самом деле - нет

как может сделать вид? Все же просто оплата прошла - ок не прошла-не ок

И опять же, а источник данных какой, если так много данных постоянно? Может можно в бд это все сделать?

как может сделать вид? Все же просто оплата прошла - ок не прошла-не ок

Ну например прислать тебе чужой код оплаты, ты проверишь - все ок.

Или ещё как

Вон в диабле третьей было прикольно

как может сделать вид? Все же просто оплата прошла - ок не прошла-не ок

https://m.habr.com/ru/company/apps4all/blog/179161/ Вот тебе пример ошибки. Понятно что в питоне именно такую не поймаешь, но оцени масштаб

И опять же, а источник данных какой, если так много данных постоянно? Может можно в бд это все сделать?

Да нет, там работа с кликовой активностью на сайте. В общем, обязательно надо в питоне, притом быстро. Опять же, как нибудь сделать это я и сам могу. Я думал, мне тут подскажут уже придуманный для подобных целей функционал.

Если интересно - завтра скину решение

Да нет, там работа с кликовой активностью на сайте. В общем, обязательно надо в питоне, притом быстро. Опять же, как нибудь сделать это я и сам могу. Я думал, мне тут подскажут уже придуманный для подобных целей функционал.

Хм. Может стоит уже задуматься о хадупе?

Хм. Может стоит уже задуматься о хадупе?

Пока нет необходимости, пандаса с головой хватает для решения всех задач

Ок

Ну я не шарю

Камрады, подскажите асинхронный ORM для постгресса.

peewee-async, gino

а из опыта, что кошернее загуглить и я могу

с peewee-async работал, в принципе ок, особых проблем не было + можно админку подключить без особых проблем. Скорее всего к гино тоже можно, раз он алхимию использует

Кошернее asyncpg без ормов

Вас же наверно скорость интересует, раз за асинк взялись?

Алхимию + asyncpg не советую

А что с ними?

Не так

Вас же наверно скорость интересует, раз за асинк взялись?

Орм портить скорость?

с peewee-async работал, в принципе ок, особых проблем не было + можно админку подключить без особых проблем. Скорее всего к гино тоже можно, раз он алхимию использует

у нас в проекте достаточно старая версия, у нее проблемы с пулом коннектов были. Это единственная, из серьезных. Так же там aiopg используется, который сам по себе вроде не особо шустрый. А вообще да, орм - такое

Орм портить скорость?

Как повезёт.

Может не испортить, а может испортить

А что с ними?

Это получается такой ещё не орм, но уже не sql, у которого никаких плюсов орма, но приходится заново разбираться.

А есть нормальна ORM для монгодб и asyncio? Нашёл только aiomotorengine, у которой там около 30 звёзд на гитхабе (то есть сразу кал очевидный, уже был опыт работы с малоизвестными либами, это всегда нужно время на их доработку закладывать)

всем привет. Есть список в методе класса. метод принимает аргументы, как его сделать полиморфным, чтоб он мог принимать отдельный объект или список аргуметов и складывал их с уже существующем.

Может не испортить, а может испортить

Без орм это тоже так работает

А есть нормальна ORM для монгодб и asyncio? Нашёл только aiomotorengine, у которой там около 30 звёзд на гитхабе (то есть сразу кал очевидный, уже был опыт работы с малоизвестными либами, это всегда нужно время на их доработку закладывать)

umongo

А есть нормальна ORM для монгодб и asyncio? Нашёл только aiomotorengine, у которой там около 30 звёзд на гитхабе (то есть сразу кал очевидный, уже был опыт работы с малоизвестными либами, это всегда нужно время на их доработку закладывать)

А есть орм для монги в принципе?

А есть нормальна ORM для монгодб и asyncio? Нашёл только aiomotorengine, у которой там около 30 звёзд на гитхабе (то есть сразу кал очевидный, уже был опыт работы с малоизвестными либами, это всегда нужно время на их доработку закладывать)

Какая ещё орм для монги? Что буква Р значит в этом слове?

А есть орм для монги в принципе?

MotorEngine

Спс

Какая ещё орм для монги? Что буква Р значит в этом слове?

Ну все же поняли что я имею в виду

ну, ODM окда.

Без орм это тоже так работает

Без орм ты сидишь и оптимизируешь каждый запрос

umongo

Спасибо. Сегодня гляну

там и мотор и pymongo

Ну все же поняли что я имею в виду

Кстати. Раз зашла речь. Может вы подскажете, а в каких случаях надо юзать монгу?

Почему именно её?

Без орм ты сидишь и оптимизируешь каждый запрос

Эм, нет?.. без орм точно так же нет механзима, который бы заставил это делать

Почему именно её?

А какую еще документо ориентированную взять?

Ресинкдб немного мертв

think db

А для постгреса мы используем gino. Норм орм (Gino is not orm) если не впадлу к каждой строке в моделях писать pylint игнор

или как-там его

think db

Rethinkdb?)

а, ну она значит да

Кстати. Раз зашла речь. Может вы подскажете, а в каких случаях надо юзать монгу?

У нас очень плавающая структура бд в одном из сервисов. Решили монгу использовать

Mongo самая популярная документоориентированная ДБ

А для постгреса мы используем gino. Норм орм (Gino is not orm) если не впадлу к каждой строке в моделях писать pylint игнор

Статический анализ пайлинта постоянно ругается на гино, он не видит Columnы и типы полей в инстансе Гино. Уж очень больно каждый раз смотреть на файл моделей

Если кому интересно

Send Your Name to Mars: Mars 2020 https://mars.nasa.gov/participate/send-your-name/mars2020/e/

а, ну она значит да

Вот она заставляет оптимизовать каждый запрос)

ну, я её особо много не использовал в отличии от монги)

А какую еще документо ориентированную взять?

Ну если именно документо ориентированность

о, сейчас попробую, спасибо)

ну, я её особо много не использовал в отличии от монги)

У нее нет этапа выбора индекса и разработчик должен каждый раз для запроса явно прописать какие индексы и как использовать. Вот это очень весело

ERROR: S client not available

если в Python возникает рекурсия, то, например, в списке она отображается как "...", то есть многоточие. Странное явление

Ну если именно документо ориентированность

Ну еще могу сказать, что монга вроде как немного лучше в плане обслуживания условной репликации, чем postgresql из коробки. Но основной момент думаю все-таки связан с документно-ориентированностью, когда нужно хранить не очень связанные, но слабоструктурированные и вложенные данные

Ну еще могу сказать, что монга вроде как немного лучше в плане обслуживания условной репликации, чем postgresql из коробки. Но основной момент думаю все-таки связан с документно-ориентированностью, когда нужно хранить не очень связанные, но слабоструктурированные и вложенные данные

Ага. Только по таким данным и поиск сложнее

если в Python возникает рекурсия, то, например, в списке она отображается как "...", то есть многоточие. Странное явление

Где?

так не интересно

пытался с распаковкой, но делал через append, забыл про extend

Ага. Только по таким данным и поиск сложнее

Ну, обычно для поиска часть из этого документа таки стандартизируется, а по всему остальному поиск не нужен или нужен очень редко

Где?

Он про то, когда объект ссылается сам на себя

Он про то, когда объект ссылается сам на себя

А

Language: py3 Source: a = [] a.append(a) print(a) Result: [[...]]

Ну, обычно для поиска часть из этого документа таки стандартизируется, а по всему остальному поиск не нужен или нужен очень редко

И вот тут я даже не знаю, есть Профит перед хранением блоба в постгресе?

А что смущает?

А что смущает?

синтаксис ? А вообще очень интересуют такие пародоксальные явления

И вот тут я даже не знаю, есть Профит перед хранением блоба в постгресе?

В блоб еще надо завернуть специально, а так словарь приехал, словарь записали. Еще я бы добавил, что json field у постгреса сравнительно недавно и все теперь можно складывать в него

В блоб еще надо завернуть специально, а так словарь приехал, словарь записали. Еще я бы добавил, что json field у постгреса сравнительно недавно и все теперь можно складывать в него

Ну жсон в блоб или жсон в монгу, какая разница

Ну, если вам условный поиск таки нужен будет раз в два-три дня, то будет весело

С блобами

Какие есть библиотеки для работы с графами? ?

networkx ?

ага, крутая либа

ага, крутая либа

ebunch -> An iteratable container of edge tuples like a list, iterator, or file.

?????

Вас же наверно скорость интересует, раз за асинк взялись?

Не, я чтобы рука не отвыкала. На самом деле мне из телеграм бота асинхронного надо в БД джанги забрасывать данные, неспешно

Вас же наверно скорость интересует, раз за асинк взялись?

очень сомнительно что бы async хоть на грам влиял на скорость, если в процесс вовлечен постгрес. Во-первых редкая база умеет 1k+ соединений (даже 100 часто проблема). Во вторых там все настолько будет в базу упираться, что разницы не будет в любом случае. Скорее для однообразия с остальным кодом

Почему же. Ждать запрос от БД нужно время, за которое можно было бы выполнять другие полезные действия

Почему же. Ждать запрос от БД нужно время, за которое можно было бы выполнять другие полезные действия

вот какая связь с тем что я написал и с этим предложением?

вот какая связь с тем что я написал и с этим предложением?

Вы сказали что на скорость не влияет