Tishka17
как бы от нее избавиться
Nikita
yakimka
мне в принципе не нравится кейс вытаскивать под лям записей за раз и класть в очередь
Tishka17
лям айдишников
Tishka17
Je
yakimka
Tishka17
целери, rq - это просто оработчики очереди
Je
Tishka17
Идея была вычитать айдишники, нарезать на пачки и их обрабатывать
Tishka17
Je
сделай специальный консьюмер, который будет изменять данные, не знаю)
Tishka17
Je
ну в чем именно проблема сессий? у тебя однопоточная база?
Tishka17
Tishka17
Мне надо в рамках одного процесса это провернуть, иначе я сдохну это всё деплоить. Их и так уже десятка 4
std::slavik
а база то какая
Tishka17
постгрес
Tishka17
В целом я могу запустить новый тред для обработки и через очередь ему отдавать пачки, но чет оверкилл
Je
тогда сдохнет постгрес) посмотри explain plan такого запроса
std::slavik
а типа обертка над базой что возвращает?
Tishka17
std::slavik
ну типа - генератор нельзя вернуть?
std::slavik
список если больше занимает чем надо - тут вопрос какой тип данных - там float или int
Tishka17
ну я ж говорю, хз как надежно тут в разных соединениях делать запросы
std::slavik
а список атомарно весь нужен?
Tishka17
ну в данном случае - да
Tishka17
щас гляну тип, вроде int был
std::slavik
ну тогда не вижу вариантов кроме выгребания одним запросом
Tishka17
ну соственно вопрос был - как избавиться от оврехэда x4
std::slavik
проверь тип чисел
в списке, для начала
std::slavik
query = session.query(model.id).join(...).filter(...)
return [int(row.id) for row in query.all()]
можешь вот так попробовать
Tishka17
Tishka17
все ровно
Tishka17
17025660896932153979 <type 'list'> <type 'long'>
Levan (Leo)
Levan (Leo)
Levan (Leo)
Я не могу понять почему не прокает. ПОмогите плиз.
Tishka17
А можно в алхимии прчитать не all, а пачками?
std::slavik
тогда не атомарно будет)
Levan (Leo)
std::slavik
хочешь атомарно - придется все в память прочитать
Levan (Leo)
Вот это должен я воспроизвести
Levan (Leo)
С помощью запроса
Tishka17
просто чтобы он всё в память разом не тянул, а я вытащу числа и соберу список сам
Levan (Leo)
Tishka17
о, yield_per
Василий
@Tishka17 А почему у тебя в ответе объекты? Без join запрос типа session.query(Certificate.id).all() выдает чисто числа.
std::slavik
ну костыль - добавить флаг какой нить
что типа идет чтение
Tishka17
std::slavik
чтобы другие запросы которые во время чтения будут пытаться модифицировать эти данные - смотрели на флаг и не редактировали пока идет чтение)
std::slavik
но вообще я честно говоря с субд не особо на ты - скорей всего это как то средствами ихними можно разрулить
Levan (Leo)
Есть идеи ?
Levan (Leo)
Tishka17
Есть идеи ?
А почему бы не открыть документацию на API?
Levan (Leo)
Уже открыл и довно
Anonymous
Je
Je
аа вообще не должна так строиться система, что не хватает обычной транзакционности
Anonymous
нет
Tishka17
Tishka17
в идеале его выпилить, но это следующий этап
Василий
Может тогда вообще курсоры заюзать, раз ORM подводит?
Anonymous
Вот че ты пристал чувак
Tishka17
Je
о, yield_per
не понял, yield это таки курсор, ты его заюзал? и на каждую запись что-то делаешь?
Василий
не подводит
👍 Занесу в копилку yield_per.
Только название странное.
Василий
Tishka17
Kirill
решил по фану попробовать курсы от жетбрейнса по питону, чет прям невероятно удобно. Курсы мне не нужны, но прохожу его просто потому что нравится как сделано
рекомендую всем кто интересуется, бесплатно офк
Tishka17
В итоге экономлю память на алхимиевских объектах
Anonymous
Tishka17
Ну 10 - мало, я это буду неделю читать
Tishka17
Поставил 5к
Kirill
в питоне есть какие-нибудь аналоги рекордов? иммутабл структуры