Tishka17
как бы от нее избавиться
yakimka
мне в принципе не нравится кейс вытаскивать под лям записей за раз и класть в очередь
Tishka17
лям айдишников
Tishka17
может есть смысл класть не айдишники, а фильтр, чтобы целери, rq или что там у тебя брала из базы значения по фильтру, итератором, например, и обрабатывала их
ну так мне надо перелопатить миллион записей. Как мне их читать пачками? Если сделать один квери и читать пачками из курсора, мне нужна будет новая сессия для их модицикации
Tishka17
целери, rq - это просто оработчики очереди
Je
ну так мне надо перелопатить миллион записей. Как мне их читать пачками? Если сделать один квери и читать пачками из курсора, мне нужна будет новая сессия для их модицикации
новая сессия, так и что? пачками по N это очень хороший подход, который будет работать с любой размерностью базы и оперативной памятью
Tishka17
Идея была вычитать айдишники, нарезать на пачки и их обрабатывать
Tishka17
Je
сделай специальный консьюмер, который будет изменять данные, не знаю)
Je
ну в чем именно проблема сессий? у тебя однопоточная база?
Tishka17
ну в чем именно проблема сессий? у тебя однопоточная база?
у меня сраные глобальные переменные =))))
Tishka17
Мне надо в рамках одного процесса это провернуть, иначе я сдохну это всё деплоить. Их и так уже десятка 4
std::slavik
а база то какая
Tishka17
постгрес
Tishka17
В целом я могу запустить новый тред для обработки и через очередь ему отдавать пачки, но чет оверкилл
Je
тогда сдохнет постгрес) посмотри explain plan такого запроса
std::slavik
а типа обертка над базой что возвращает?
std::slavik
ну типа - генератор нельзя вернуть?
std::slavik
список если больше занимает чем надо - тут вопрос какой тип данных - там float или int
Tishka17
ну я ж говорю, хз как надежно тут в разных соединениях делать запросы
std::slavik
а список атомарно весь нужен?
Tishka17
ну в данном случае - да
Tishka17
щас гляну тип, вроде int был
std::slavik
ну тогда не вижу вариантов кроме выгребания одним запросом
Tishka17
ну соственно вопрос был - как избавиться от оврехэда x4
std::slavik
проверь тип чисел в списке, для начала
std::slavik
query = session.query(model.id).join(...).filter(...) return [int(row.id) for row in query.all()] можешь вот так попробовать
Tishka17
все ровно
Tishka17
17025660896932153979 <type 'list'> <type 'long'>
Levan (Leo)
Levan (Leo)
Levan (Leo)
Я не могу понять почему не прокает. ПОмогите плиз.
Tishka17
А можно в алхимии прчитать не all, а пачками?
std::slavik
тогда не атомарно будет)
Levan (Leo)
std::slavik
хочешь атомарно - придется все в память прочитать
Levan (Leo)
Вот это должен я воспроизвести
Levan (Leo)
С помощью запроса
Tishka17
тогда не атомарно будет)
ну я могу подождать, это не проблема
Tishka17
просто чтобы он всё в память разом не тянул, а я вытащу числа и соберу список сам
Levan (Leo)
Это впихнул как дата
Tishka17
о, yield_per
Василий
@Tishka17 А почему у тебя в ответе объекты? Без join запрос типа session.query(Certificate.id).all() выдает чисто числа.
std::slavik
ну костыль - добавить флаг какой нить что типа идет чтение
std::slavik
чтобы другие запросы которые во время чтения будут пытаться модифицировать эти данные - смотрели на флаг и не редактировали пока идет чтение)
std::slavik
но вообще я честно говоря с субд не особо на ты - скорей всего это как то средствами ихними можно разрулить
Levan (Leo)
Есть идеи ?
Levan (Leo)
Tishka17
Есть идеи ?
А почему бы не открыть документацию на API?
Levan (Leo)
Уже открыл и довно
Je
аа вообще не должна так строиться система, что не хватает обычной транзакционности
Anonymous
нет
Tishka17
аа вообще не должна так строиться система, что не хватает обычной транзакционности
да я пытаюсь застаивть периодический процесс хоть как-то работать
Tishka17
в идеале его выпилить, но это следующий этап
Tishka17
о, yield_per
в общем, этого оказалось достаточно
Василий
Может тогда вообще курсоры заюзать, раз ORM подводит?
Anonymous
Вот че ты пристал чувак
Je
о, yield_per
не понял, yield это таки курсор, ты его заюзал? и на каждую запись что-то делаешь?
Василий
не подводит
👍 Занесу в копилку yield_per. Только название странное.
Tishka17
не понял, yield это таки курсор, ты его заюзал? и на каждую запись что-то делаешь?
нет, это вместо all, настройка как будет алхимия читать из базы
Kirill
решил по фану попробовать курсы от жетбрейнса по питону, чет прям невероятно удобно. Курсы мне не нужны, но прохожу его просто потому что нравится как сделано рекомендую всем кто интересуется, бесплатно офк
Tishka17
не понял, yield это таки курсор, ты его заюзал? и на каждую запись что-то делаешь?
у меня остался точно такой же цикл чтения ID, просто теперь сама алхимия из базы не делает fetchall
Tishka17
В итоге экономлю память на алхимиевских объектах
Je
у меня остался точно такой же цикл чтения ID, просто теперь сама алхимия из базы не делает fetchall
понял, там еще есть такой вызов как values, он сам выставляет: _yield_per = 10 https://github.com/zzzeek/sqlalchemy/blob/master/lib/sqlalchemy/orm/query.py#L1458
Tishka17
Ну 10 - мало, я это буду неделю читать
Tishka17
Поставил 5к
Kirill
в питоне есть какие-нибудь аналоги рекордов? иммутабл структуры