Tishka17
У меня было пара гигов
Андрей
Но я думаю оно справится все равно
Bob
Тут вариантов реализации много , нужны условия
Alex
Тут вариантов реализации много , нужны условия
тут открытый вопрос на собеседовании. нужно показать как много ты знаешь.
Tishka17
Вот если бы попросили в жсон сдампить, уже интереснее
Alex
С фетчем по 10к записей за раз
между делом данные между фетчами по 10к записей могут потерять консистентность ;)
А
Ваай решил😥
Андрей
https://postgrespro.ru/docs/postgresql/9.5/functions-json
Tishka17
row_to_json()
Один большой валидный жсон, а не много маленьких жсончиков
Nelson
Попробовал перевести из массива (list of User object) текст в json с помощью marshmallow, но как оказалось, он порезал огромную часть текста. Как можно сделать без уменьшения обьема информации?
Tishka17
допустим еслиу нас алхимия. Как тут решается?
Там есть настройка фетча при селекте
Tishka17
json_build_array
10 гигабайт
Anonymous
Там есть настройка фетча при селекте
консистентность гарантируется?)
Tishka17
между делом данные между фетчами по 10к записей могут потерять консистентность ;)
Вообще мне казалось, если ты курсором бежишь, то консистентность будет
Андрей
10 гигабайт
:) Угу Не подумал
Tishka17
А, ты про сервер сайд курсор?
А хз, про тот, который фетчмени
Tishka17
Там разве нету неявгогл серверного?
Alex
Там разве нету неявгогл серверного?
эм... нет, сервер сайд курсор таки явный.
Андрей
По идее есть
Андрей
эм... нет, сервер сайд курсор таки явный.
Нет же вроде Сегодня ночью доку смотрел Ща пересмотрю, конечно
Alex
https://www.psycopg.org/docs/usage.html#server-side-cursors
Alex
Нет же вроде Сегодня ночью доку смотрел Ща пересмотрю, конечно
ну тебе нужно создать поименованный курсор
Sergey️
Подскажите, как в такой структуре сгенерить миграции (alembic)? чето туплю и кажется что некторые файлы не на своих местах
Sergey️
alembic --config <path/to/alembic.ini> ...
Из какой директории?
Alex
Из какой директории?
по идее из любой
Sergey️
он еще env.py пытается найти
Андрей
Ух)))
Alex
он еще env.py пытается найти
дык путь к env.py прописан в alembic.ini
Андрей
Ты намучаешься сейчас :)
Alex
в общем покажи alembic.ini для начала
Sergey️
дык путь к env.py прописан в alembic.ini
Мне досталось без этого)))
Sergey️
короче заработало так cd ./app alembic --config migrations/alembic.ini revision Внутри alembic.ini [alembic] script_location = migrations
Alex
Мне досталось без этого)))
в alembic.ini должен быть обязательно указан script_location параметр
Sergey️
Ага
Sergey️
короче заработало так cd ./app alembic --config migrations/alembic.ini revision Внутри alembic.ini [alembic] script_location = migrations
Естественно изменений алембик не видит. Пойду разбираться :))
Андрей
Модуль с моделями не выполнился
Tishka17
https://www.psycopg.org/docs/usage.html#server-side-cursors
Хм. Звучит конечно логично, но там внутри вроде сложнее устроено
Farrukh
Посоветуйте плиз программу GUI (может сами пользуетесь) для просмотра логов из текстового файла Или даже может есть такая, что показывает в риал тайм)
Aragaer
вот да
Alex
Хм. Звучит конечно логично, но там внутри вроде сложнее устроено
Я не говорил что это ответ на начальный вопрос. Это был ответ на твой вопрос про курсоры и fetchmany.
Tishka17
Надо будет глянуть
Nelson
Попробовал перевести из массива (list of User object) текст в json с помощью marshmallow, но как оказалось, он порезал огромную часть текста. Как можно сделать без уменьшения обьема информации?
Tishka17
Мне казалось, там внутри всегда создаётся анонимный сервер сайд курсор, но автоматом удаляется
Tishka17
Точнее даже не анонимный, со сгенерированным именем
Tishka17
Но могу путать с ораклом
Alex
Мне казалось, там внутри всегда создаётся анонимный сервер сайд курсор, но автоматом удаляется
кажется мы этот вопрос уже обсуждали когда-то When a database query is executed, the Psycopg cursor usually fetches all the records returned by the backend, transferring them to the client process. If the query returned an huge amount of data, a proportionally large amount of memory will be allocated by the client. по ссылке выше
Tishka17
Да, я понял
Alex
и емнип в постгресе серверные курсоры только именованные
Sergey️
Андрей
Кстати А почему executemany по одной записи в цикле фигачит, вместо того, чтобы пачкой вставлять?
Tishka17
Вопросы к libpq
Андрей
А куда импортнуть?
Я обычно в инит делал
Андрей
https://github.com/psycopg/psycopg2/blob/f469331af5f7b236f8037b302b69c2bf0df2a096/psycopg/cursor_type.c#L534
Андрей
для env.py?
Для моделей очевидно
Sergey️
Для моделей очевидно
Ну, сами модели туда импортнуть?
Андрей
Да хоть куда, главное чтобы код модуля с ними исполнился, чтобы мета, в алембик указанная, узнала про них
Вадим
Есть ли возможность загружать и скачивать через- телеграм бота документы больше 50 мб мб?
Tanya
Всем привет🙋🏻‍♀️ Я хочу изменить свою жизнь и стать Python программистом! Свой путь я уже начала, но мне нужна поддержка, и как я поняла, лучшим мотиватором для меня, являются зрители и единомышленники на моих стримах. Присоединяйтесь и помогите не только мне, но и узнайте что-то новое для себя. 🕘Завтра (19 декабря) в 22:00 по Мск хочу начать совместный бесплатный просмотр онлайн-лекций топовых мировых университетов, где будет «проба на вкус» нескольких языков программирования с дальнейшим углублением в Python. Ссылка, где пройдёт завтрашняя лекция ниже👇🏼Кто со мной? Можете обратиться за подробностями в личку, чтобы не захламлять чат. https://twitch.tv/tanchr
Tanya
Ну чё поцаны, го по страйку скинемся :)
Буду очень не признательна😁
Tanya
Классный бизнес.
Не думаю, что бизнес, где нет монетизации можно назвать классным😀
Anonymous
Донаты нужно только сделать красивые и блузку с вырезом. Думаю, будет намного выгоднее даже, чем программировать.
Anonymous
Изображать программирование и делать фансервис.
Tanya
Донаты нужно только сделать красивые и блузку с вырезом. Думаю, будет намного выгоднее даже, чем программировать.
Понимаю, трудно поверить, что я реально этим увлечена:) Даже лёгкий чат-бот создала в Телеграмме:)
Anonymous
Не думаю, что бизнес, где нет монетизации можно назвать классным😀
Есть же. Самая очевидная монетизация. Ну очевидно же, что образ девочки-программистки с фансервисом будет очень классно продаваться, если в образ вкладывать и нужными местами светит. ЦА расплывётся и будет лебезить. Донатики кидать большие будут.
👑OGURCHIK🖤
Почему не утуб
что бы ты спросил