Андрей
Я вот тоже подумал, что опять хтмл регулярками разбирают
Проксимов
Вот оно и сожрет все от https:// до последнего .html
👑OGURCHIK🖤
Тогда все между =" и ">
Nastya
Добрый вечер. Подскажите, пожалуйста английский телеграм чат о питоне. Желательно, с вменяемыми модераторами.
Андрей
Ахаха
Anonymous
Привет), на собесе задали вопрос: есть таблица 10 гигов к примеру (смысл что большая), ее нужно записать в csv, мол как будешь делать? Отетил: мол делаем запрос в результате чего должен получится генератор, а потом пишим в файл через цикл по генератору. Возможно я отупел, что тут от меня хотели?) Или в таком ответе узкое место - "должен получится генератор" ? Что думаете?
Anonymous
сорян))), да в sql база
Alex
сорян))), да в sql база
в общем садись, два. при запросе в базу данных на выборку всей таблицы ты в общем случае получишь полностью все содержимое этой таблицы.
Alex
так что твой "должен получиться генератор" мимо
Андрей
Сервер сайд курсор же
Alex
Alex
Сервер сайд курсор же
алсо тут можно еще пофантазировать на тему времени выгрузки этого барахла и импакта на рабочую базу данных.
Alex
так что одним сервер сайд курсором дело может не обойтись
Anonymous
т.е. брать данные порционно?
Андрей
Тут питон не нужен
Alex
Тут питон не нужен
ась? вроде конкретная СУБД не была оговорена
Anonymous
Тут питон не нужен
в этом контексте в принципе и спрашивали)
Андрей
ась? вроде конкретная СУБД не была оговорена
А Нууу Я уж автоматом постгрю пихаю
Alex
А Нууу Я уж автоматом постгрю пихаю
ну я тоже. но вообще стараюсь не делать таких предположений.
Anonymous
пусть будет постгря
Андрей
пусть будет постгря
https://www.postgresql.org/docs/current/sql-copy.html
Anonymous
мне кажется я жертва orm... и у меня пробелы по тупо по sql...
Андрей
Файл...
что файл?
Tishka17
Я не умею в копи
Tishka17
Можно не из файла заливать им?
Андрей
ему надо из таблицы в csv
Alex
https://www.postgresql.org/docs/current/sql-copy.html
вот только COPY выполняется же на стороне сервера.
Tishka17
Ну так толку от csv, лежащего в ФС сервера бд, его оттуда фиг добудешь
Anonymous
https://www.postgresql.org/docs/current/sql-copy.html
не, ну без таких хаков)
Alex
можно конечно сделать COPY в stdout =)
Anton
Csv формат не оговорен селект в файл вывел и готово
Проксимов
можно процедуру написать
Alex
Csv формат не оговорен селект в файл вывел и готово
эм... кто сказал что это будет валидный CSV?
Alex
хз что вообще ты подразумеваешь под "select в файл"
Андрей
хахаха
Anonymous
еще спросили - что в питоне НЕ является объектом. натерпелся я бед))))))))))))
Anton
хз что вообще ты подразумеваешь под "select в файл"
У тебя любая база в консоли выводит результат селекта в виде таблицы с разделителями |
Андрей
м?
Андрей
ты хочешь стдаут в файл залить?
Anonymous
Ребят, был вопрос в вакууме. Проверить ход мыслей. Я не сталкивался с копированием из таблицы в файл. Возможно от меня и ждали что я знаю copy. Хз, но покоя не дает)
Alex
Ребят, был вопрос в вакууме. Проверить ход мыслей. Я не сталкивался с копированием из таблицы в файл. Возможно от меня и ждали что я знаю copy. Хз, но покоя не дает)
ну как минимум фраза "сделаю запрос вернется генератор" подразумевает что ты вообще не понимаешь как работает выборка из базы данных и клиентские курсоры.
Tishka17
Вообще нет
Андрей
угу
Tishka17
валидный csv?
А сделай для шутки select '|' as "|", '\n';
Anton
валидный csv?
По рфц - нет, но почти весь популярный софт прочитает
Alex
что почитать?
документацию к коннектору
Veles
если достаточно файла в файловой системе сервера, то можно использовать https://mariadb.com/kb/en/select-into-outfile/
Андрей
А сделай для шутки select '|' as "|", '\n';
ERROR: syntax error at end of input LINE 1: select '|' as
Tishka17
Tishka17
ERROR: syntax error at end of input LINE 1: select '|' as
А. Это ваш баш. Экранировать надо
Андрей
Tishka17
Должно быть две колонки ;-)
Bob
А почему не подходит вариант с забором данных кусками и писать их в файл?
Tishka17
Я вообще начало пропустил, хз в чем проблемы
Alex
Я вообще начало пропустил, хз в чем проблемы
задача: сдампить 10 гиговую таблицу в CSV.
Андрей
psql \copy bla bla bla
Tishka17
А бы взял DBeaver и нажал пару кнопок
Tishka17
С фетчем по 10к записей за раз
Андрей
Я такую задачу решал через psql 🤷‍♀️ Правда у меня не 10гб было))))