О_О

Всем привет. Помогите с sequlize postgres... воощем создаю табл через миграции - все ок, создаеться по все по инструкции, потом добавляю туда через seed пару тестовых записей - все ок. Потом делаю через sq запрос на выроб всех записей, пишет что нет поля createAt. Хотя я его не где не указывал - не в миграции, не в модели -_-

Ох уж эти ORM.

+)

Всем привет. Помогите с sequlize postgres... воощем создаю табл через миграции - все ок, создаеться по все по инструкции, потом добавляю туда через seed пару тестовых записей - все ок. Потом делаю через sq запрос на выроб всех записей, пишет что нет поля createAt. Хотя я его не где не указывал - не в миграции, не в модели -_-

Попробуй добавить и описать эти поля

ну да, так должно работать. но онни мне не нужны 0_о

Обычно ORM их любят добавлять

Да и в будущем могут пригодиться

как изменить уже созданной базе локаль?

Собственно charset хранения данных в базе можно поменять только через export/import (возможно с потерей символов которые не отконвертируются в новый charset). А вот порядок сортировки можно менять отдельно от charset'а

у ORM него есть свой табл

Ну это разные вещи

хм

жаваскрипт осилел, как работает стек не осилел, эх

осилю)

с вашей помощью

Обычно ORM их любят добавлять

ты был прав

в базе сделали truncate таблицы , инкрементального бекапа нету только вчерашний есть полный, есть возможность возобновиться на сегодняшную дату? может есть утилиты какието ?

помогите пожалуйста

Эх блин сегодня настраивал бармена и не успел

будем обновлятся с бумажек

Полный логический или физический?

pg_dump

Это логический. С ним никак не получится.

С физическим (например pg_basebackup) при наличии пачки WAL-логов с момента бекапа можно было бы попробовать.

Интересно как работает truncate в pg

Я знаю как в oracle... В pg явно по другому

Судя по тому, что в pg его можно прервать - это не аналог drop/create table

А я по челябински бекаплюсь autopostgresqlbackup. И оно мне каждую ночь все базы пакует в архив

Зато я 500% знаю что есть найтбэкап рабочий и не раз из него восстанавливался

Зато я 500% знаю что есть найтбэкап рабочий и не раз из него восстанавливался

Нее

На отдельный лун улетают все базы ))))

И нормально

Можно 100% быть уверенным, только когда бэкапы проверяются и находятся в нескольких географически разделенных местах

Я их проверяю )))))))

У нас в проде ibm xiv между цод

И то как говорят медики 96%, что надежно

Ну у вас серьезно

Мне и так хватает, база в 120-180гб нормально за ночь трамбуется

если бы база была 200 гб, можно было бы в день несколько раз бэкапиться

Можно 100% быть уверенным, только когда бэкапы проверяются и находятся в нескольких географически разделенных местах

Я их проверяю - раз в месяц стабильно происходит гусинная хуйня и приходиться восстанавливать

Я терял бд однажды как раз из-за того, что в архиве бэкапа не хватало несколько килобайт - а именно сжатие сделало его полностью непригодным

Я терял бд однажды как раз из-за того, что в архиве бэкапа не хватало несколько килобайт - а именно сжатие сделало его полностью непригодным

Печаль

Архив даже распаковывался, но писал в самом конце... Чет я немного бит... Такому бэкапу уже доверия нет

Пришлось откатывать на 4 часа раньше

Через нехватку места для архива я тоже проходил

Я их проверяю - раз в месяц стабильно происходит гусинная хуйня и приходиться восстанавливать

не делаете бэкапов - у вас нет базы архивируете в одно место - очень похоже, что у вас ничего нет архивируете в два места - возможно у вас что-то есть

не делаете бэкапов - у вас нет базы архивируете в одно место - очень похоже, что у вас ничего нет архивируете в два места - возможно у вас что-то есть

У меня там не критично. Есть и ленты и агенты вимбэкап

Но это не тот случай

Судя по тому, что в pg его можно прервать - это не аналог drop/create table

в смысле прервать? чем и как?

Банальным ctr+c

Банальным ctr+c

а drop table разве не также ? ))

Ну нужна реакция мангуста

видимо потому-что при дропе запись идёт сразу в системные таблицу что таблицы нету, а при truncate нужно удалить информацию про наличие у этой таблице данных, потом ещё сами файлики удалить(хотя этот момент в дропе то же должен быть).

В общем нужно курить исходники

видимо потому-что при дропе запись идёт сразу в системные таблицу что таблицы нету, а при truncate нужно удалить информацию про наличие у этой таблице данных, потом ещё сами файлики удалить(хотя этот момент в дропе то же должен быть).

Вот тут вопрос - кто удаляет файлы

Не вакуум ли

при дропе?

При truncate

фиг знает

думаю при дропе в вал не пишет, а при транкейте пишет, вот он и дольше.

ERROR: S client not available

Не вакуум ли

Нет

а кто же еще?

Вакуум при транкейт не вызывается же

https://doxygen.postgresql.org/tablecmds_8c.html#a948f04931e2e01214431547fd8277dd4

Вакуум при транкейт не вызывается же

а если транзакция не закомичена? ктоже кроме автовакуума это может сделать после коммита

только вроде чистятся буфера во время выполнения :)

создаётся новый пустой файл. старый не удаляется до комита. никакого вакуума

старый файл удаляется процессом автовакуума

ну в исходниках написано именно про коммит

а также "Furthermore, it reclaims disk space immediately, rather than requiring a subsequent VACUUM operation." в мануале

а также "Furthermore, it reclaims disk space immediately, rather than requiring a subsequent VACUUM operation." в мануале

так это про то что создается новый relation

http://prntscr.com/ferfum

угу

так и я про то

в общем, это всё сводится к вызову RelationDropStorage(), которая добавляет relation в список PendingRelDelete с включенным флагом atCommit

забавно. В постгресе TRUNCATE transaction-safe, но не MVCC-safe. а в мускле наоборот

в общем, это всё сводится к вызову RelationDropStorage(), которая добавляет relation в список PendingRelDelete с включенным флагом atCommit

ну да, вы правы, защищено wal https://doxygen.postgresql.org/storage_8c_source.html#l00477 http://prntscr.com/feri68

оно его даже пересоздает чтоб удалить :)

А никто не пользовался https://azure.microsoft.com/en-us/pricing/details/postgresql/ ?

Мы проверяли. Производительность отсутствует. Может поправят со временем. Ну и нет многих средств управления. Лучше попробуйте нашу виртуалку там же. Немного ошиблись в процессе и в результате Стандарт опубликовали со встроенной поддержкой за деньги. Это поправим. Но там первый месяц бесплатно. Сейчас готовим Enterprise. За пару недель доделаем. Он побыстрее и пофункциональнее

Мы проверяли. Производительность отсутствует. Может поправят со временем. Ну и нет многих средств управления. Лучше попробуйте нашу виртуалку там же. Немного ошиблись в процессе и в результате Стандарт опубликовали со встроенной поддержкой за деньги. Это поправим. Но там первый месяц бесплатно. Сейчас готовим Enterprise. За пару недель доделаем. Он побыстрее и пофункциональнее

А можно ссылочку на виртуалку? Нам нужно аккуратно отмасштабировать базу под большие нагрузки которые будут буквально пару дней, а потом вернуть обратно

А можно ссылочку на виртуалку? Нам нужно аккуратно отмасштабировать базу под большие нагрузки которые будут буквально пару дней, а потом вернуть обратно

https://azuremarketplace.microsoft.com/en-us/marketplace/apps/postgres-pro.postgres-pro-standard?tab=Overview

Спасибо

поздравьте, одна заливка с pgloader работает уже больше месяца и все никак не закончит, .dat файл вырос до 6GB на ошибках duplicate pkey. И это pgloader собран с CCL, причем дефолтный билд из apt с batch size = 1000 заливал всю эту же таблицу за неделю

А какой размер таблицы, если не секрет?

А какой размер таблицы, если не секрет?

чуть больше 1ТБ

чуть больше 1ТБ

То есть скорость заливки чуть более 30Гб в сутки. Ну или 1,25 Гб в час...Как-то долго от слова очень

То есть скорость заливки чуть более 30Гб в сутки. Ну или 1,25 Гб в час...Как-то долго от слова очень

просто в дампе идет полоса дубликатов, вот pgloader их и пробует по 1шт заливать

это я раньше без индексов заливал, занимало неделю. Теперь чтоб очистить от мусора, начал заливку поверх констрейнтов

это я раньше без индексов заливал, занимало неделю. Теперь чтоб очистить от мусора, начал заливку поверх констрейнтов

А, если констрейнты, то да. А нет ли варианта создать пустую таблицу без ограничений, залить в неё за неделю, навесить индексы, почистить от мусора и подключить как дочернюю?

а sort -un по csv дампа не решит проблему?

А, если констрейнты, то да. А нет ли варианта создать пустую таблицу без ограничений, залить в неё за неделю, навесить индексы, почистить от мусора и подключить как дочернюю?

места на дисках как раз под 1 копию этого всего :( У меня сейчас задача очистить дамп от мусора, сдампить что есть на aws, и поставить нормальное железо

а sort -un по csv дампа не решит проблему?

тоже нет места чтоб на диске это держать, я и так пайпом с aws s3 cp это заливаю

места на дисках как раз под 1 копию этого всего :( У меня сейчас задача очистить дамп от мусора, сдампить что есть на aws, и поставить нормальное железо

это вот то что ты уже полгода (если не больше) делаешь?