А давайте про базы данных

сори

Есть ли способ сделать так, чтобы последовательность записей при select была всегда одна и та же, если сортировка совпадает по всем полям? На ум приходит добавить сортировку по дате создания строки в таблице. Или можно как то зафиксировать план выполнения запроса?

добавить поле ID ?

скрытый oid вроде уже не создаётся по умолчанию

скрытый oid вроде уже не создаётся по умолчанию

Есть ctid, но его стабильность не гарантирована

Есть ли способ сделать так, чтобы последовательность записей при select была всегда одна и та же, если сортировка совпадает по всем полям? На ум приходит добавить сортировку по дате создания строки в таблице. Или можно как то зафиксировать план выполнения запроса?

А order by 1,2,3,4,5,6,7 не подходит?

А причём тут план запроса?)

При выполнении результат разный. Одинаковые по критериям строки местами случайным образом меняются

primary key есть в таблице?

При выполнении результат разный. Одинаковые по критериям строки местами случайным образом меняются

Добавьте первичные ключи (или их аналоги) в ORDER BY.

@Warstone будет жить. Поприветствуем!

@d0as8 будет жить. Поприветствуем!

Здравствуйте, уважаемые. Вопрос такой возник: Надо хранить JSON в базе, с сохранением форматирования "как ввели" (поле ввобще в админке - JSON), но нужно уметь unique на колонку именно как JSON, а не как текст. Вопрос: JSON типа, хватит или лучше хранить как текст а в unique приводить к JSON'у (и можно-ли так делать)?

что значит хранить как ввели?

primary key есть в таблице?

Это view

Материализованное

Primary key - да. Должно сработать. Спасибо

Здравствуйте, уважаемые. Вопрос такой возник: Надо хранить JSON в базе, с сохранением форматирования "как ввели" (поле ввобще в админке - JSON), но нужно уметь unique на колонку именно как JSON, а не как текст. Вопрос: JSON типа, хватит или лучше хранить как текст а в unique приводить к JSON'у (и можно-ли так делать)?

JSON не гарантирует порядок ключей. Какой уж тут UNIQUE

что значит хранить как ввели?

Сохранить форматирование.

ну тогде храни как текс, и делай unique индекс)

JSON не гарантирует порядок ключей. Какой уж тут UNIQUE

Разве? Кажется, JSON (не JSONB) действительно хранит "как ввели"... или я путаю?

ну тогде храни как текс, и делай unique индекс)

Типа unique по field::json(b)?

Разве? Кажется, JSON (не JSONB) действительно хранит "как ввели"... или я путаю?

даже переносы строк?)

можно хранить как текст, а уникальность по тексту с выпиленными пробелами.

а, нет

нельзя

Разве? Кажется, JSON (не JSONB) действительно хранит "как ввели"... или я путаю?

Если под json и jsonb понимать типы данных PostgreSQL то всё правильно

{ a: 1, b:2 } и { b: 2, a: 1 } с точки зрения уникальности должны быть одинаковы, как я понимаю? Можно хранить как текст, а уникальность по какому-нибудь хешу отсортированных пар ключ-значение. Без собственного формирования ключа не обойтись имхо.

даже переносы строк?)

Ну да, похоже на то: Because the json type stores an exact copy of the input text, it will preserve semantically-insignificant white space between tokens, as well as the order of keys within JSON objects. Also, if a JSON object within the value contains the same key more than once, all the key/value pairs are kept. Я вообще почти не пользовался, но тот, кому нужно, может проверить.

Nfv vj;tn ,snm dkj;tyyst ckj;yst cnhernehs

=> CREATE TABLE test (id BIGSERIAL NOT NULL PRIMARY KEY, value TEXT); CREATE TABLE => CREATE UNIQUE INDEX ON test ((value::jsonb)); CREATE INDEX => INSERT INTO test (value) VALUES ('{"key":"value"}'); INSERT 0 1 => INSERT INTO test (value) VALUES ('{ '> "key": "value" '> }'); ERROR: duplicate key value violates unique constraint "test_value_idx" DETAIL: Key ((value::jsonb))=({"key": "value"}) already exists. Вопрос производительности и скорости, конечно, но в данном случае это не так важно...

а с несколькими ключами в разном порядке это тоже работает?

и с вложенными массивами, например

не факт, что проверяются все уровни вложенности

Нормально там с вложенностью. Проверил. Но если значения в хешах различаются, то это не уникальные значения (что правильно, но может быть для некоторых - континтуитивно)

Вопрос оттуда-же... => INSERT INTO test (value) VALUES ('{"key":"value"}') ON CONFLICT DO NOTHING RETURNING id; id ---- (0 rows) INSERT 0 0 То есть если я конфликтнул, то такая запись уже есть, но я не получу ее id. Это описано в доке и т.д., но я хотел-бы получить id. Я могу обойти эту ситуацию так: => INSERT INTO test (value) VALUES ('{"key":"value"}') ON CONFLICT ((value::jsonb)) DO UPDATE SET value = test.value RETURNING id; id ---- 1 (1 row) INSERT 0 1 Но это явный хак всего что можно... Есть какой-то нормальный вариант получить id конфликтующей записи?

Вопрос оттуда-же... => INSERT INTO test (value) VALUES ('{"key":"value"}') ON CONFLICT DO NOTHING RETURNING id; id ---- (0 rows) INSERT 0 0 То есть если я конфликтнул, то такая запись уже есть, но я не получу ее id. Это описано в доке и т.д., но я хотел-бы получить id. Я могу обойти эту ситуацию так: => INSERT INTO test (value) VALUES ('{"key":"value"}') ON CONFLICT ((value::jsonb)) DO UPDATE SET value = test.value RETURNING id; id ---- 1 (1 row) INSERT 0 1 Но это явный хак всего что можно... Есть какой-то нормальный вариант получить id конфликтующей записи?

"Нормального" (в смысле краткого/built-in) нет, насколько мне известно. А так: https://stackoverflow.com/a/42217872

придумалось навскидку with a(id) as (insert into test(val) values('c') on conflict do nothing returning id) select coalesce((select id from a), (select id from test where val = 'c'));

Кто может подсказать по pg_dump? Ситуация такая. Есть база, к ней ридонли доступ. Надо сдампить контент как INSERT statements. pg_dump выдает ошибку pg_dump -h xxxxxxxxx.amazonaws.com -U xxxxx -W -d web --data-only --column-inserts -x -n public --table=core_additional_information >test.sql Password: pg_dump: [archiver (db)] query failed: ERROR: permission denied for relation core_additional_information_id_seq pg_dump: [archiver (db)] query was: SELECT last_value, is_called FROM core_additional_information_id_seq

Какие бы опции не указывал, выходит эта ошибка

Какие бы опции не указывал, выходит эта ошибка

Да это просто на sequence(s) прав не хватает. А пробовали их исключить из дампа (кажется, -T или --exclude-table-data)? Не помню, работает ли это для sequences...

щас попробую. прав для редактировать прав нету))

Вообще нужен ридонли суперюзер что бы бэкап снимать @FelixTheMagnificent

Вообще нужен ридонли суперюзер что бы бэкап снимать @FelixTheMagnificent

Есть доступ только на чтение к сожалению

CREATE USER felix SUPERUSER password 'backupuser'; ALTER USER felix set default_transaction_read_only = on;

Да это просто на sequence(s) прав не хватает. А пробовали их исключить из дампа (кажется, -T или --exclude-table-data)? Не помню, работает ли это для sequences...

к сожалению, не сработало

Вот так нужно создавать read only юзера что бы он мог бэкапы снимать

мне не для бэкапов. а просто данные перенести

схема есть уже, таблицы тоже

только данные insert-ами

Повторяю еще раз. Что бы read only пользователь мог дампить базу, он должен быть создан той командой, что я написала выше

Сам пользователь, а не дамп. Понимаешь?

Сам пользователь, а не дамп. Понимаешь?

ты думаешь, что я думаю, что командами CREATE USER создается дамп??

Сдаюсь. Обясните кто нибудь другой

я не понимаю, почему если я могу читать данные, почему я их не могу сдампить стандартной утилитой

только данные, без индексов, связей и т.д.

чтобы в итоге получилось куча инсертов

Феликс

Читай внимательно!

Нужно что бы у тебя был суперюзер для этого

Хоть и с read only правами

Но суперюзер

Понимаешь???

не понимаю, зачем суперюзер для select *

или это какая-то постгре магия?

Понимаешь???

И я не понимаю

Вопрос был как это сделать или зачем мне суперюзер что бы это делать?

вопрос был как имея текущие права на чтение, сдампить данные из конкретных таблиц базы

или это какая-то постгре магия?

нет, суперпользователь не нужен вам достаточно доступа на чтение для выполнения pg_dump

ох лол

И как не лень, диву даёшься.

нет, суперпользователь не нужен вам достаточно доступа на чтение для выполнения pg_dump

а почему тогда pg_dump выкидывает ошибку, описанную выше?

потому что у вас нет доступа к этой последовательности

core_additional_information_id_seq

Это я понял. А есть возможность сдампить, не имея доступа к последовательностям?

как именно ты собираешься дампить то, на что не имеешь права смотреть?

как именно ты собираешься дампить то, на что не имеешь права смотреть?

так я указываю дампить ту таблицу, к которой я заведомо имею доступ

как именно ты собираешься дампить то, на что не имеешь права смотреть?

Ну нас же вроде не интересуют параметры sequence, нас интересуют данные из таблицы

просто как-то нелогично получается) в теории я могу написать скрипт, который делает select *, а потом построчно распихивает в sql insert данные

а pg_dump по сути то же самое сделать не может

а падает только при добавлении флага --column-inserts?

Нет

а падает только при добавлении флага --column-inserts?

тоже вариант, проверю

postgres=# create table test_json (id bigserial, jtext json); CREATE TABLE postgres=# INSERT INTO test_json (jtext) VALUES ('{"key":"value","key2":"value2"}'); INSERT 0 1 postgres=# INSERT INTO test_json (jtext) VALUES ('{"key2":"value2", "key":"value " }'); INSERT 0 1 postgres=# create user reader password 'readpass'; CREATE ROLE postgres=# grant select on test_json to reader; GRANT postgres=# \q [nikor@hill ~]$ pg_dump -U reader -d postgres --data-only--table test_json pg_dump: [archiver (db)] query failed: ERROR: permission denied for relation test_json_id_seq pg_dump: [archiver (db)] query was: SELECT last_value, is_called FROM test_json_id_seq [nikor@hill ~]$

Оно таки хочет узнать всё про sequence которое поддерживает bigserial.

ой, прикольно ? я тоже все сломал ) update - нет, все стало нормально)

Конечно проще биться головой об закрытую дверь, чем просить пользователя с правильными правами. ей богу быстрее было бы в sql клиент вытащить всю таблицу и экспортировать куда надо, если вот прям кроме голых данных одной таблицы больше ничего не нужно

ну тут не про быстрее же, а просто интересное поведение ?

понятно, что много решений можно придумать в обход

Если ситуация такая же как вчера, то ему надо быстрее ?