У PgPro есть функция WAITLSN - ждёт пока на слейве докатится определенный LSN https://postgrespro.ru/docs/postgrespro/9.6/sql-waitlsn.html После внесения изменений на primary можно получить текущий LSN с помощью pg_current_xlog_location() и дождаться его на slave

flvyes_123

Привет. Делаю дамп с базы тестовой. Он получается 15гб. Можно ли как-то порезать этот дамп, некоторые "лишние таблицы" почистить при дампе? На рабочую машину не влазит

дампать только нужные таблицы

вот правда... порой хочется ответить man pg_dump

наверное не точно выразился

Привет. Делаю дамп с базы тестовой. Он получается 15гб. Можно ли как-то порезать этот дамп, некоторые "лишние таблицы" почистить при дампе? На рабочую машину не влазит

--exclude-table-data=table_name

мне нужно не исключить полностью, а оставить там 10% строк

сэмплинг

угу

и он, поди, должен быть согласованный?

если я исключу полностью, то остальное сломается(

в смысле, чтоб все целостности сохранились и т.д.

я таких автоматических/generic механизмов не знаю, скорее всего вам нужно пилить что-то свое

видимо придется пилить скрипт, который будет делать бэкап, удалять часть базы и делать дамп

спасибо

ну это может быть частью некого ETL (https://ru.wikipedia.org/wiki/ETL)

т.е. не обязательно в какой-то БД удалять что-то

можно просто вытягивать из src (БД источник) небольшой согласованный набор данных

не знаю таких слов)

но все это делать надо с учетом понимания вашей схемы и домена

А можно просто делатать копию базы, вызывать заранее написанную процедуру-удалялку,потом уже ее дамп делать

Ну как вариант

возможно у тебя есть таблицы с историей или логами в базе. вот их можно исключить. обычно после такого дамп сильно меньше

согласованный кусок данных ты в общем случае никак не выгрузишь. БД не располагает такой инфой(с учетом кастомных констрейнов, циклических ссылок через десяток таблиц и тд)

мне нужно не исключить полностью, а оставить там 10% строк

Он же сказал что нужно частично таблицы чистить

в общем, решил написать скрипт, который чистит базу и после делает дамп. А потом восстанавливает базу из бэкапа

согласованный кусок данных ты в общем случае никак не выгрузишь. БД не располагает такой инфой(с учетом кастомных констрейнов, циклических ссылок через десяток таблиц и тд)

Сорри ты опередил

Они там охуели со своими комиссиями

еще кто-то не пользуется онлайн-банками?

Не является проблемой, если первичными являются банковские счета. У меня часто наличности нет вообще.

Здравствуйте. Я знаю что здесь у же речь об этом поднималась. Мне нужно быстро сделать партиционирование на таблице размером в почти 1 ТБ - что посоветуете?

воспользоваться поиском? %)

судя по поиску проблема с returning id при инсёрте не решена в pg-pathman

а pg_partman не подходит?

судя по поиску проблема с returning id при инсёрте не решена в pg-pathman

В pg-pathman как раз вроде поддерживается returning.

а pg_partman не подходит?

вроде это он и есть, просто переименованный.

судя по поиску проблема с returning id при инсёрте не решена в pg-pathman

а вы можете уточнить проблему?

а это в первой версии вроде?

Да.

а вы можете уточнить проблему?

ну у нас используется джанга, и она ждёт returning id при вставке

а вставка в род таблицу не происходит, а в партицию сразу

раньше так работало вроде

и?

и возращает 0

я правильно понимаю, что речь идет о том, что на родителе висит default?

я правильно понимаю, что речь идет о том, что на родителе висит default?

ну джанга как раз общается только с род таблицей

ну джанга как раз общается только с род таблицей

я предлагаю продолжить общение в личке, чтобы никому не мешать

добавьте меня про джангу и парцирование

мне это тож надо

Зря вы убежали партицировать в отдельный чат.

Тут бы инфа пригадилась многим

*пригодилась

Кто-то уже решает подобную проблему, кто-то читает и перенимает опыт. Все пригодится

это точно

Перенаправите выжимки из чата сюда)

Если так подумать, то со стороны выглядело как попытка замять проблему :) На самом деле мы проблему воспроизвести не смогли, ни в psql, ни с Джанго. Если все-таки подтвердится - будем решать

Репост будет

Перенаправите выжимки из чата сюда)

Я буду испытания проводить на живом приложении на днях. Отпишусь о результатах.

ERROR: S client not available

Я вот прям уверен, что можно select somefunc(123) превратить в команду в psql типа somefunc(123). Не подскажите, в какую сторону копать?

Я вот прям уверен, что можно select somefunc(123) превратить в команду в psql типа somefunc(123). Не подскажите, в какую сторону копать?

Если не секрет, почему уверены?) документация говорит, что без select/perform функцию вызвать нельзя.

Если не секрет, почему уверены?) документация говорит, что без select/perform функцию вызвать нельзя.

ну хз, подумал это очевидно (

Я вот прям уверен, что можно select somefunc(123) превратить в команду в psql типа somefunc(123). Не подскажите, в какую сторону копать?

можно прописать shortcut в файлик .psqlrc (лежит в домашней папке юзера): \set somefunc 'SELECT somefunc' и потом использовать так: :somefunc(123)

можно прописать shortcut в файлик .psqlrc (лежит в домашней папке юзера): \set somefunc 'SELECT somefunc' и потом использовать так: :somefunc(123)

Вот, спасибо. Был уверен, что это есть

подскажите плиз. если исполнить запрос update table set column='-infinity'::timestamp with time zone

проставится -infinity в каждую строку? или высчитается дата

эм, а выполнить запрос дольше, чем ждать ответа в чатике?)

проставляется -infinity

вопрос в том что есть два поля udt типа timestamp with time zone и по умолчанию new() и поле adt того же типа по умолчанию '-infinity'::timestamp with time zone

при инсерте в таблицу в поле udt проставляется дата все норм а в поле adt лезет NULL

чем должно заполнится поле при таком значении по умолчанию?

Должно быть -infinity, если вы в качестве значения поля передаете default или не указываете поле

dev@localhost:unisocial> create table ttt(adt timestamp with time zone default '-Infinity'::timestamp wi ........................ th time zone); CREATE TABLE Time: 0.003s dev@localhost:unisocial> insert into ttt values(default); INSERT 0 1 Time: 0.001s dev@localhost:unisocial> select * from ttt; +-----------+ | adt | |-----------| | -infinity | +-----------+ SELECT 1 Time: 0.001s

ок. спс. значит у меня проблема в том что он не проставляет -infinity что должен делать т.к. я не указываю данное поле при инсерте

нет dev@localhost:unisocial> alter table ttt add column id int default 1; ALTER TABLE Time: 0.253s dev@localhost:unisocial> insert into ttt(id) values(1); INSERT 0 1 Time: 0.001s dev@localhost:unisocial> select * from ttt; +-----------+------+ | adt | id | |-----------+------| | -infinity | 1 | | -infinity | 1 | +-----------+------+ SELECT 2 Time: 0.001s

Вообще не так должно быть - даже если не писать поле в insert, то должно по умолчанию подставляться то, что написано в default

скорее всего проблема в вашем ORM etc.

Покажите \d имятаблицы

просто посмотрите, что за INSERT ваше приложение присылает в Postgres

Я более чем уверен, что именно приложение зачем-то подставляет NULL

если я напишу инсерт руками не указав ничего для этого столбца почему то передается null

Ну либо не указывайте поле в инсерте, либо сделайте его not null

А покажите запрос на вставку

В таком случае он ругается что передается null а поле стоит not null

Ну либо не указывайте поле в инсерте, либо сделайте его not null

всем добрый вечер помогите разобраться select category from catalog where category ilike any (array['%чехлы%','%сувенир%','%подарки%','%пленки%','%детские%','%часы%']); должен же выводить все где встречаются эти слова? как сюда умудряется попасть слова вида "Смартфоны" "Телефоны и связь/Apple iPhone"