в личке

всем привет

Уже решили проблему

А что если всем рассказать?

Да, Вадим, рассказывай)

Ошибка достаточно простая. У Александра используется pglogical. Кто то выполнил ddl на мастере. Репликация естественно остановилась и завис логический слот. По этой причине мастер не удалял старые wa-логи

в чём архитектурная проблема репликации ddl в pglogical? нигде не смог найти ответ

то есть, я понимаю, что logical decoding не поддерживает. но в чём причина?

Архитектурно мне кажется ограничений нет. Decoding используется и в pglogical и в bdr. Я думаю это сознательное ограничение со стороны 2ndQ.

хм, но им-то это зачем? чтобы платную версию покупали?

и ограничение скорее в logical decoding, чем в pglogical. LD появилось в 9.4, на носу 10.0, а воз и ныне там. подозреваю, что там с архитектурной стороны кто-то что-то не додумал

Доброго времени суток! Нужна помощь в установке расширения pldbgapi на платформу win10.

и ограничение скорее в logical decoding, чем в pglogical. LD появилось в 9.4, на носу 10.0, а воз и ныне там. подозреваю, что там с архитектурной стороны кто-то что-то не додумал

Возможно. Пока что они предлагают использовать функции queue для ddl. Больше похоже на костыль.

Pglogical архитектурно слаба

Так как буфер в валах

И далее просто несколько печальных исходов

Ну и в целом репликация была притянута поверх логикал декодинга -- который как бы не предполагал по дефолту репликации

А был более механизмом дебага

Короче вызываю огонь на себя

Велкам

И о боже, Копытов в чате

pglogical is based on technology developed for BDR and shares some code with BDR. It's designed to be more flexible than BDR and to apply better to single-master unidirectional replication, data-gather/merge, non-mesh multimaster topologies, etc.

То есть ничего особо не мешало прикрутить ddl так же как в bdr.

Но тут похоже мы будем во много с ним на одной стороне

Но в мускуле ещё хуже ))

@alexey_kopytov

в чём архитектурная проблема репликации ddl в pglogical? нигде не смог найти ответ

а как делать? реплицировать текст стейтментов? реплицировать изменения каталога?

Ошибка достаточно простая. У Александра используется pglogical. Кто то выполнил ddl на мастере. Репликация естественно остановилась и завис логический слот. По этой причине мастер не удалял старые wa-логи

У меня кажется такая же штука приключилась

А lock-и не полезут при репликации DDL? Я думаю придется делать целый механизм который будет за этим следить.

В BDR у них там целый Global flush-to-consistent-state механизм

хм, но им-то это зачем? чтобы платную версию покупали?

1) Logical decoding doesn't decode catalog changes directly.  То есть это вполне можно сделать. 2) .. but its main purpose is to provide a cleaner, simpler base that doesn't require a patched PostgreSQL, with a pluggable and extensible design. Похоже что основная цель pglogical именно в этом. И отсюда растут ноги.

1) Logical decoding doesn't decode catalog changes directly.  То есть это вполне можно сделать. 2) .. but its main purpose is to provide a cleaner, simpler base that doesn't require a patched PostgreSQL, with a pluggable and extensible design. Похоже что основная цель pglogical именно в этом. И отсюда растут ноги.

можно, только что с ними потом делать? там oid-ы зашиты которые уникальны для этого инстанса; Их можно вырезать, сохранив связи между строками, но просто вставки в каталог на принимающей стороне не достаточно, кто-то же файлы таблицам должен создавать и тп

Не надо это ещё глубже прятать в оиды и опять в "физику"

Мой концепт -- делать ручки для фреймворков : это все логические вещи , суть sql должен быть для организации репликаций

Кстати : а стандарт что то про это говорит ?!

Мой концепт -- делать ручки для фреймворков : это все логические вещи , суть sql должен быть для организации репликаций

statement based можно и не то чтоб очень сложно, но там есть родовые травмы. Сделать функцию которая создает таблицу с таймстампом в названии — самый простой пример того что перестанет работать

Я сейчас с телефона и много кнопок давить лень, но в мускуле да, statement based ddl, а как ещё

Не понял проблемы с функцией и таймстампом

Добрый вечер. Я заменил файл БД ( /usr/local/var/postgres/ ), не выключив предварительно сервер postgres. Как следствие, у меня он теперь не включается (точнее, падает с ошибкой). Уже гуглил и перепробовал множество решений, pg_xlog (head) чистил, postmaster.pid удалял, всё бестолку. Кто уже сталкивался с этим, подскажите, как мне сдвинуть "слона" с мёртвой точки?

Возможно это потому что в мускуле нельзя сделать физическую репликацию?) Логическое декодирование вполне себя оправдывает для решения тех задач, под которые создавался pglogical. А именно для миграции между версиями и для переноса данных между oltp и olap.

@Subb98 а ошибка-то какая конкретно? увеличь verbosity логов, посмотри логи.

@Subb98 а ошибка-то какая конкретно? увеличь verbosity логов, посмотри логи.

Я не у рабочего места, но что-то типа LOG: <bla-bla> server shut down

Там разные могут быть

информативненько

Ну, типичная ошибка, когда БД не взлетает

Сейчас попробую нагуглить.

И скину похожие.

Возможно это потому что в мускуле нельзя сделать физическую репликацию?) Логическое декодирование вполне себя оправдывает для решения тех задач, под которые создавался pglogical. А именно для миграции между версиями и для переноса данных между oltp и olap.

Али-Баба сделала физическую репликацию для innodb, чего и всем желает :)

вообще, /var/postgres/ - это целая директория, что именно ты в ней поменял и на что?)

Просто то, как в постгресе сейчас - хороший такой способ выстрелить себе в ногу, что мы и наблюдаем

вообще, /var/postgres/ - это целая директория, что именно ты в ней поменял и на что?)

Я заменил всё содержимое. То есть, взял базу с продакшена и обновил на локальной машине.

Я уже так делал.

Просто то, как в постгресе сейчас - хороший такой способ выстрелить себе в ногу, что мы и наблюдаем

Да вообще пздц.

В мускуле такого нет.

Пару часов убил на то, чтобы поднять потом БД, хрен там.

Похожий лог: LOG: database system was not properly shut down; automatic recovery in progress LOG: redo starts at 8A/8F00833C PANIC: block 1100 unfound LOG: startup process (PID 31612) was terminated by signal 6 LOG: aborting startup due to startup process failure LOG: logger shutting down

Не понял проблемы с функцией и таймстампом

время на разных серверах разное. Если дергаешь функцию, которая создает таблицу вида name_#{Time.now} то название получится разное на разных нодах

LOG: startup process (PID 31612) was terminated by signal 6 - такая строчка точно есть.

Только pid другой

И это при том, что .pid я вручную удаляю.

время на разных серверах разное. Если дергаешь функцию, которая создает таблицу вида name_#{Time.now} то название получится разное на разных нодах

Нет, но если сам ddl пойдёт стейтментом, то в чем проблема?

https://dba.stackexchange.com/questions/44911/issues-starting-postgres-server - наиболее похожий issue на мой. Как я понял, в том случае была удалена и инициализирована новая БД.

Нет, но если сам ddl пойдёт стейтментом, то в чем проблема?

Если эта функция собирает sql как текстовую строку, то можно её перехватить, да. А если это сишная функция, которая конструирует сама parsetree то текста уже нет.

Добрый вечер. Я заменил файл БД ( /usr/local/var/postgres/ ), не выключив предварительно сервер postgres. Как следствие, у меня он теперь не включается (точнее, падает с ошибкой). Уже гуглил и перепробовал множество решений, pg_xlog (head) чистил, postmaster.pid удалял, всё бестолку. Кто уже сталкивался с этим, подскажите, как мне сдвинуть "слона" с мёртвой точки?

'pg_xlog (head) чистил' А это зачем сделали?

Если эта функция собирает sql как текстовую строку, то можно её перехватить, да. А если это сишная функция, которая конструирует сама parsetree то текста уже нет.

Ну да, просто писать в журнал реальное имя создаваемой таблицы

'pg_xlog (head) чистил' А это зачем сделали?

https://postgrespro.ru/docs/postgrespro/9.6/app-pgresetxlog

Другой пример — работа со временными таблицами: create temp table a(...); create table b as a; данных временной таблицы на другом сервере не будет, поэтому если реплецировать create table as, то ей неоткуда будет брать данные

ну и таких мелочей много

LOG: startup process (PID 31612) was terminated by signal 6 - такая строчка точно есть.

6 сигнал - аборт, нарвались на что-то неконсистентное. Можете продиагностировать корку, если интересно, а лучше сделать бекап стандартным способом

правильнее всего, наверное, декодить каталог, собирать его во что-то промежуточное, и написать применялку этого промежуточного. Но это много работы.

6 сигнал - аборт, нарвались на что-то неконсистентное. Можете продиагностировать корку, если интересно, а лучше сделать бекап стандартным способом

На диагностику у меня нет времени, да и не умею я, откровенно =) Мне нужны данные для теста программного кода. Если я вас верно понимаю, проще пересоздать БД.

Просто то, как в постгресе сейчас - хороший такой способ выстрелить себе в ногу, что мы и наблюдаем

вот это меня печалит

На диагностику у меня нет времени, да и не умею я, откровенно =) Мне нужны данные для теста программного кода. Если я вас верно понимаю, проще пересоздать БД.

ну вы же делаете копию с продакшн базы - тогда pg_basebackup или pgdump

Ну, вытаскивал бэкап не я сам. У меня лично доступа к проду нет. Поэтому я и заливал файл БД вручную, а не командой.

какой файл?

Вернее, распаковывал архив в /usr/local/var/postgres

https://www.postgresql.org/docs/9.6/static/storage-file-layout.html - хз даже, как это ещё назвать

Крч, всю структуру БД

Вернее, распаковывал архив в /usr/local/var/postgres

а тот нехороший человек который вам этот архив сделал прод при этом останавливал?

капец конечно

а тот нехороший человек который вам этот архив сделал прод при этом останавливал?

Зачем останавливать прод? Почему человек нехороший?

Я забыл остановить свой локальный сервер, в этом и проблема.

И начал заменять файлы.

Вернее, распаковывал архив в /usr/local/var/postgres

В принципе в доке описано как делать копию pgdata когда сервер работает https://postgrespro.ru/docs/postgrespro/9.6/continuous-archiving#backup-lowlevel-base-backup

В принципе в доке описано как делать копию pgdata когда сервер работает https://postgrespro.ru/docs/postgrespro/9.6/continuous-archiving#backup-lowlevel-base-backup

ну да можно и так, но только кто знает как он сделал его

Я забыл остановить свой локальный сервер, в этом и проблема.

ну делов-то, кильнул процессы, очистил каталог и распаковал тогда свой архив

PostgreSQL 10 RC 1 Released! написано на саите,а rpm не нашел ,вы уже потестили ?

ну делов-то, кильнул процессы, очистил каталог и распаковал тогда свой архив

Ну, логически, да. Только я за пару часов не смог добиться того, чтобы поднять БД. Хотя, какие только решения не попробовал.

Завтрп попробую пересоздать БД, это должно сработать.

я бы попросил сделать нормальный бекап с продакшена (pgdump там, copy, я не знаю) и накатил бы его уже на свежесозданную /var/postgres/

Ну, логически, да. Только я за пару часов не смог добиться того, чтобы поднять БД. Хотя, какие только решения не попробовал.

если раньше такой же способ работал как ты писал, то тут 2 варианта 1. ты неправильно что-то делаешь, 2. архив у тебя битый.

я бы попросил сделать нормальный бекап с продакшена (pgdump там, copy, я не знаю) и накатил бы его уже на свежесозданную /var/postgres/

Ну, бэкап нормальный есть, его же другие программеры накатывают.

И я раньше накатывал точно также.

Тупо не вырубил постгрес на этот раз.

если раньше такой же способ работал как ты писал, то тут 2 варианта 1. ты неправильно что-то делаешь, 2. архив у тебя битый.

Я даже написал изначально, что я сделал не так.

PostgreSQL 10 RC 1 Released! написано на саите,а rpm не нашел ,вы уже потестили ?

http://risovach.ru/upload/2017/09/mem/zavodi-eto-dermo_156438218_orig_.jpg

ну тогда ведь, по идее, должно работать 1) остановить постгрю 2) грохнуть все содержимое /var/postgres/ 3) распаковать туда бекап 4) запустить постгрю

ну тогда ведь, по идее, должно работать 1) остановить постгрю 2) грохнуть все содержимое /var/postgres/ 3) распаковать туда бекап 4) запустить постгрю

Да, но не срабатывает.

Я хз, по какой причине.