Если дампить в SQL, то можно даже между мажорными версиями переносить базу, если не используются функциональность последних версий.

База в unicode?

всем доброго времени суток. такой скучный кейс есть - 1. небольшая простая базка на pg под RH (объем менее 1Гб, отсутствие узлов-реплик) 2. ПО под винду, клиент-серверное 3. ноут начальства, на котором установлено и текущее ПО и текущая версия БД (pg опять же под винду) требуется по запросу актуализировать базу на ноуте, я правильно понимаю что самый рабочий вариант - это через pg_dump/pg_restore? и нет ли каких-то подоводных камней при переносе, с кодировкой строковых значений и представлением блобов, к примеру? Ну и второй вопрос - что делать когда объем базы существенно вырастет

я бы продумал механизм актуализации... если БД станет хотя бы 20-30 гигов, то на ноуте будет трудно это всё часто разворачивать

а начальник только читает из БД?

а чо, pg_dump не умеет биндиться на айпишники?

а вот кстати еще есть pg_basebackup

неа, нету :(

у меня 9.0

а basebackup кажется с 9.1 или даже 9.2

да 9,1 вроде

Можно, воспользоваться каким-нибудь средством, которое может делать инкрементальные бэкапы.

An incremental pg_basebackup can be run by passing a previous backup startLSN as an argument.

всем доброго времени суток. такой скучный кейс есть - 1. небольшая простая базка на pg под RH (объем менее 1Гб, отсутствие узлов-реплик) 2. ПО под винду, клиент-серверное 3. ноут начальства, на котором установлено и текущее ПО и текущая версия БД (pg опять же под винду) требуется по запросу актуализировать базу на ноуте, я правильно понимаю что самый рабочий вариант - это через pg_dump/pg_restore? и нет ли каких-то подоводных камней при переносе, с кодировкой строковых значений и представлением блобов, к примеру? Ну и второй вопрос - что делать когда объем базы существенно вырастет

Можно что-то экзотическое: ForeignDataWrapper и материализованная view

Но вот по поводу ForeignDataWrapper сейчас как раз задал вопрос в группу FaceBook. Хотя в вашем случае проблемы не должно быть, так как инициатором запроса будет ноут.

Коллеги, добрый день может кто-нибудь сталкивался со следующей проблемой: Проблема: ForeignDataWrapper (блокирует/сильно тормозит) основную базу данных (master) при наличие проблем в удаленной БД (archive). Схему прикладываю. Версии Postgres-ов: master: 9.5.3 slave: 9.5.3 archive: 9.5.6 Решаемая задача: вынос логов через ForeignDataWrapper на удаленную БД. Сценарий 1: На master-е есть таблица логов: logs.logs. Создал FOREIGN TABLE logs.logs_archive. В нее перегружаю старые логи из logs.logs. Все отлично работает примерно 2 дня. Перекинули логов немного - примерно 40 Гигов. Но потом возникли сетевые проблемы с БД archive (находится в другом ДЦ) и master начал тормозить на запись в logs.logs. Удаление с master FOREIGN TABLE logs.logs_archive - решает проблему и производительность восстанавливается (через пару минут). Эксперимент проводили несколько раз. Сценарий 2: Решили, что причина влияния, возможно, связана с наследованной таблицей (хотя CHECK-и необходимые стояли, и explain не показывал архивную БД ни на чтение ни на запись). Создали отдельную внешнюю таблицу (не наследованную от logs.logs). Просто так - в сторонке. После создании таблицы и выполнении 1 запроса SELECT из FOREIGN TABLE logs.logs_archive получаем аналогичную деградацию производительности (не мгновенно, а в течении 1-2 минут) и решение, которое спасает - это удаление внешней таблицы logs.logs_archive. Не могу понять почему такая проблема возникает в случая Сценария 2. Возможно есть какие-то нюансы ForeignDataWrapper( Приветствуются любые мысли)

а какое количество коннекшенов держит один fdw?

Добрый день! Никто не сталкивался с проблемой резолва днс имени сервера, указаного в fdw? Периодически не может с резолвить. Дамп трафика показывает, что иногда постгрес запрашивает резолв днс имени, но приэтом в типе записи указывает unknown, в итоге днс его игнорит. Postgresql 9.3.

Здравствуйте! А какую группу в Facebook по postgresql здесь часто упоминают?

https://www.facebook.com/groups/postgresql/

Благодарю

Добрый день! Никто не сталкивался с проблемой резолва днс имени сервера, указаного в fdw? Периодически не может с резолвить. Дамп трафика показывает, что иногда постгрес запрашивает резолв днс имени, но приэтом в типе записи указывает unknown, в итоге днс его игнорит. Postgresql 9.3.

Начиная с 9.3 fdw довольно много изменений претерпел.

Я бы с радостью мигрировал на 9.6, но увы даунтайм при нашем объеме данных составляет почти сутки, что для сервиса не позволительно

в новых проектах уже конечно 9.6

Всем привет! Меня зовут Зарина, HR – менеджер компании Data Centric Alliance. Ищу программиста – аналитика. Цели и задачи: Создание искусственного интеллекта в области рекламы, программирование поведения потребителей. Анализ, моделирование и предсказание поведения потребителей под воздействием рекламных коммуникаций. Спектральный анализ ключевых факторов получения реакции на рекламу и цепочек генерации спроса. Написание алгоритмов рекламной и креативной оптимизации для достижения лучших показателей отклика и конверсии. Создание самообучающихся рекламных систем и сервисов. Что требуется: • Знания в области статистики; • Знания (в том числе и теоретические), умения, практический опыт работы в области машинного обучения; • Знание Python2, Python3 (numpy, scipy, pandas, sklearn, написание многопоточного/много-процессного кода на Python); • Знания построения SQL-запросов, базовые знания NoSQL (опыт работы хотя бы с одним из: MongoDB,hive, hbase) • Знакомство с Hadoop, концепцией Map-reduce. Офис: метро Кропоткинская. Вилка до 200 net, по результатам прохождения собеседования. Пишите в личку, отвечу на все вопросы.

"программирование поведения потребителей" - нас всех запрограммируют, всё пропало!

Меня больше радует "вилка до 200 net" - это я так понимаю максимальное кол-во отказов в выплате зп в месяц?

"И жнец и на дуде игрец..." (с)

да нормальная вакансия вообщем-то для данной области

Я бы с радостью мигрировал на 9.6, но увы даунтайм при нашем объеме данных составляет почти сутки, что для сервиса не позволительно

поставьте снаружи ещё один fdw c 9.6. и мигрируйте партиции по одной :)

"программирование поведения потребителей" - нас всех запрограммируют, всё пропало!

Вот поэтому я уже как полгода не смотрю телевизор ))

у меня телика уже 7 лет как нет :)

не то чтобы смотреть )

а что такое телек?

телевизор

а... :)

)))

это то, перед чем люди зависали до появления Персональных Компьютеров и Интернет?

да все верно

База в unicode?

да.

я бы продумал механизм актуализации... если БД станет хотя бы 20-30 гигов, то на ноуте будет трудно это всё часто разворачивать

Раз в неделю не чаще нужно, но желательно хотя бы в рабочий день уложиться. >а начальник только читает из БД? скажем так, обратной синхронизации точно не предполагается, но и запрета на внесение правок у него сейчас нет, иногда это может быть полезным.

поставьте снаружи ещё один fdw c 9.6. и мигрируйте партиции по одной :)

Спасибо по эксперементируем на тестовом стенде

Раз в неделю не чаще нужно, но желательно хотя бы в рабочий день уложиться. >а начальник только читает из БД? скажем так, обратной синхронизации точно не предполагается, но и запрета на внесение правок у него сейчас нет, иногда это может быть полезным.

Но при этом должы сохраняться правки начальника? в его локальной базе?

Можно что-то экзотическое: ForeignDataWrapper и материализованная view

спасибо за идею, но хотелось бы по возможности не усложнять архитектуру и тем более не вносить в нее ноут начальника) т.е. хотелось бы вот что: 1. не вносить изменения в целевую БД на *nix 2. обойтись без каких-либо явных связей между БД на *nix и ноуте 3. при этом осуществлять обновление данных, ролей, привилегий и структуры кстати в пределах 1 рабочего дня (в качестве верхней оценки размера БД рассматриваю 10Гб). желательно конечно еще быстрее, но как получится. я так понял при unicode в обоих БД pg_dump или pg_dumpall вполне сработает. или же тулзу синхронизирующую вот это вот все искать/писать.

Но при этом должы сохраняться правки начальника? в его локальной базе?

нет, этого не требуется.

тогда я бы сделал один раз полный бэкап, развернул его на ноуте под именем pattern_db, например. Когда надо обновить, то инкрементальными бэкапами накатывал бы на нее, дропал основную и пересоздавал ее, используя в качестве шаблона обновленный бэкап

создание бд на основе шаблона гораздо быстрее, т.к. это не накат скриптом

у меня база 50 гигов на ссд за 3 минуты создается

на обычных 15

CREATE DATABASE dbname TEMPLATE template0;

только тут свой шаблон естественно

таким образом начальник может там чот-то менять удалять и т.п., а потом мы быстро накатываем изменения с последнего синхрона на шаблон и на его основе пересоздаем боевую достаточно бытро

просьба к сообществу: зааппрувьте пожалуйста, что это ок книга и ее стоит читать http://postgresql.leopard.in.ua/html/ вопрос отсутствия годной литературы по pg на русском я поднимал на pgconf, тема нужная

а автор кто? А. Ю. Васильев aka leopard

ну т.е. чем занимается где работает и т.п.

просьба к сообществу: зааппрувьте пожалуйста, что это ок книга и ее стоит читать http://postgresql.leopard.in.ua/html/ вопрос отсутствия годной литературы по pg на русском я поднимал на pgconf, тема нужная

Аппрувлю. Годнота

кто, что и откуда я взял: https://habrahabr.ru/post/324334/

@pasha_golub спасибо

тогда я бы сделал один раз полный бэкап, развернул его на ноуте под именем pattern_db, например. Когда надо обновить, то инкрементальными бэкапами накатывал бы на нее, дропал основную и пересоздавал ее, используя в качестве шаблона обновленный бэкап

Спасибо, надо будет попробовать

ну т.е. чем занимается где работает и т.п.

http://leopard.in.ua/

читнем на досуге

Спасибо, надо будет попробовать

сообщете потом рабочая ли схема

интересно

ERROR: S client not available

сообщете потом рабочая ли схема

да, только один момент - ОС то разные, у меня инкрементальный бэкап в связи с этим в паззл не укладывается немного. окей, у нас есть синхронизированная на какой-то момент база-шаблон (на винде) + тьма WAL-логов с этого момента (на линуксе). и что дальше с этим добром делать? как-то вручную применить wal-логи на шаблонной БД, скопировав их в нужное место и настроив конфиги?

еще есть вариант с probackup

и postgres professionals говорят, что вроде как работает с ванильным pg нормально

https://github.com/postgrespro/pg_probackup

и postgres professionals говорят, что вроде как работает с ванильным pg нормально

да, начиная с 9.5, под виндой не тестировалось. плюс если я правильно понимаю идею расширения, речь идет об оптимизации бэкапирования путем анализа wal для поиска измененных блоков, вряд ли это будет работать для связки линукс>винда.

Народ умеет ли кто-то рулить мс

Есть трабл нужна помощь

Бд сломал при обновлении

Converting database '14' from version 831 to the current version 852. Database '14' running the upgrade step from version 831 to version 832. Msg 5069, Level 16, State 1, Line 1 ALTER DATABASE statement failed. Msg 211, Level 23, State 109, Line 1 Corruption in database ID 6, object ID 3 possibly due to schema or catalog inconsistency. Run DBCC CHECKCATALOG.

Встала колом на какой-то чудной версии и не туда не сюда

никто не знает - есть ли в постгресе чтото похожее на оракловый DBMS_LDAP? погуглил - все настраивают авторизацию в базе через ldap, а из базы можно ли обращаться?

конечно можно

используя питон

а в plpgsql ничего нету?

да, начиная с 9.5, под виндой не тестировалось. плюс если я правильно понимаю идею расширения, речь идет об оптимизации бэкапирования путем анализа wal для поиска измененных блоков, вряд ли это будет работать для связки линукс>винда.

надо тестить, я только предположил схему, самому интересно )

никто не знает - есть ли в постгресе чтото похожее на оракловый DBMS_LDAP? погуглил - все настраивают авторизацию в базе через ldap, а из базы можно ли обращаться?

У меня из той же песочницы вопрос - народ у нас настроил через ldap, но для доменных пользователей приходится авторизоваться в клиентских приложениях, вводя пароль - в отличие от mssql ничто никуда автоматом не пробрасывается. Можно ли как-то обойти необходимость ввода пароля, если пользователь и так в оси под этой учеткой залогинен?

Ну или как вариант недонастроили просто)

Converting database '14' from version 831 to the current version 852. Database '14' running the upgrade step from version 831 to version 832. Msg 5069, Level 16, State 1, Line 1 ALTER DATABASE statement failed. Msg 211, Level 23, State 109, Line 1 Corruption in database ID 6, object ID 3 possibly due to schema or catalog inconsistency. Run DBCC CHECKCATALOG.

ну надо на бакепа старой версии прогнать vacuum full

и после этого попробовать заново

канал про вакуум? =)

про БОЛЬ

у чувака ж MSSQL, туда вроде вакуум еще не завезли

а можно без мата, пожалуйста? :)

а можно без мата, пожалуйста? :)

убрал картинку

спасибо ^^

у чувака ж MSSQL, туда вроде вакуум еще не завезли

чета я смотрю DBCC до боли знакома

:)

У меня из той же песочницы вопрос - народ у нас настроил через ldap, но для доменных пользователей приходится авторизоваться в клиентских приложениях, вводя пароль - в отличие от mssql ничто никуда автоматом не пробрасывается. Можно ли как-то обойти необходимость ввода пароля, если пользователь и так в оси под этой учеткой залогинен?

теоретически такое возможно через pg_ident.conf, сам не пробовал ещё настроить https://www.postgresql.org/docs/current/static/auth-username-maps.html

а какое количество коннекшенов держит один fdw?

2-3. В пиках до 100 было

теоретически такое возможно через pg_ident.conf, сам не пробовал ещё настроить https://www.postgresql.org/docs/current/static/auth-username-maps.html

Работает, проверено