ку два раза! народ, ктониб сталкивался с подобными проблемами на ПГ базах 9.6, может и более ранних, но точно проявляется на 9.6.9 2018-06-03 04:15:52 MSK [21646] 192.168.226.246 [unknown] zabbix@zabbix WARNING: database "zabbix" must be vacuumed within 1117302 transactions 2018-06-03 04:15:52 MSK [21646] 192.168.226.246 [unknown] zabbix@zabbix HINT: To avoid a database shutdown, execute a database-wide VACUUM in that database. You might also need to commit or roll back old prepared transactions. ...... 2018-06-03 03:39:24 MSK [27351] ERROR: found xmin 4167401932 from before relfrozenxid 1137752771 2018-06-03 03:39:24 MSK [27351] CONTEXT: automatic vacuum of table "zabbix.pg_catalog.pg_authid" 2018-06-03 03:39:24 MSK [27351] ERROR: found xmin 4167159866 from before relfrozenxid 1137752774 2018-06-03 03:39:24 MSK [27351] CONTEXT: automatic vacuum of table "zabbix.pg_catalog.pg_auth_members" ну и как печальный итог - база прикрывается: 2018-06-03 04:17:02 MSK [24609] 192.168.226.249 [unknown] zabbix@zabbix LOG: connection authorized: user=zabbix database=zabbix 2018-06-03 04:17:02 MSK [24607] 192.168.226.249 [unknown] zabbix@zabbix LOG: disconnection: session time: 0:00:00.044 user=zabbix database=zabbix host=192.168.226.249 port=38760 2018-06-03 04:17:02 MSK [17247] 192.168.226.240 [unknown] zabbix@zabbix ERROR: database is not accepting commands to avoid wraparound data loss in database "zabbix" 2018-06-03 04:17:02 MSK [17247] 192.168.226.240 [unknown] zabbix@zabbix HINT: Stop the postmaster and vacuum that database in single-user mode. проблема назревала несколько дней до этого [postgres@ ~]$ grep "ERROR: found xmin" main/log/postgresql-2018-06-01.log| awk '{print $5 " " $6 " " $7 " " $8 " " $9 " " $10 " " $12 " " $13}'| sort| uniq -c 8674 ERROR: found xmin 4167159866 from before 1137752774 8673 ERROR: found xmin 4167401932 from before 1137752771 [postgres@ ~]$ grep "ERROR: found xmin" main/log/postgresql-2018-06-02.log| awk '{print $5 " " $6 " " $7 " " $8 " " $9 " " $10 " " $12 " " $13}'| sort| uniq -c 8132 ERROR: found xmin 4167159866 from before 1137752774 8133 ERROR: found xmin 4167401932 from before 1137752771 [postgres@ ~]$ grep "ERROR: found xmin" main/log/postgresql-2018-06-03.log| awk '{print $5 " " $6 " " $7 " " $8 " " $9 " " $10 " " $12 " " $13}'| sort| uniq -c 2161 ERROR: found xmin 4167159866 from before 1137752774 2162 ERROR: found xmin 4167401932 from before 1137752771 Сегодня проблема повторилась уже на другой базе и с теми же системными таблицами - pg_authid и pg_auth_members, проблема на них с продвижением relfrozenxid, в логике работы с relfrozenxid какая то, а не с врапараундом, счетчик транзакций идет вверх, а relfrozenxid остается без изменений, и в какой то момент начинает ругатся, что у записей xminы выше

решается поиском проблемных записей [local]:5432 postgres@postgres=# select rolname, oid, ctid, xmin, xmax, cmin, cmax from pg_authid where xmin::text::bigint > (select relfrozenxid::text::bigint from pg_class where relname='pg_authid'); rolname | oid | ctid | xmin | xmax | cmin | cmax ---------------+---------+--------+------------+------+------+------ postgres | 10 | (0,14) | 4167401932 | 0 | 0 | 0 ***** | 3728593 | (0,15) | 4167444275 | 0 | 0 | 0 (2 rows) Time: 0.876 ms [local]:5432 postgres@postgres=# select roleid, ctid, xmin, xmax, cmin, cmax from pg_auth_members where xmin::text::bigint > (select relfrozenxid::text::bigint from pg_class where relname='pg_auth_members'); roleid | ctid | xmin | xmax | cmin | cmax --------+-------+------------+------+------+------ 19551 | (0,9) | 4167159866 | 0 | 0 | 0 (1 row) и alter role\пересозданием проблемных + vacuum full по этим таблицам

проверка через pageinspect, консистентность индексов проверял через amcheck_next не показывала проблем

тут обсуждается такая же проблема, явно довольно свежая, там Макс Богук на неё тоже напоролся

https://postgrespro.com/list/thread-id/2377804

есть таблица agents_daily_route с колонкой outlet_id и таблица order_doc с колонкой outlet_id. нужно получить все outlet_id с таблицы order_doc которые есть в agents_daily_route хелп

@alexander_samoylov будет жить. Поприветствуем!

@Murovan будет жить. Поприветствуем!

есть таблица agents_daily_route с колонкой outlet_id и таблица order_doc с колонкой outlet_id. нужно получить все outlet_id с таблицы order_doc которые есть в agents_daily_route хелп

EXISTS

ну или иннер джоин

https://postgrespro.com/list/thread-id/2377804

есть еще одна ветка по этой проблеме, где уже её разбирают core developers - начинается словами "Moving discussion to -hackers"

похоже тут есть и WA: "Yea, that's this bug. I'd remove global/pg_internal.init, reconnect, and manually vacuum." и решение ...

Момжан написал, что багу пофиксили и дает ссылку на релиз

попробуем поставить 9.6.10

Подскажите как запрос mysql перевести для postgre

Вот здесь - t.me/mysql_db можешь спросить

Лучше тут @ru_mysql

Спасибо, уже подсказали по тому что искал

https://www.packtpub.com/packt/offers/free-learning Сегодня "PostgreSQL 9 High Availability Cookbook"

https://www.packtpub.com/packt/offers/free-learning Сегодня "PostgreSQL 9 High Availability Cookbook"

Спасибо

https://www.packtpub.com/packt/offers/free-learning Сегодня "PostgreSQL 9 High Availability Cookbook"

Эх опоздал, кто скачал - киньте в личку плиз

Да можно прямо сюда

Спасибо

Привет народ, подскажите где посмотреть весь список оконных функций в ПГ, в документации их только 4

все агрегатные ещё и оконные

Привет народ, подскажите где посмотреть весь список оконных функций в ПГ, в документации их только 4

https://www.postgresql.org/docs/10/static/functions-window.html

все агрегатные ещё и оконные

во, точно, спасибо

Привет народ, подскажите где посмотреть весь список оконных функций в ПГ, в документации их только 4

https://www.postgresql.org/docs/10/static/functions-aggregate.html

https://www.postgresql.org/docs/10/static/functions-window.html

ай, точно, я тутор смотрел )

Всем привет. Есть ли еще какие-то утилиты помимо pgbench для бенчмаркинга постгреса?

tpc-h (OLAP), ycsb (Web),... Самый адекватный тест - это родное приложение или некий прототип его эмулирующий

Всем привет. Есть ли еще какие-то утилиты помимо pgbench для бенчмаркинга постгреса?

А Вам с какой целью?

Всем привет. Есть ли еще какие-то утилиты помимо pgbench для бенчмаркинга постгреса?

а какой показатель нужно отбенчмаркать?

а wal_keep_segments при использовании слотов репликации учитвается?

а wal_keep_segments при использовании слотов репликации учитвается?

Да, насколько я помню.

а в каком ключе? если его поставить в 10 по идее количество волов будет столько сколько нужно реплике?

учитывается, в том смысле, что число сохранённых сегментов не можут быть меньше wal_keep_segments. Но может быть и больше, если слот держит WAL

значит будем уменьшать, спасибо :)

а какой показатель нужно отбенчмаркать?

tps и кол-во select'ов в секунду

tps и кол-во select'ов в секунду

Зачем? Что вы с ними делать собираетесь?

Зачем? Что вы с ними делать собираетесь?

посмотреть до/после pgpool'а

а нельзя просто собрать симулятор конкретно вашей нагрузки на чём угодно?

я на psql -f и make делал, когда надо было

я на psql -f и make делал, когда надо было

make?

посмотреть до/после pgpool'а

Ясно. Тогда Вам нужен тест, близкий к Вашей настоящей нагрузке. Можно и на pgbench что-то собрать, ещё есть hammerDB (но я не пользовался). Даже на psql можно, в крайнем случае...

make?

https://www.gnu.org/software/make/

https://www.gnu.org/software/make/

это понятно, как он соотносится к эмуляции нагрузки?

Ясно. Тогда Вам нужен тест, близкий к Вашей настоящей нагрузке. Можно и на pgbench что-то собрать, ещё есть hammerDB (но я не пользовался). Даже на psql можно, в крайнем случае...

конечно можно вытащить запросы из логов базы, но не очень понятно их распределение

make - самый простой способ писать параллельные программы

конечно можно вытащить запросы из логов базы, но не очень понятно их распределение

Может быть, что-то из https://wiki.postgresql.org/wiki/Statement_Playback посмотреть?

Может быть, что-то из https://wiki.postgresql.org/wiki/Statement_Playback посмотреть?

спасибо, посмотрю

Скажиет, пожалуйста, как при группировке по полю одному, получить значение другого поле соответствующее самой последней записи по полю time к примеру?

SELECT vr.rate FROM statistic.video_rate vr LEFT JOIN statistic.video_position_history AS vh ON (vr.language = vh.language AND vr.country_id = vh.country_id AND vr.device = vh.device AND vr.tag_id = vh.tag_id AND vr.video_id = vh.video_id) WHERE vh IS NOT NULL AND vr.language = ?0 AND vr.country_id = ?1 AND vr.device = ?2 AND vr.tag_id = ?3 AND vh.page = ?4 AND vh."limit" = ?5 AND vh."offset" IN (?6) GROUP BY vh.offset ORDER BY vh.time DESC, vr.rate DESC

типа такого, ток тут ошибка изза селекта)

Всем привет! Такой вопрос: часто ли используются при разработке процедурные языки, отличающиеся от pl/pgsql? Например, pl/v8, pl/python и прочие? И при каких случаях их использование имеет смысл?

Скажиет, пожалуйста, как при группировке по полю одному, получить значение другого поле соответствующее самой последней записи по полю time к примеру?

distinct on

distinct on

можно линк или подробнее?)

distinct on

сортировку нужную

можно линк или подробнее?)

https://www.postgresql.org/docs/10/static/sql-select.html

можно линк или подробнее?)

https://www.postgresql.org/docs/10/static/sql-select.html#SQL-DISTINCT вот так даже

Приветствую! pg_pathman - 1.4.12 Не создалась партиция Изначально делал так: SELECT create_range_partitions('relname', 'column', '2017-07-16 00:00:00'::timestamp, '1 month'::interval, NULL, 0::boolean); Подскажите, пожалуйста: 1) Как исправить? 2) Куда пишутся данные сейчас. Из родительской таблицы новых дат нет! В логе PG: NOTICE: merging column "разные колонки" with inherited definition

Всем привет! Такой вопрос: часто ли используются при разработке процедурные языки, отличающиеся от pl/pgsql? Например, pl/v8, pl/python и прочие? И при каких случаях их использование имеет смысл?

Например для прототипирвания, вот сейчас хотим перенести определённую часть логики в БД, для ресерча будем юзать pl/python. Один раз юзали для тригеров и работы с сетью, но это довольно костальное решение, есть уже готовые решения

SELECT vr.rate FROM statistic.video_rate vr LEFT JOIN statistic.video_position_history AS vh ON (vr.language = vh.language AND vr.country_id = vh.country_id AND vr.device = vh.device AND vr.tag_id = vh.tag_id AND vr.video_id = vh.video_id) WHERE vh IS NOT NULL AND vr.language = ?0 AND vr.country_id = ?1 AND vr.device = ?2 AND vr.tag_id = ?3 AND vh.page = ?4 AND vh."limit" = ?5 AND vh."offset" IN (?6) GROUP BY vh.offset ORDER BY vh.time DESC, vr.rate DESC

короче типа такого SELECT DISTINCT ON (vh.offset) vr.rate FROM statistic.video_rate vr LEFT JOIN statistic.video_position_history AS vh ON (vr.language = vh.language AND vr.country_id = vh.country_id AND vr.device = vh.device AND vr.tag_id = vh.tag_id AND vr.video_id = vh.video_id) WHERE vh IS NOT NULL AND vr.language = ?0 AND vr.country_id = ?1 AND vr.device = ?2 AND vr.tag_id = ?3 AND vh.page = ?4 AND vh."limit" = ?5 AND vh."offset" IN (?6) ORDER BY vh.time DESC, vr.rate DESC

Приветствую! pg_pathman - 1.4.12 Не создалась партиция Изначально делал так: SELECT create_range_partitions('relname', 'column', '2017-07-16 00:00:00'::timestamp, '1 month'::interval, NULL, 0::boolean); Подскажите, пожалуйста: 1) Как исправить? 2) Куда пишутся данные сейчас. Из родительской таблицы новых дат нет! В логе PG: NOTICE: merging column "разные колонки" with inherited definition

@maksm90 Прошу Вашу помощь

короче типа такого SELECT DISTINCT ON (vh.offset) vr.rate FROM statistic.video_rate vr LEFT JOIN statistic.video_position_history AS vh ON (vr.language = vh.language AND vr.country_id = vh.country_id AND vr.device = vh.device AND vr.tag_id = vh.tag_id AND vr.video_id = vh.video_id) WHERE vh IS NOT NULL AND vr.language = ?0 AND vr.country_id = ?1 AND vr.device = ?2 AND vr.tag_id = ?3 AND vh.page = ?4 AND vh."limit" = ?5 AND vh."offset" IN (?6) ORDER BY vh.time DESC, vr.rate DESC

спасибо!) но так не работает, туплю видимо)

ORDER BY vh.offset,vh.time

@maksm90 Прошу Вашу помощь

Навскидку не скажу. Оформите issue на гитхабе пжста с описанием схемы таблицы

спасибо!

Скажиет, пожалуйста, как при группировке по полю одному, получить значение другого поле соответствующее самой последней записи по полю time к примеру?

Куча способов, но чаще всего DISTNICT ON или LATERAL.

ORDER BY vh.offset,vh.time

да, спасибо!)

Куча способов, но чаще всего DISTNICT ON или LATERAL.

про LATERAL почитаю сейчас, спасибо1)

@d_golgovsky будет жить. Поприветствуем!

Навскидку не скажу. Оформите issue на гитхабе пжста с описанием схемы таблицы

Все в порядке. Это мы об уникальный индекс споткнулись

Всем привет. Подскажите пожалуйста. Как реализовать данный код(выполняется sql скрипт при запуске docker контейнера)? CREATE DATABASE db; CREATE SCHEMA schema; CREATE TABLE db.schema.table ( id serial ....

в энтри поинт записать psql -f code.sql?

в энтри поинт записать psql -f code.sql?

+1

в энтри поинт записать psql -f code.sql?

У меня все выполняется. Вопрос в другом: как при помощи только sql выполнить создание БД , потом переключиьбся к этой БД, после создать схему, переключится к созданной схеме и там выполнить создание таблиц. Получается так, что БД и СХЕМА создаются, но из-за default_path дальнейшее выполнение скрипта происходит в базе postgres и схеме public.

Конечно можно заранее написать sh в котором будет через psql написано \connect db. Есть ли возможность через sq?

sql существует только после того, как установлено подключение

sql существует только после того, как установлено подключение

Понял

Всем привет. Подскажите пожалуйста. Как реализовать данный код(выполняется sql скрипт при запуске docker контейнера)? CREATE DATABASE db; CREATE SCHEMA schema; CREATE TABLE db.schema.table ( id serial ....

Сегодня делал

Сегодня делал

Каким образом?

а ещё от самого контейнера зависит. В докере с pg который я копал база создаётся родительским слоем с названием из переменной окружения

вот! Официальный докер https://github.com/docker-library/postgres/blob/740fb98439e66c7a0e39a67880ee971c6d49e514/10/docker-entrypoint.sh

энтрипоинт создаёт из переменных окружения POSTGRES_USER POSTGRES_DB

потом выполняет все SQL из директории /docker-entrypoint-initdb.d/

энтрипоинт создаёт из переменных окружения POSTGRES_USER POSTGRES_DB

Точно, спасибо. Но если БД и СХЕМа еще не созданы, как можно указывать их в переменных окружения. Прокатит?