pg_locks + pg_stat_activity

спасибо

каждый

Индекс хоть один есть в этой таблице?

Извините, я ввёл вас в заблуждение. Оказалось это не таблица, а вью над таблицей с 50М строк. Так что вопрос снят

вообще, explain (analyse, verbose, buffers) показал бы количество прочитанных буферов

просто надо было мне \d+ name сделать, прежде чем вопросы задавать

Товарищи, тут появилась необходимость резервировать инстанс постгреса, настроил я значит репликацию через wal, и у меня возник естественный вопрос, а как же приложение будет знать кто сейчас мастер? какие есть бестпрактис и инструменты для вот этого дискавери?

select pg_is_in_recovery()

Товарищи, тут появилась необходимость резервировать инстанс постгреса, настроил я значит репликацию через wal, и у меня возник естественный вопрос, а как же приложение будет знать кто сейчас мастер? какие есть бестпрактис и инструменты для вот этого дискавери?

pgpool (придётся скриптов ещё накросноглазить), patroni

Товарищи, тут появилась необходимость резервировать инстанс постгреса, настроил я значит репликацию через wal, и у меня возник естественный вопрос, а как же приложение будет знать кто сейчас мастер? какие есть бестпрактис и инструменты для вот этого дискавери?

Corosync и плавающий айпишник. Велосипед надо городить, в общем)

Хм, видимо я как-то иначе понял вопрос…

Товарищи, тут появилась необходимость резервировать инстанс постгреса, настроил я значит репликацию через wal, и у меня возник естественный вопрос, а как же приложение будет знать кто сейчас мастер? какие есть бестпрактис и инструменты для вот этого дискавери?

bgwreplstatus + haproxy

https://github.com/mhagander/bgw_replstatus

Есть в официальной репе

Желательно впереди еще pgbouncer

ухх, я ожидал серьёзного подхода, поизучаю, спасибо. Изначально у меня были мысли во имя простоты наделать наколенных скриптов и через что-то (например nginx) резолвить один ip, который будет пользовать приложение, на соответствующий инстсанс

nginx как прокси к ПГ - это модно, задорно, молодёжно!

Я баловался. :)

и как? :)

Работает, а что ему доспеется. На нагрузку не проверял, каюсь, не до того было. Ну и с таймаутами надо колдовать - это понятно, я думаю

Для тех, кто нгинкс знает полуТше хапрокси - настраивается проще и быстрее.

да там прям нагрузки и не придвидится, а с какими таймаутами колдовать?

Таймауты - это которые держат соединение. А то запустишь длинный запрос, а нгинкс посчитает, что соединение не активно и прикроет его. Я, кстати, на это напарывался. Только разбираться лень было. Навскидку вот этот: https://nginx.ru/ru/docs/http/ngx_http_proxy_module.html#proxy_read_timeout

вотоночо, да, надо учесть, хотя за такие задержки больше дефолта руки поотрывают:)

Запросы ведь не только вида select name, pwd_hash from users where user_id = 1234 бывают. так что...

При pg_restore в новую пустую базу создались дупликаты практический всех строк(даже id идентичны). Бэкап сделал с pg_dump -Fc. Из-за чего такое может произойти? Как лучше убрать дупликаты

на букву 'С' только нажмите после запуска

Спасибо вам за совет. Поставил, запустил, отсортировал по нагрузке на CPU. Список запросов почти всегда пустой, иногда мелькают разные запросы, загружают процессор на 250% или около того и исчезают. Так и должно быть? :)

Уточнил таблицу через -d. Вижу, что autovacuum на одной таблице работает очень долго (около 3 минут)

Hewlett-Packard Enterprise Japan Co, Ltd. 1. May 22, 2017. PostgreSQL 10 New Features. With Examples

Hewlett-Packard Enterprise Japan Co, Ltd. 1. May 22, 2017. PostgreSQL 10 New Features. With Examples

Николай, а от PostgresPro EE есть такойже буклет?

Hewlett-Packard Enterprise Japan Co, Ltd. 1. May 22, 2017. PostgreSQL 10 New Features. With Examples

Да, некоторые вещи уже попробовал. Особенно радует parallel index scan, партиции и команды if, else, endif в psql.

Кстати, ещё одно нововведение - hash index теперь пишутся в WAL. А кто-нибудь знает, почему раньше не писались? Не позволяла какая-то архитектурная особенность или просто руки не доходили? Если смотреть код, вроде, ничего необычного.

Друзья, а кто-нибудь слышал про PgConf.Siberia?

PgConf.Siberia в рамках DevFest Siberia 2017

вот что нашел https://pgconf.ru/201709

https://www.postgresql.org/docs/10/static/sql-createstatistics.html

а кто может расказать для чего это?

ага, для планера, офигенно

а кто может расказать для чего это?

Сейчас статистика это гистограмма значений в каждой колонке, и если в запросе несколько условий по разным полям, то этой информации может сильно не хватать. Например пользователей до 18 много, пользователей с должностью CEO тоже много, а тех у которых оба этих условия — нет

И планнер промахнется с оценкой — просто перемножит вероятности. А с парной гистограммой можно будет сказать, что таких почти нет

https://blog.2ndquadrant.com/pg-phriday-crazy-correlated-column-crusade/

https://blog.2ndquadrant.com/pg-phriday-crazy-correlated-column-crusade/

Заголовки у них доставляют )

https://commitfest.postgresql.org/13/740/

http://sqlfiddle.com/#!17/7b1d4/15/6

Привет ещё раз. Утром задавал вопрос касаемо запроса UPDATE

Для удобства сделал это всё на приблизительной схеме.

Так вот, как это добро можно оптимизировать?

На реальном проекте это очень долго выполняется.

Интересует именно оптимизация запроса. А не архитектура.

Все селекты максимально денормализовать в materialized view

И добавить функциональных индексов

Функциональные индексы создаются на этапе формирования схемы?

Да

ОК, к модификации схемы у меня доступа, вероятно, не будет. А про materialized view почитаю, спасибо.

Создение view это тоже модификация схемы

ERROR: S client not available

Но их можно создавать где-нибудь в своей схеме куда есть доступ.

Гм, так... То есть, создать ещё один маппинг и уже из него дёргать данные?

Костыльно как-то...

Костыльно как-то...

Иногда, "костыль" - единственное средство перемещения ))))

Ну да, тоже верно...

Меня смущает одно.

+?

В проекте уже был старый запрос, который, вроде, работал.

Очень похож на тот, что сейчас делаю я.

А этот запрос выполняется очень медленно, несколько минут, я даже не могу дождаться.

Какой-то ужас.

А не иметь доступа к модификации схемы не костыльно?

А не иметь доступа к модификации схемы не костыльно?

Разрешать джуну модифицировать схему БД проекта, с которой он едва знаком?

Чтобы там всё полетело к праотцам? :DDD

Нет, не костыльно.

Ну вот там есть как раз для такого схема (не общее устройство имеется в виду а неймспейс)

Тебе создают твою схему и дают права делать в ней что угодно. А к главной схеме права на чтение только.

И там можно создавать мат. вьюхи, накладывать на них индексы и все остальное.

Нет, ну понятно, что локально я могу творить, что хочу. Но это добро будет потом мержиться в master.

И этот merge может всё поломать.

Тесты есть?

Эм, нет, я почти ни разу их не писал.

Буду учиться в ближайшее время.

А на самом проекте, конечно, используются.

Нет, ну понятно, что локально я могу творить, что хочу. Но это добро будет потом мержиться в master.

А при чем тут мержиться? Я же про базу говорю

А какой смысл мне менять локально структуру БД (и не коммитить новый маппинг), если на продакшне это будет выполняться в прежних условиях очень долго?

Так я говорю про создание схемы на проде