http://initd.org/psycopg/docs/usage.html#transactions-control

@pasha_golub о достопочтенный джин, исполни ещё одно мое желание из тысячи - забань неверного)

Зато 1024 [мне] сейчас телега показывает

Зато 1024 [мне] сейчас телега показывает

Да каждый день кто-то присоединяется, будет и после бана 1024

@pasha_golub о достопочтенный джин, исполни ещё одно мое желание из тысячи - забань неверного)

Сделано

Кто работал с PostgreSQL в psycopg2 (Python). Можете подсказать, если с базой через скрипт работают несколько пользователей (читают из неё данные), надо ли создавать для каждого пользователя свой курсор и закрывать его после окончания его работы с базой.

Да, желательно еще транзакцию переоткрывать.

Создание курсора вещь дешёвая

Ребята, есть два плана! На один и тот же запрос! Один работает безконечно долго (однажды больше суток работал) другой отрабатывает за секунды и к тому steaming (т.е выдает первую строку моментально), появляется медленный запрос после добавляения данных в табилицу diff, а пропадает после analyze diff. Но это все более понятно, мне другое не ясно, как заставить его даже без данных analyze так сильно не проседать.

Запрос с join filter - плохой, без хороший.

Как вообще жить с такими таблицами, где данных много но есть поля с маленьким кол-вом уникальных значений, ну т.е id группы строк. И получается что после того как мы заливаем новую группу ~10k строк, статистика analyze не видит эту группу, и делает планы как будто таких записей нет и "че тут join'ить то" и делает не правильный план

analyze после каждой вставки не вариант, т.к analyze будет работать дольше вставки, т.к вставляем 10к а в табилице уже больше милиона например, как вариант модифицировать статистику табилцы добавляя туда новый group_id, т.к остальное распределние не меняется, или остается тем же.

Привет) Народ, кто может дать годный материал, на настройку кластера горизонтального масштабирования на Postgres?

analyze после каждой вставки не вариант, т.к analyze будет работать дольше вставки, т.к вставляем 10к а в табилице уже больше милиона например, как вариант модифицировать статистику табилцы добавляя туда новый group_id, т.к остальное распределние не меняется, или остается тем же.

вообще я бы начал с тюнинга автовакуума https://postgrespro.ru/docs/postgresql/9.6/runtime-config-autovacuum Сколь помню, для конкретной таблицы тоже можно было через alter table set настроить параметры автовакуума

вообще я бы начал с тюнинга автовакуума https://postgrespro.ru/docs/postgresql/9.6/runtime-config-autovacuum Сколь помню, для конкретной таблицы тоже можно было через alter table set настроить параметры автовакуума

ок, но есть одно но, запрос начинается СРАЗУ после вставки, и поэтому автовакум повлияет на следующие запросы.

а можно \d по таблицам и \di по индексам, участвующим в запросе?

Привет) Народ, кто может дать годный материал, на настройку кластера горизонтального масштабирования на Postgres?

из коробки такого нет. не из коробки есть plproxy, bdr, postgres-xl. все зависит от конкретной ситуации, зачем это вам нужно

из коробки такого нет. не из коробки есть plproxy, bdr, postgres-xl. все зависит от конкретной ситуации, зачем это вам нужно

Просто для учебы)

на данный момент, только технологию ha-cluster знаю)

зайдите на сайт 2ndquadrant, они xl и bdr делают. ну а про скайповский plproxy были доклады у яндекса и самого скайпа

ясненько, надо будет глянуть

на данный момент, только технологию ha-cluster знаю)

В каком месте связаны ha и горизонтальное масштабирование? HA - это отказоустойчивость, а совсем не масштабирование. Или таки имелся в виду haproxy? Масштабирование на запись в ПГ возможно только на уровне приложения с шардированием (это когда у вас данные разбиты по нескольким отказоустойчивым клястерам, и приложению известно об этом разбиении). Масштабирование на чтение - это вот как раз haproxy. Пул соединений - pgbouncer. Как правило, приложения делаются таким образом, что запросы на чтение идут на один адрес, и пгбаунсер их перенаправляет на haproxy, а запросы на запись идут на другой, а пгбаунсер их пересылает на мастер. А BDR и прочие мультимастеры - суть ересь и непотребство. Не надо в ту сторону смотреть, если не собраетесь по 48 часов в сутки разбираться, почему у вам база тормозит.

В каком месте связаны ha и горизонтальное масштабирование? HA - это отказоустойчивость, а совсем не масштабирование. Или таки имелся в виду haproxy? Масштабирование на запись в ПГ возможно только на уровне приложения с шардированием (это когда у вас данные разбиты по нескольким отказоустойчивым клястерам, и приложению известно об этом разбиении). Масштабирование на чтение - это вот как раз haproxy. Пул соединений - pgbouncer. Как правило, приложения делаются таким образом, что запросы на чтение идут на один адрес, и пгбаунсер их перенаправляет на haproxy, а запросы на запись идут на другой, а пгбаунсер их пересылает на мастер. А BDR и прочие мультимастеры - суть ересь и непотребство. Не надо в ту сторону смотреть, если не собраетесь по 48 часов в сутки разбираться, почему у вам база тормозит.

Я и не говорил про то, что ha-cluster горизонтального масштабирования)), я просто сказал, что на данный момент знаю лишь одну реализацию возможного кластера)

Привет) Народ, кто может дать годный материал, на настройку кластера горизонтального масштабирования на Postgres?

Антошин , мне вот это приснилось?

В каком месте связаны ha и горизонтальное масштабирование? HA - это отказоустойчивость, а совсем не масштабирование. Или таки имелся в виду haproxy? Масштабирование на запись в ПГ возможно только на уровне приложения с шардированием (это когда у вас данные разбиты по нескольким отказоустойчивым клястерам, и приложению известно об этом разбиении). Масштабирование на чтение - это вот как раз haproxy. Пул соединений - pgbouncer. Как правило, приложения делаются таким образом, что запросы на чтение идут на один адрес, и пгбаунсер их перенаправляет на haproxy, а запросы на запись идут на другой, а пгбаунсер их пересылает на мастер. А BDR и прочие мультимастеры - суть ересь и непотребство. Не надо в ту сторону смотреть, если не собраетесь по 48 часов в сутки разбираться, почему у вам база тормозит.

А это уже другой мой пост) и с ha-cluster он никак не связан, а то что я написал знаю только ha-cluster, извини не заметил, что не разбил тему)

Антошин , мне вот это приснилось?

лучше подскажи какой кластер горизонтального масштабирования более удобный и менее глюченный

нет такого

да и зачем оно вам ?

лучше подскажи какой кластер горизонтального масштабирования более удобный и менее глюченный

Мне повторить то, что я выше написал? Масштабирование ПГ из коробки - это ненаучная фантастика. Только хардкор, только лютое рукоблудие!

нет такого

Просто интересно)

Мне повторить то, что я выше написал? Масштабирование ПГ из коробки - это ненаучная фантастика. Только хардкор, только лютое рукоблудие!

ладно, ладно)

Мне повторить то, что я выше написал? Масштабирование ПГ из коробки - это ненаучная фантастика. Только хардкор, только лютое рукоблудие!

Вроде в 10 будет. Или это тоже фантастика?

нет

Вроде в 10 будет. Или это тоже фантастика?

Там же логическая репликация

Вроде в 10 будет. Или это тоже фантастика?

Судя по тенденциям, пользоваться этими возможностями можно будет только в 12-й версии. Раньше - сомневаюсь.

Там же логическая репликация

Ну это я знаю.

Там же логическая репликация

Репликация или таки logical decoding, мать его по через швабру?

логическая репликация https://www.depesz.com/2017/04/03/waiting-for-postgresql-10-logical-replication-support-for-initial-data-copy/

@kshvakov там описаны манипуляции для ДБА. И ровным счётом ничего о внутренних процессах. Я же пока что о внутри вижу только logical decoding.

логическая репликация и строится на logical decoding который годами по чуть-чуть пропихивали в постгрес

Мне на хабре попадалась статья, где парень тестировал девовскую десятку. Там вполне себе были трансляции и подписки для таблиц - то есть будет именно логическая репликация

Как я понимаю, на базе pglogical

Мне на хабре попадалась статья, где парень тестировал девовскую десятку. Там вполне себе были трансляции и подписки для таблиц - то есть будет именно логическая репликация

урезанная версия pglogical. Пока только основные моменты есть

Ну раскожи.

логическая репликация и строится на logical decoding который годами по чуть-чуть пропихивали в постгрес

logical decoding - это редкостное по своей уродливости непотребство. А значит - фтопку! Олег Царёв в свое время весьма резко прошёлся по тому, как работает репликация в мыскле. Дык вот. В ПГ реализация, архитектурно, на порядки уродливее, нежели в мыскле.

logical decoding - это редкостное по своей уродливости непотребство. А значит - фтопку! Олег Царёв в свое время весьма резко прошёлся по тому, как работает репликация в мыскле. Дык вот. В ПГ реализация, архитектурно, на порядки уродливее, нежели в мыскле.

Не бросите ссылку, интересно прочитать

Не, не сохранил. Вернее, я это вживую слушал где-то на митапах. Вроде на хабре было.

Не, не сохранил. Вернее, я это вживую слушал где-то на митапах. Вроде на хабре было.

https://m.habrahabr.ru/post/269889/

https://m.habrahabr.ru/post/269889/

статья немного устарела. хорошее знание mysql и поверхностное знание postgres.

Конечно устарела

logical decoding - это редкостное по своей уродливости непотребство. А значит - фтопку! Олег Царёв в свое время весьма резко прошёлся по тому, как работает репликация в мыскле. Дык вот. В ПГ реализация, архитектурно, на порядки уродливее, нежели в мыскле.

Ну, Олег любит вбрасывать ) Вот видео https://www.youtube.com/watch?v=_r8vLPTl0PE

а можно \d по таблицам и \di по индексам, участвующим в запросе?

https://gist.github.com/anonymous/0591fb0839c0857e375e1dca7ca34019

https://gist.github.com/anonymous/0591fb0839c0857e375e1dca7ca34019

И ещё текст запроса. Я гляну чуть позже

И ещё текст запроса. Я гляну чуть позже

комент там оставил

такой вопрос - pg_probackup я как понял сжимать бэкапы не умеет?

то есть надо после успешной валидации самому зиппать его и на схрон в NAS или лента?

парни кто знает какой нибудь WEB проект который работает на основе pg_stat_statements,

а то логи анализировать не очень хочется

тебе критично чтобы это было именно веб приложение?

парни кто знает какой нибудь WEB проект который работает на основе pg_stat_statements,

http://dalibo.github.io/powa/

ERROR: S client not available

А бесплатные ?

Мне понравился pghero https://github.com/ankane/pghero

А бесплатные ?

PoWA бесплатно

Спасибо , невнимательно посмотрел . Что то сразу в глаха бросилось слово commercial

Это спамер, работу предлагает

уже предлагает)

Забаньте до круглого числа!

Коллеги, пользуете ltree для деревьев? Как с скоростью работы?

Коллеги, пользуете ltree для деревьев? Как с скоростью работы?

когда я этой штукой баловался, CTE бывали и побыстрее. Баловался на КЛАДР-е.

А, нет, вру. Всё мал-мала по-другому было (надеюсь ссылка на профильную коммуну ЖЖ спамом не будет): http://ru-postgres.livejournal.com/tag/ltree

А, нет, вру. Всё мал-мала по-другому было (надеюсь ссылка на профильную коммуну ЖЖ спамом не будет): http://ru-postgres.livejournal.com/tag/ltree

Спасибо!

Всем привет

Новичек в postgreSQL, можете помочь?

https://github.com/jackc/pgx/tree/master/examples/url_shortener

Вот этот пример не могу запустить

Базу данных вот так установил

sudo apt-get install postgresql postgresql-contrib

Такая ошибка

DBUG[05-10|14:43:04] Using default connection config module=pgx Port=5432 INFO[05-10|14:43:04] Dialing PostgreSQL server at tcp address: 127.0.0.1:5432 module=pgx EROR[05-10|14:43:04] Connect failed: FATAL: password authentication failed for user "jack" (SQLSTATE 28P01) module=pgx CRIT[05-10|14:43:04] Unable to create connection pool error="FATAL: password authentication failed for user \"jack\" (SQLSTATE 28P01)" exit status 1

DBUG[05-10|14:43:04] Using default connection config module=pgx Port=5432 INFO[05-10|14:43:04] Dialing PostgreSQL server at tcp address: 127.0.0.1:5432 module=pgx EROR[05-10|14:43:04] Connect failed: FATAL: password authentication failed for user "jack" (SQLSTATE 28P01) module=pgx CRIT[05-10|14:43:04] Unable to create connection pool error="FATAL: password authentication failed for user \"jack\" (SQLSTATE 28P01)" exit status 1

https://github.com/jackc/pgx/blob/master/examples/url_shortener/main.go#L106

106 строчка, смени конфиг на свой

Тебе же всё в ошибке написало

У меня нет своего

Как сделать?

Так сделай

Читай доку

По postgreSQL?

Да

По postgreSQL?

https://www.digitalocean.com/community/tutorials/how-to-install-and-use-postgresql-on-ubuntu-16-04

Или загугли как содать бд и пользователя