у меня уже который день сыпятся duplicate keys error в запросе чтото типа insert into record_log(car_id, send_dt) select c.id, timestamp '2017-07-01 16:45:22' from car c where c.id = 1 and not exists (select 1 from record_log where car_id = c.id) по car_id имеется unique index

ага )

У нас доступ через индекс видел то что не мог увидеть sequention scan

Статистика (в бизнес-смысле) стала сама с содой несходиться

пересоздал не помогло

и как проявляется такое действо ?

У меня появилось когда дамп с прода на тесте раскатывал. Там по дублям индекс не смог собраться

был уже тут подобный пример

/usr/lib/postgresql/9.6/bin/initdb -D main -k /usr/lib/postgresql/9.6/bin/pgbench -i -s 100 postgres=# select count(*) from pgbench_accounts; count —------— 10000000 (1 row) postgres=# \q postgres@ubuntu:~/9.6$ rm -f main/base/12439/16396.1 postgres@ubuntu:~/9.6$ psql psql (9.6.4) Type "help" for help. postgres=# select count(*) from pgbench_accounts; count —------- 7995392 (1 row) postgres=#

у меня уже который день сыпятся duplicate keys error в запросе чтото типа insert into record_log(car_id, send_dt) select c.id, timestamp '2017-07-01 16:45:22' from car c where c.id = 1 and not exists (select 1 from record_log where car_id = c.id) по car_id имеется unique index

ну так тут банальное race condition

наверное стоит добавить что соединения в пуле томката и автокоммит он

А насколько плохая идея поднять в продакшене сервак с десятой постгрей? Мне, похоже, понадобится партицирование, а в десятке оно, походу, в разы удобнее

А насколько плохая идея поднять в продакшене сервак с десятой постгрей? Мне, похоже, понадобится партицирование, а в десятке оно, походу, в разы удобнее

Если твой продакшен до ноября не будет особо продакшеном - не очень плохая.

релиз аж в августе 2018? :о тогда да, не очень

пересоздал не помогло

Есть amcheck extension https://www.postgresql.org/docs/10/static/amcheck.html И в конце там утверждают что "A REINDEX may not be effective in repairing corruption"

релиз аж в августе 2018? :о тогда да, не очень

туплю, до ноября...

systemd[1]: postgresql-db.service: PID file /var/lib/postgresql/DB/main/postmaster.pid not readable (yet?) after start: No such file or directory

systemd[1]: postgresql-db.service: PID file /var/lib/postgresql/DB/main/postmaster.pid not readable (yet?) after start: No such file or directory

https://discuss.pivotal.io/hc/en-us/articles/226471668-Understanding-of-the-contents-of-the-two-files-postmaster-opts-and-postmaster-pid

Т.е. systemd матерится что PostgreSQL не стартанул при проверке - pid файлика нету. Потом ещё раз проверил и сказал что он стартанул... ничего странного.

Т.е. systemd матерится что PostgreSQL не стартанул при проверке - pid файлика нету. Потом ещё раз проверил и сказал что он стартанул... ничего странного.

спасибо

а в юните нужно явно его указать PIDFile=/var/lib/postgresql/DB/main/postmaster.pid или нет?

наверное стоит добавить что соединения в пуле томката и автокоммит он

Причем тут это. У тебя RC между селектом и инсертом. Или у тебя исключительно один поток без конкуренции?

а в юните нужно явно его указать PIDFile=/var/lib/postgresql/DB/main/postmaster.pid или нет?

Думаю, да и права бы стоит выставить на него 600

Думаю, да и права бы стоит выставить на него 600

кстати из юнта убрал путь до PID и нет больше такого в логах

Вообще, постгрес должен вроде сам работать с PID, т.к. запускает WAL, autovacuum и прочие процессы

Вообще, постгрес должен вроде сам работать с PID, т.к. запускает WAL, autovacuum и прочие процессы

да там вроде в конфиге прописывается путь к нему

у меня уже который день сыпятся duplicate keys error в запросе чтото типа insert into record_log(car_id, send_dt) select c.id, timestamp '2017-07-01 16:45:22' from car c where c.id = 1 and not exists (select 1 from record_log where car_id = c.id) по car_id имеется unique index

В запросе ошибка, так нельзя проверять. 2 транзакции одновремененно прилетят проверка ничего не найдет, а на момент коммита одна из них отвалится. Ошибка в constraint индексах тут не причем.

https://gyazo.com/b5026bffe04c37c299672e1b593034a8.png

в чем рисовал эту штуку?

gliffy в confluence

как-то визио юзал для схемы инфраструктуры, вообще замучался

gliffy в confluence

сам gliffy платный?

Да. Но я установкой не занималься - у нас другие за atlassian отвечают

ясно, спасибо, у нас такого нет, красиво получилось и быстро

https://goo.gl/83rf2U

echo $PGPORT

5433 (лезет) и 5432(запущен)

вы пытаетесь к 5433 а у вас слушает на 5432

https://www.postgresql.org/docs/9.3/static/libpq-envars.html

вы пытаетесь к 5433 а у вас слушает на 5432

почему он идёт на 5433? я же просто psql запускаю без параметров

пусто

psql не алиас?

~/.pg_service.conf

есть?

psql не алиас?

да нет

~/.pg_service.conf

?

~/.pg_service.conf

не находит

~/.pgpass

?

https://goo.gl/83rf2U

костыли :( вместо того чтобы сделать нормальную статитику по планам запроса - снапшопят месиво :(

~/.pgpass

нет

другая сессия, выше была не рутовая

оно во всех так?

другая сессия, выше была не рутовая

вывести от постгрес?

оно во всех так?

от постгреса так же

ну я к тому что может psql делали в одной, а echo $PGPORT в другой

как гипотеза)

в косоли, где psql пользуешь, выполни: printenv | grep -i pg и смотри вывод по перем. окруж.

в косоли, где psql пользуешь, выполни: printenv | grep -i pg и смотри вывод по перем. окруж.

сейчас

в косоли, где psql пользуешь, выполни: printenv | grep -i pg и смотри вывод по перем. окруж.

пусто

значит "энваймент" не виноват ))) Надо искать по конфигам...

значит "энваймент" не виноват ))) Надо искать по конфигам...

а где и что копать?

если указывать порт для psql то прокатывает, не пойму с чего он берёт порт 5433?

бинарь офийиальный?

дефолтный порт можно помоему при сборке

бинарь офийиальный?

с 9го дэбиана дефолтный 9,6 постгрес

а где и что копать?

ищи psqlrc, вероятно там прописали :PORT ? это как вариант

ищи psqlrc, вероятно там прописали :PORT ? это как вариант

нет не прописывал ничего дополнительно

ищи psqlrc, вероятно там прописали :PORT ? это как вариант

psqlrc не находит

проблема в общем то понятна, по дефолту psql идёт ни на тот порт, нужно на 5432, а он почему то идёт на 5433 и ищет не тот сокет

как решить?

strace -e open psql 2>&1|grep -i pg

какие файлы открывает

?

как решить?

как вариант пропиши PGPORT

strace -e open psql 2>&1|grep -i pg

пусто

проблема в общем то понятна, по дефолту psql идёт ни на тот порт, нужно на 5432, а он почему то идёт на 5433 и ищет не тот сокет

по умолчанию он идет на 5432, в противном случае к конфиге явно указано, что надо идти не на дефолтный порт! Следовательно, следует искать в конфиге.

ты коннектишся локально или через ssh сидишь удаленно?

по умолчанию он идет на 5432, в противном случае к конфиге явно указано, что надо идти не на дефолтный порт! Следовательно, следует искать в конфиге.

может он собран так? pg_config --configure

может он собран так? pg_config --configure

о, как вариант.

ты коннектишся локально или через ssh сидишь удаленно?

через ssh удалённо

может он собран так? pg_config --configure

да нет, это стандартные постгрес для дэбиана, на другом сервере ок

через ssh удалённо

млин! так посмотри на ремоуте, какие там конфиги! твои локальные не работают в таком случае!

млин! так посмотри на ремоуте, какие там конфиги! твои локальные не работают в таком случае!

не понял, я по ssh зашёл на удалённый сервер

ребутал сервер

вот! там и смотри: в учетке того, кем зашел. А не у себя в $HOME )

вот! там и смотри: в учетке того, кем зашел. А не у себя в $HOME )

так я зашёл юзером, потом su - в рута, потом su - postgres

psql --help , там будет написан дефолтный порт

так я зашёл юзером, потом su - в рута, потом su - postgres

не мое дело, конечно. Но! зачем все эти рут\постг? поправь конфиг у сервака ДБ и ходи от норм. юзера (юзером постгрес, если так принципиально)

не мое дело, конечно. Но! зачем все эти рут\постг? поправь конфиг у сервака ДБ и ходи от норм. юзера (юзером постгрес, если так принципиально)

так и хожу от нормального юзера)

так и хожу от нормального юзера)

а все эти СУ рут\постре - эти манипуляции зачем? )))

ну вот и все