ребят, а возможно на plpgsql вызвать несколько функций в разных потоках, а по завершению их выполнения выполнить требуемые действия?

триггеры?

триггеры?

почитал руководство. как я понял это не то. я имел ввиду если по простецки, то две очереди, два кассира. После обслуживания 1 покупателя каждым кассиром, охранник на выходе забирает пакеты у обоих покупателей и выдает все это за свою покупку ))))) как-то так.

Тогда вам нужна реализация очередей событий, как я понимаю

Но..... для одного подключения имеется одна очередь и один поток в котором обрабатываются события из очереди. А мне нужено два потока. В общем вроде я сам нашел ответ на свой вопрос. Процедурный язык - это последовательное выполнение инструкций, а значит 1 обработчик, 1 поток.

может я и не прав. но мои познания такие

надо будет пощупать Си как прикрутить. Время будет руководство почитаю

Но..... для одного подключения имеется одна очередь и один поток в котором обрабатываются события из очереди. А мне нужено два потока. В общем вроде я сам нашел ответ на свой вопрос. Процедурный язык - это последовательное выполнение инструкций, а значит 1 обработчик, 1 поток.

Обычно в базе и так много параллельных запросов

Обычно в базе и так много параллельных запросов

ну это работает сервер для каждого подключения. да там много поточность.

Вообще SQL про "что я хочу получить", а "как" - это решение движка

В 9.6 впилили параллельный скан, а в SQL ничего не поменялось

ну это работает сервер для каждого подключения. да там много поточность.

Нет, в постгресе много однопоточных процессов

ах, да, извиняюсь. на каждое подключение создается свой процесс. Но ведь в процессе можно создать N-потоков в одном адресном пространстве.

или это средствами plpgsql не возможно?

https://gist.github.com/vadv/ec88fb9bc6214a8a8d57e6782d2edecb настройки для логирования от сюда можно взять

спасибо! правильно понимаю что log_line_prefix = '%t [%p]: [%l-1] db=%d,user=%u,app=%a,client=%h ' тут самое основное для pgbadger?

ах, да, извиняюсь. на каждое подключение создается свой процесс. Но ведь в процессе можно создать N-потоков в одном адресном пространстве.

T-SQL это вам не С. Например, в MSSQL, где есть полноценный параллелизм, оптимизатор сам принимает решение о параллельном выполнении, и хрен его заставишь параллелить хоть сколько-либо надежно.

С другой стороны план с параллелизмом чаще всего говорит о плохом запросе.

спасибо! правильно понимаю что log_line_prefix = '%t [%p]: [%l-1] db=%d,user=%u,app=%a,client=%h ' тут самое основное для pgbadger?

log_checkpoints = on log_connections = on log_disconnections = on log_lock_waits = on log_temp_files = 0 log_min_duration_statement = 100 log_autovacuum_min_duration = 0 track_io_timing = on log_line_prefix = '%t [%p]: [%l-1] db=%d,user=%u,app=%a,client=%h ' shared_preload_libraries = 'pg_stat_statements, auto_explain, pg_buffercache' pg_stat_statements.max = 10000 pg_stat_statements.track = all auto_explain.log_min_duration = 1s auto_explain.log_verbose = on auto_explain.log_nested_statements = on auto_explain.log_analyze = off # Use EXPLAIN ANALYZE insted of EXPLAIN auto_explain.log_buffers = off auto_explain.log_triggers = off auto_explain.log_timing = off

УРА. Я удовлетворил студента. То есть себя самого. из 3 минут ожидания выборки сократил до менее секунды )))))) select listb."ID", listb."firmName", listb."modelName", listb."firmNum", listb."invNum", listb."localNum", listb."createDate", listb."inDate", listb."tsName", listb.weight, listb."workPressure", listb."ispPressure", listb.capacity, listb."lastUpdate", moveb."ofceName", moveb.mdate from (select * FROM "Engineering"."listBall"()) as listb right join (select l2.idball, "Office"."ofceName", l2.mdate from "Engineering"."listMoveBall"() as l2 left join "PersonnelDepartment"."Office" using(idofce)) as moveb on listb."ID"=moveb.idball

log_checkpoints = on log_connections = on log_disconnections = on log_lock_waits = on log_temp_files = 0 log_min_duration_statement = 100 log_autovacuum_min_duration = 0 track_io_timing = on log_line_prefix = '%t [%p]: [%l-1] db=%d,user=%u,app=%a,client=%h ' shared_preload_libraries = 'pg_stat_statements, auto_explain, pg_buffercache' pg_stat_statements.max = 10000 pg_stat_statements.track = all auto_explain.log_min_duration = 1s auto_explain.log_verbose = on auto_explain.log_nested_statements = on auto_explain.log_analyze = off # Use EXPLAIN ANALYZE insted of EXPLAIN auto_explain.log_buffers = off auto_explain.log_triggers = off auto_explain.log_timing = off

всё же тут некоторые опции зависят от основной задачи (например мне не интересны коннекты/дисконнекты наверно), а некоторые уже включены независимо от мониторинга

алсо я думал из этих shared_preload_libraries = 'pg_stat_statements, auto_explain, pg_buffercache' первые два занимаются примерно одним и тем же. про третий почитаю

еще раз большое спасибо )

вот только засада. не могу понять как правильно построить чтобы выводилось в результате все из listb и не важно есть запись в moveb или нет. Но если запись имеется, то подставить значение в конечный результат. Читал, читал мануал. Чет так и не могу побороть (((( подскажите пожалуйста как это сделать.

в данный момент выводиться записей ровно столько сколько в moveb (((

в данный момент выводиться записей ровно столько сколько в moveb (((

всё дело в right join

алсо я думал из этих shared_preload_libraries = 'pg_stat_statements, auto_explain, pg_buffercache' первые два занимаются примерно одним и тем же. про третий почитаю

ну у второго есть поддержка со стороны pgbadger

алсо я думал из этих shared_preload_libraries = 'pg_stat_statements, auto_explain, pg_buffercache' первые два занимаются примерно одним и тем же. про третий почитаю

коннект - дорогая операция, если на безопасность наплевать то хотябы с этой точки зрения, логировать ее стоит

коннект - дорогая операция, если на безопасность наплевать то хотябы с этой точки зрения, логировать ее стоит

приложение крутится на том же хосте где база. и 50 коннектов на миллионы операций выборки... ну не помешаются, ок )

всё дело в right join

ну точно )))). я ж впервый раз написал, но результат не крутанул. строк то со значением в moveb мало, а в listb много. увидел пустышки и задумался. ))))))))) огромное Вам спасибо, за то что вы есть. Хоть и возился полдня, но все же из 3,5 минут вышло не более 1,5 сек на 660 строк в конечном результате. при дефолтных настройках сервера. мой конечный запрос select listb."ID", listb."firmName", listb."modelName", listb."firmNum", listb."invNum", listb."localNum", listb."createDate", listb."inDate", listb."tsName", listb.weight, listb."workPressure", listb."ispPressure", listb.capacity, listb."lastUpdate", moveb."ofceName", moveb.mdate from (select * FROM "Engineering"."listBall"()) as listb left join (select l2.idball, "Office"."ofceName", l2.mdate from "Engineering"."listMoveBall"() as l2 left join "PersonnelDepartment"."Office" using(idofce)) as moveb on moveb.idball=listb."ID"

с удовольствием почитаю критику кода. студенту это важно.

ну у второго есть поддержка со стороны pgbadger

тогда зачем первый (и третий)?

хотя про третий почитал (https://postgrespro.ru/docs/postgresql/9.6/pgbuffercache.html) и думаю что полезно будет оставить

тогда зачем первый (и третий)?

первый - потому что я привык к нему :)

а, ясно, принимается ) мне-то огонь потушить, не до коннектов как бы ))

Здаров

age(timestamp, timestamp) interval Вычитает аргументы и выдаёт "символический" результат с годами и месяцами, а не просто днями

А как просто количество дней выдать?

SELECT ts2::date - ts1::date

SELECT ts2::date - ts1::date

спасибо, а "псевдоним" колонки не подскажите как сделать

select ts2::date - ts1::date from (select '2016-01-01 00:00:00'::timestamp as ts1, current_timestamp as ts2) x;

Коллеги, а никто не пилил мастер-мастер на pglogical?

Конкретно, интересует возможность логической репликации через pgpool

Ребята, после неведомого страха в восстановлении сервера происходит вот такая шняга: root@scw-7c22e8:/# psql -h /var/run/postgresql psql: could not connect to server: No such file or directory Is the server running locally and accepting connections on Unix domain socket "/var/run/postgresql/.s.PGSQL.5432"?

Реально ли восстановить сокет без переустановки?

Или выполнить переустановку и сохранить данные?

Посмотрите ps aux, работает ли процесс. И загляните в postgresql.conf, в какую директорию он кладёт сокеты

Но сервак после падения, там все монтировалось\перемонтировалось из разделов, где он лежал

В процессах не вижу постгреса

И restart 100 раз делал

а если руками, а не через systemd?

То, что у вас служба запущена, не говорит, что работает процесс постгреса. Показатель - ps aux

Служба - это просто обвзяка над запуском процесса

root@scw-7c22e8:/# 2017-06-30 03:58:09 UTC [1839-1] LOG: could not bind IPv4 socket: Cannot assign requested address 2017-06-30 03:58:09 UTC [1839-2] HINT: Is another postmaster already running on port 5432? If not, wait a few seconds and retry. 2017-06-30 03:58:09 UTC [1839-3] WARNING: could not create listen socket for "*******" 2017-06-30 03:58:09 UTC [1839-4] FATAL: could not create any TCP/IP sockets

Теперь буду разбиратьсяяя

Посмотрите netstat -an | grep 5432. Никто там не работает?

Ничего Оо

Сейчас сменил listen_address на *

root@scw-7c22e8:/# 2017-06-30 04:01:25 UTC [1886-1] LOG: database system was interrupted; last known up at 2017-06-28 14:47:55 UTC 2017-06-30 04:01:26 UTC [1886-2] LOG: database system was not properly shut down; automatic recovery in progress 2017-06-30 04:01:26 UTC [1886-3] FATAL: could not open directory "/var/run/postgresql/9.5-main.pg_stat_tmp": No such file or directory 2017-06-30 04:01:26 UTC [1885-1] LOG: startup process (PID 1886) exited with exit code 1 2017-06-30 04:01:26 UTC [1885-2] LOG: aborting startup due to startup process failure

Посмотрите, существует ли /var/run/postgresql и с какими правами

drwxrwsr-x 2 postgres postgres 40 Jun 30 04:01 .

ERROR: S client not available

Команду делаю: $ sudo -su postgres /usr/lib/postgresql/9.5/bin/pg_ctl start -D/etc/postgresql/9.5/main

Ладно, безумный вопрос - после восстановления раздел /var не может read only быть смонтирован?

А как можно это безумно проверить? :с

Попробовать че то записать на диск?

Тоды из под рута или посгреса?

Я просто из церкви

Напишите mount, если правильно помню, покажет все разделы и как смонтированы

Ох, мне кажется тут очень много неведомой фигни

У меня еще каким то фигом ssh отвалился - Connection Refused при попытке подключиться, на сервере попытки не логируются, ничего Вся каша после восстановления

$ awk '$4~/(^|,)ro($|,)/' /proc/mounts tmpfs /sys/fs/cgroup tmpfs ro,nosuid,nodev,noexec,mode=755 0 0

RO походу только эта фигня..

У вас ошибка говорит, что /var/lib/postgresql/9.5 не каталог кластера

Да, с var все ок в этом плане

Я психанул

И создал /var/run/postgresql/9.5-main.pg_stat_tmp

Теперь только логи: 2017-06-30 04:19:36 UTC [1953-65] LOG: could not open temporary statistics file "/var/run/postgresql/9.5-main.pg_stat_tmp/global.tmp": Permission denied

А

Создавал под рутом.. Фук..

покажите ls -la для /var/run/postgresql. где-то там не те права и не для того пользователя

Да, поставил владельцем посгрес и ок все

Спасибо за помощь

Мне тут недавно кстати приходилось на протяжении 3 дней получать в базу около 20 запросов в секунду на запись. Потом забился каким-то фигом диск, 20 ГБ аномально забились, пробовал искать большие файлы и директории командами: $ find / -size +10M -size -12M -ls du -sch .[!.]* * |sort -h Но ничего не находилось, что могло в совокупности занять 20 ГБ После рестартнул постгрес и 20 гб освободилось на диске

А как можно это безумно проверить? :с

touch /var/test

Что может там занимать столько места после ~ 10 млн запросов?

И это что-то убивается при restart

Что может там занимать столько места после ~ 10 млн запросов?

tmp

Мне тут недавно кстати приходилось на протяжении 3 дней получать в базу около 20 запросов в секунду на запись. Потом забился каким-то фигом диск, 20 ГБ аномально забились, пробовал искать большие файлы и директории командами: $ find / -size +10M -size -12M -ls du -sch .[!.]* * |sort -h Но ничего не находилось, что могло в совокупности занять 20 ГБ После рестартнул постгрес и 20 гб освободилось на диске

Лучше смотрите sudo du -sh /*

Коллеги, а никто не пилил мастер-мастер на pglogical?

Зачем? Есть же BDR https://www.2ndquadrant.com/en/resources/bdr/

Ага. Попробуйте ее запустить на 9.5/9.6

Да, не похоже чтобы 2ndquadrant спешили портировать BDR под 9.6 - Postgres-BDR 1.0.2 on Server version 9.4.12 Released - May 18, 2017