В таблицу за раз кладется около 200к строк, которые удаляются перед вставкой нового блока

непонятно как синхронизируется все столько строк вставлять и удалять и обрабаывать это время как процесс который ложит данные синхронизируется с процессом который потом эти данные по партициям разносит? update о котором шла речь идет на таблицы партиций или на эту временную таблицу ?

а удаляет из временной таблицы какой процесс как он с первыми двумя синхронизируется

Есть основной процесс, он последовательно делает следующие вещи: чистит временную таблицу, заливает данные, обновляет их, вызывает процедуру разнесения данных по партициям, дожидается ее окончания и чистит временную таблицу

Т.е. никаких дополнительных/параллельных процессов не создается

у меня подобное, только ~80м и ничего не лочится, проблема в коде а не в бд

так вы ж говорите что у вас и го и java

а это уже два процесса

Два варианта реализации) в один момент времени запущен только один

Однопоточное приложение в одно соединение к БД ?

В настоящее время да

altertable делается? Сколько подключений?

Занято заливкой данных из системы мониторинга для долговременного хранения

внешние ключи убираешь? Индексы создаешь/дропаешь?

Alter не делается, подключение одно

Создание индексов происходит при создании партиций через like

Больше никаких изменений со структурой не происходит

create index блокирует работу с таблицей в других транзакциях

Создание партиций/инлексов происходит в том же потоке, но только перед вставкой

проблема не в постгресе

проверяй сеть в таком случае

Тольео в этом случае все равно вылетела бы ошибка

Буду смотреть дампы сети, когда ошибка начнет повторяться

Кстати, возможно ли включить параллельный просмотр наследованных таблиц при запросе к родительской?

Народ, distinct по индексу из коробки в постгрес еще не завезли ведь?

если искать только по полям которые в индексе и в правильно последовательности

не выходит

вы имеете в виду вот это? https://wiki.postgresql.org/wiki/Loose_indexscan

да

create table jenkins.test(a int); insert into jenkins.test(a) select 100 from generate_series(1,10000); insert into jenkins.test(a) select 200 from generate_series(1,10000); insert into jenkins.test(a) values(300); create index on jenkins.test using btree(a); analyze jenkins.test; explain analyze select distinct on (a) a from jenkins.test

Unique (cost=0.29..670.31 rows=3 width=4) (actual time=0.104..6.502 rows=3 loops=1) -> Index Only Scan using test_a_idx on test (cost=0.29..620.30 rows=20001 width=4) (actual time=0.103..5.259 rows=20001 loops=1) Heap Fetches: 20001 Planning time: 0.044 ms Execution time: 6.527 ms

вы вставьте туда 200kk строк, например

а если полей больше 1

в индексе

и по первому уникальные значения получить

то соблюдаем очереденость полей в индекс и в distinct

не ну, в индексе 2 поля, а надо получить distinct только первого

это же должно за O(n) делатся, обычным сканом индекса

работает, просто планер считает что seq scan быстрей :) , set enable_seqscan=f; пролечил план, значит постгрес может в это

спасибо

analyze таблички нужно не забывать делать по умолчанию настройки не всегда успевают статиситку обнволять

ну и конешно уникальных записей должно быть сильно меньше чем записей всего

да, планировщик не дурак однако

может кто знает, опишите пожалуйста как лучше пропатчить/собрать свой постгрес и запустить его на сервере. нужно 1 строчку в сорце заменить, чтоб вместо error делал ворнинг

с github chekcout правила сборки все там же лучше брать стабильный бранч

собирается минут 15

спасибо, точно, читаю сейчас доки

собирал 9.5 на centos 7.2

вот у меня тоже 9.5

делаете патч, дальше настройте автосборку какую-нибудь, которая будет накладывать патч (git apply) и компилить, ну а дальше в пакет упаковывайте, да и все. Дальше по кнопке у вас будет браться с какого хотите коммита или ветки, накладываться ваш патч и собираться

о спасибо. мне бы один раз запустить да данные извлечь, вот эту строчку закомментить https://github.com/postgres/postgres/blob/REL9_5_STABLE/src/backend/access/transam/multixact.c#L1285

Там кажется делаем ./configure при жалобах смотри что отсуствует, доустанавливаем по необходимости.

а бинарник потом просто запускается из папки артефактов с путем к datadir?

вы тогда посмотрите pg_config с какими параметрами сконфигурена, на чьих данных надо запуститься и компильте с такими же

а бинарник потом просто запускается из папки артефактов с путем к datadir?

да, что-то типа my_dir/postgres -D datadir

ok супер

как считаете, не будет катастрофы если закомменчу этот блок и попробую удалить невалидные данные? https://github.com/postgres/postgres/blob/master/src/backend/access/heap/heapam.c#L3063

о спасибо. мне бы один раз запустить да данные извлечь, вот эту строчку закомментить https://github.com/postgres/postgres/blob/REL9_5_STABLE/src/backend/access/transam/multixact.c#L1285

и вот этот на всякий случай

детектив прям

угу ?

А сколько хватает терпения. Я бы бросил давно)

блин, каждый раз когда лучше бы вникнуть в чужой код, возникает такое чувство что "не, лучше не читать, зачем мне это"

да сервер простаивает, я особо не спешу, но зарекся не принимать алкоголь пока не извлеку данные

Дык может потому и простаивает, что не принимаете?)

да и не знаю уж

бухать не выход, но вариант

а вот есть еще вариент написать скрипт для дергания данных, но на сервере нет места для полного бекапа, но есть медленный HDD на 8ТБ. Допустим я получил строку целых данных из БД, как ее лучше на диск записать? с csv не будет проблем? а то там есть очень жирные jsonb документы с кучей мусора

а вот есть еще вариент написать скрипт для дергания данных, но на сервере нет места для полного бекапа, но есть медленный HDD на 8ТБ. Допустим я получил строку целых данных из БД, как ее лучше на диск записать? с csv не будет проблем? а то там есть очень жирные jsonb документы с кучей мусора

не должно быть, по идее. CSV прекрасен именно своей простотой - он проще рубля. Главное правильно выбрать разделитель

ERROR: S client not available

вообще конфигуратор настроит сервис

вообще конфигуратор настроит сервис

о вот это мне не нужно, только бинарник хочу

при сборке а но можно запускать и бинарник но systemctl start postgres-9.5-service проще

ну можно посмотреть куда он его собереть и запустить pg_ctl start -D data_di -l log_dir/my.log

вообще конфигуратор настроит сервис

а не make install разве это должен делать?

о, минут за 5 собрался

хммм, как так если конфиг от старого сервера: postgres@3081:/usr/local/pgsql$ ./bin/pg_ctl start -D /var/lib/postgresql/9.5/main/ server starting postgres@3081:/usr/local/pgsql$ LOG: SSL is not supported by this build 2016-12-14 14:02:39 GMT [5376-2] LOG: invalid value for parameter "log_timezone": "localtime" 2016-12-14 14:02:39 GMT [5376-3] LOG: invalid value for parameter "TimeZone": "localtime" 2016-12-14 14:02:39 GMT [5376-4] FATAL: configuration file "/var/lib/postgresql/9.5/main/postgresql.conf" contains errors

я postgresql.conf туда из /etc/postgresql/ скопировал, но это data dir, ничего не понимаю

postgres@3081:/usr/local/pgsql$ ./bin/postgres -D /var/lib/postgresql/9.5/main/ postgres cannot access the server configuration file "/var/lib/postgresql/9.5/main/postgresql.conf": No such file or directory там же не должно конфига быть, да? это data dir старого сервера

2016-12-14 14:02:39 GMT [5376-2] LOG: invalid value for parameter "log_timezone": "localtime" возможно линк /etc/localtime смотрит не туда

права

хммм, как так если конфиг от старого сервера: postgres@3081:/usr/local/pgsql$ ./bin/pg_ctl start -D /var/lib/postgresql/9.5/main/ server starting postgres@3081:/usr/local/pgsql$ LOG: SSL is not supported by this build 2016-12-14 14:02:39 GMT [5376-2] LOG: invalid value for parameter "log_timezone": "localtime" 2016-12-14 14:02:39 GMT [5376-3] LOG: invalid value for parameter "TimeZone": "localtime" 2016-12-14 14:02:39 GMT [5376-4] FATAL: configuration file "/var/lib/postgresql/9.5/main/postgresql.conf" contains errors

и вот такая ошибка если натравливаю его на папку со старым конфигом

права

я собирал юзером постгрес все, и он права на все имеет

не права

)

2016-12-14 14:02:39 GMT [5376-2] LOG: invalid value for parameter "log_timezone": "localtime" возможно линк /etc/localtime смотрит не туда

cat /etc/localtime показывает какое-то нечитаемое мясо

а не ок `postgres@3081:~$ zdump /etc/localtime /etc/localtime Wed Dec 14 16:08:38 2016 EET`

это файл таймзоны

вот. а должен на /usr/share/zoneinfo/таймзона

2016-12-14 14:02:39 GMT [5376-2] LOG: invalid value for parameter "log_timezone": "localtime" возможно линк /etc/localtime смотрит не туда

фигня какая, почему ж постгрес из APT запускается, а скомпилированный нет?

переменную окружения $PGTZ можно попробовать сделать с таймзоной

для libpq это работает

переменную окружения $PGTZ можно попробовать сделать с таймзоной

PGTZ=Europe/London ./bin/postgres -D /etc/postgresql/9.5/main/ вот так вот сделал, то же самое

export PGTZ=...

неа, та же ошибка

а у тебя не debian 6?

закомментил обе строчки с log_timezone и timezone, теперь просто ошибка: 2016-12-14 14:17:25 GMT [5475-2] FATAL: configuration file "/etc/postgresql/9.5/main/postgresql.conf" contains errors

а у тебя не debian 6?

8

попробуй закоментить вообще

угу закомментил, сейчас просто ошибка без пояснения где

а может попробовать бинарник из пакета заменить тем что я скомпилил?

неплохо бы открыть postgresql.conf и пробежать дабы проверить пути если таковый указаны на присуситвие в fs ну и порты адреса по необходимости