покажи

теперь создавай свои индексы

странно то как, они ведь уже zeroed out. я 2 раза прогонял VACUUM

ворнинги на те же пейджи кидает

можно попробовать SET zero_damaged_pages = on; затем VACUUM FULL, но есть риск потерять данные

можно попробовать SET zero_damaged_pages = on; затем VACUUM FULL, но есть риск потерять данные

угу, я так и сделал. Я именно и хочу избавиться от битых записей

или cluster using ...pkey;

или cluster using ...pkey;

а если pkey композитный?

он сделает суть сreate table as ( select * from ... order by (index_fields)); с переиндексом всех индексов

CTAS ) У нас один ораклист называет конструкцию - Стасом

я pkeys не пересоздавал

покажите pg_stat_activity

а select * from comments работает?

а так вот ещё про запас конструкция: with data as ( delete from comments returning * ) insert into comments select * from data;

а select * from comments работает?

я начинал дампить, но там попались timestamps out of range, удалить их не могу тк ошибка что attempted to delete invisible tuples

у вас похоже битые данные в multixact

покажите pg_stat_activity

там кроме меня и моего запроса к pg_stat_activity ничего нет, плюс инактивная попытка создать pkey

блин, боюсь представить что же будет с таблицей profiles, там жирные записи, я с пропавшими тостами оттуда в прошлый раз намучался

вот бы такую команду или флаг в конфиге, чтоб "ок, если что-то не читается или сломано, просто удаляем данные"

а так вот ещё про запас конструкция: with data as ( delete from comments returning * ) insert into comments select * from data;

а оно не удалит все из comments?

а оно не удалит все из comments?

удалит и вставит обратно

gis=> create table aaa as (select * from where_people_live ); SELECT 35573 gis=> with data as ( gis(> delete from aaa returning * gis(> ) gis-> insert into aaa gis-> select * from data; INSERT 0 35573 gis=> select count(*) from aaa; count —---— 35573 (1 row)

ааа не следует на comments заменить?

ой, поправил

gis=> create table aaa as (select * from where_people_live ); SELECT 35573 gis=> with data as ( gis(> delete from aaa returning * gis(> ) gis-> insert into aaa gis-> select * from data; INSERT 0 35573 gis=> select count(*) from aaa; count —---— 35573 (1 row)

сделал: vw=# create table aaa as (select * from comments); server closed the connection unexpectedly This probably means the server terminated abnormally before or while processing the request. The connection to the server was lost. Attempting reset: Failed. в логе сервера вот такое: 2016-12-06 18:50:26 EET [8219-1] postgres@vw WARNING: invalid page in block 92800 of relation base/16385/16443; zeroing out page 2016-12-06 18:50:26 EET [7319-7] LOG: server process (PID 8219) was terminated by signal 11: Segmentation fault 2016-12-06 18:50:26 EET [7319-8] DETAIL: Failed process was running: create table aaa as (select * from comments); 2016-12-06 18:50:26 EET [7319-9] LOG: terminating any other active server processes 2016-12-06 18:50:26 EET [8145-2] WARNING: terminating connection because of crash of another server process

сделал: vw=# create table aaa as (select * from comments); server closed the connection unexpectedly This probably means the server terminated abnormally before or while processing the request. The connection to the server was lost. Attempting reset: Failed. в логе сервера вот такое: 2016-12-06 18:50:26 EET [8219-1] postgres@vw WARNING: invalid page in block 92800 of relation base/16385/16443; zeroing out page 2016-12-06 18:50:26 EET [7319-7] LOG: server process (PID 8219) was terminated by signal 11: Segmentation fault 2016-12-06 18:50:26 EET [7319-8] DETAIL: Failed process was running: create table aaa as (select * from comments); 2016-12-06 18:50:26 EET [7319-9] LOG: terminating any other active server processes 2016-12-06 18:50:26 EET [8145-2] WARNING: terminating connection because of crash of another server process

а можете корку сделать? ulimit -c unlimited и запустить

а можете корку сделать? ulimit -c unlimited и запустить

сделал, но то же самое

киньте её мне в tg =)

ээ, кого ее?

базу на 4тб, очевидно

памяти сколько вообще?

64гиг ram

Segmentation fault — это бага постгреса. ulimit -c unlimited скажет ОС записать образ упавшего процесса

запишет в путь, который указан в sysctl kernel.core_pattern

собсно ваши проблемы в файлах выявили багу в постгресе, Segmentation fault не должно быть.

хмм

сейчас дамп найду тогда

В core dump можно будет посмотреть трейс и тп

желательно иметь postgres-dev пакет установленный

у меня версия 9.5 если что

энивэй в стабильной версии такого быть не должно

что-то ни в /usr/bin ни в хоум директории postgres не нахожу дампа

ulimit надо ставить перед запуском pg и в том же шелле

или системный поставить

в анлим

я из-под рута это сделал

и service postgresql restart сделал

щас в core_patterns напишу чтоб в отдельную папку писало

Дает ли ускорение не для LIKE, а для обычного = использование gin_trgm_ops ???

@blkmrkt а где начало детектива можно прочитать?

@blkmrkt а где начало детектива можно прочитать?

где-то выше в чате писал. Повисла система во время ребилдинга RAID5, я сделал бекап, переустановил ОС, и подменил папку pgdata той которая из бекапа

Приветствую! Товарищи, а подскажите о решениях для реализации HA в PG. Интересует автофейловер, а если быть точнее, то есть необходимость сделать "свой" RDS на инфраструктуре Amazon, упомянутое готовое решение не можем использовать по требованиям и прочей юр. специфике Мне уже подсказали про рекомендации от clusterlabs на базе corosync/pacemaker, я также наткнулся на spilo. Что еще существует на рынке? И пробовал ли кто spilo? Интересуют препрод/прод кейсы.

По идее - да. С другой стороны обеспечить их бесконфликтность надежно нельзя. Те же ORM работают по принципу "есть id у записи или нет". И все равно никто не застрахован, что данные не появятся. Как понимаю, для надежного решения проблемы и был придуман Merge | Upsert. Кстати. оа он дает оверхед? Как скаежм, если я буду делать вставку в транзацкции, и поом ее откатывать? Или там идет проверка раньше?

Конечно бесконфликтность на сто процентов невозможно. Но их нужно свести к минимуму и уже этот минимум обрабатывать как исключительные ситуации. Хотя я в ПГ еще ноль и могу ошибаться, может тут есть какие-то серебряные пули на все случаи жизни, поэтому лучше слушай советы старожилов :)

вот стактрейс отваливающегося процесса: Using host libthread_db library "/lib/x86_64-linux-gnu/libthread_db.so.1". Core was generated by `postgres: 9.5/main: postgres vw [local] CREATE TABLE AS '. Program terminated with signal SIGSEGV, Segmentation fault. #0 heap_deform_tuple (tuple=tuple@entry=0x7f0d1be29b08, tupleDesc=tupleDesc@entry=0x7f0d1a35abe0, values=values@entry=0x7ffd57a5beb0, isnull=isnull@entry=0x7ffd57a65af0 "\001\001") at /build/postgresql-9.5-8sgxcV/postgresql-9.5-9.5.5/build/../src/backend/access/common/heaptuple.c:1008 1008 /build/postgresql-9.5-8sgxcV/postgresql-9.5-9.5.5/build/../src/backend/access/common/heaptuple.c: No such file or directory.

Я похоже понял: invisible tuples это те туплы, которые не должны быть видимы моей трансакции. Почему же тогда моя квери удаления туплов ругается на то, что я пытаюсь удалить невидимые туплы, если они и так должны находиться во власти другой трансакции? Подозреваю что когда сервер крашнулся, осталась куча таких незакоммиченных данных, тк он вставлял и апсертил десятки тысяч туплов в секунду на тот момент. Как почистить следы незавершенных трансакций на крашенном сервере?

может можно просто заставить pg_dump как-то игнорировать ошибки и нечитаемые записи?

может можно просто заставить pg_dump как-то игнорировать ошибки и нечитаемые записи?

пгдампом не получится скорее всего вытащи все живые данные через copy

пгдампом не получится скорее всего вытащи все живые данные через copy

а вроде пгдамп внутри использует как раз таки COPY, не?

так вроде FULL VACUUM должен это сделать

и там что то с wraparound

heap_deform_tuple — ну да, он пытается tuple разобрать по массивам и обламывавется

ERROR: S client not available

а WALы оно читало когда подымалось из архива?

Дает ли ускорение не для LIKE, а для обычного = использование gin_trgm_ops ???

нет, для просто = есть любой индекс типо btree/brin

нет, для просто = есть любой индекс типо btree/brin

Спасибо, за ответ

Всем привет, знает как заставить постгрес мержить два запроса за линейное О по индексу, вот пример

sqlite3 такое делает самостоятельно, а вот постгрес сортирует

сумеречные подзапросы помогли, но почему так сложно?

а WALы оно читало когда подымалось из архива?

вот не знаю, я просто сделал: apt-get install postgresql-9.5, service postgresql stop, заменил datadir, и postgresql start

sqlite3 такое делает самостоятельно, а вот постгрес сортирует

Разверни индекс, domain_id, build_id

Народ, сталикивались ли вы с проблемой русских символов при экспорте данных в xml cредствами postgres

везде utf-8 и на клиенте и не сервере

кто-нибудь экспортил записи с русскими символами в xml средствами pg?

отпишитесь

используя xmlelement

Парни подскажите пожалуйста, сколько может весить логический бэкап, как можно это оценить, например для базы размером 1гб

Гигабайт или меньше.

Парни подскажите пожалуйста, сколько может весить логический бэкап, как можно это оценить, например для базы размером 1гб

Логический - в sql? Гигабайт и больше

Логический - в sql? Гигабайт и больше

| xz -9

| xz -9

Читер

а то!

ребят, а что в итоге сейчас модно использовать для максимально простого партиционирования?

Монгу ? :)

в монгочатесказали постгрес!

в этом году модно clickhouse

ребят, а что в итоге сейчас модно использовать для максимально простого партиционирования?

ES?

ES?

Там ж не партиции - там ж индексы )

Elasticsearch. Ну там индексы, шарды, вот это всё, оно само работает и разъезжается по серверам.

ребят, а что в итоге сейчас модно использовать для максимально простого партиционирования?

кассандру

нет, в этом году модно использовать слайсер https://blog.acolyer.org/2016/12/02/slicer-auto-sharding-for-datacenter-applications/