Спасибо, очень ценный совет

Интересней когда надо UUID по каким то правилам сгенерить

коллеги, а что такое syntax error at or near parallel в ответ на create extension hstore?

коллеги, а что такое syntax error at or near parallel в ответ на create extension hstore?

https://github.com/postgres/postgres/blob/master/contrib/hstore/hstore--1.4.sql

это вызывается на create extension, можно попробовать поочередно выполнять

какая версия? точно не ставите extension от более свежего постгреса где собственно появился PARALLEL SAFE?

да там чортова каша

это у девелопера на хосте

но я понял про версии

сейчас попробую

У вас тут один диск мёртв. Ещё один умрёт и все пропадёт.

оу. Серьезно? Из-за этого может мало места стало?

какая версия? точно не ставите extension от более свежего постгреса где собственно появился PARALLEL SAFE?

да, сервер был 9.5, а либы симлинкались от 9.6

homebrew

спасибо

вот последняя инфа с mdstat: Personalities : [raid6] [raid5] [raid4] md2 : active raid5 sdd3[3] sda3[0] sde3[4] sdc3[2] sdb3[1] 3874275328 blocks super 1.2 level 5, 512k chunk, algorithm 2 [5/4] [UUU_U] [>....................] recovery = 0.0% (150272/968568832) finish=15632.2min speed=1032K/sec bitmap: 8/8 pages [32KB], 65536KB chunk md1 : active raid5 sdc2[5] sda2[0] sde2[4] sdd2[3] sdb2[1] 31232000 blocks super 1.2 level 5, 512k chunk, algorithm 2 [5/4] [UU_UU] resync=DELAYED md0 : active raid5 sda1[0] sde1[4] sdd1[3] sdc1[2] sdb1[1] 991232 blocks super 1.2 level 5, 512k chunk, algorithm 2 [5/5] [UUUUU] unused devices:

Оффтопик: почему то выглядит как чек :)

raid5 на 5ти дисках ?

=) сэкономили

да и сказать нечего

Добрый день! А нет ли ни у кого какого-то скрипта или готового продукта, который сделает из таблицы партиции и раскидает данные по ним? Таблица уже есть, в ней не много данных, конечно, около 100М, но уже заметно тормозит

https://github.com/postgrespro/pg_pathman

у меня сейчас только 9.4

апдейт делать собираемся, но табличку раскидать надо уже)

попробуйте посмотреть в сторону https://github.com/keithf4/pg_partman

попробуйте посмотреть в сторону https://github.com/keithf4/pg_partman

лучше не стоит...

у меня сейчас только 9.4

лучше сделать апгрейд и потом расскидывать. На данный момент все решения под posgres мягко говоря не очень... pathman прогрессивней всех и развивается быстро, и уже что то чем можно пользоваться. Хотя конечно с ограничениями.

попробуйте посмотреть в сторону https://github.com/keithf4/pg_partman

+1

я чего-то периодически вижу про него в группе pgpro в фейсбуке, разве он стабилен?

в общем, создам партиции руками, потом запущу скрипт, который сделает delete с returning в нужную таблицу

я чего-то периодически вижу про него в группе pgpro в фейсбуке, разве он стабилен?

те кейсы которые он сейчас поддерживает - да, но кейсов бывает крайне много. Так как это всё расширения к postgres а не сам postgres у них всегда будут ограничения. Надо брать и тестировать именно на ваших данных и запросах.

в общем, создам партиции руками, потом запущу скрипт, который сделает delete с returning в нужную таблицу

Это самое правильное решение :) Готового к сожалению решения нет. Все сырое и со скудным функционалом на данный момент

ну просто это займет много времени и надо будет руками следить, а так... не страшно, сделаю

ну просто это займет много времени и надо будет руками следить, а так... не страшно, сделаю

Мы тоже руками делали сначала пока не запилили миграции в приложение. И данные разносили скриптом, но не delete, а update и по партициям уже триггер на update раскидывает.

таблица небольшая, вручную можно быстро сделать

ну, да, в принципе

6-10 запросов, не помню сколько месяцев

тут кто-то советовал решение с вебгуем для бекапа постгреса, подскажите название пожалуйста

Никто не сталкивался с проблемой: при снятии бекапа базы данных где больше 800 схем и в каждой схеме по несколько тысяч таблиц приходит oomkiller ?

Размер бд порядка 1 терабайта

чем снимаете бекап?

в один поток?

И в один и в несколько

Постгря 9.3

Pgdump

когда в один, сколько памяти используется? попробуйте подтюнить память

тут важный вопрос oom приходит пг_дампу или постгрес бэкенду

Да он даже в своп лезть начинает

ктоа

ну так сколько памяти он отжирает, перед тем как упасть?

Пробовали custom формат?

Есть связь между схемами? А то как вариант можно было бы отдельно дампить.

майнтенанс_ворк_мем сколько у вас и сколько озу?

ворк_мем сколько?

Ворк мем 32 метра маинтейнс 768

Ребят, кто сталкивался с sync только данных между oracle и postgres. Я пока нарыл xDb server от enterprisedb. У кого есть опыт в этом? Направьте куда можно рыть.

Случаем не было бага в 9.3 когда процессы не отдавали память ?

ну может процесс завис

Блин придётся посхемно снимать

А это жесть :(((

ERROR: S client not available

а сколько озу?

12 гигов

а когда падает, то сколько памяти в этот момент пгдамп пользует?

Ох

Так не помню

терабайтная база на машине с 12гб памяти.. отважные вы конечно )

Блин придётся посхемно снимать

Не нужно. Скопируй кластер как есть. И на новом сервака просто апгрейд.

терабайтная база на машине с 12гб памяти.. отважные вы конечно )

А смысл ? Я разве сказал что у нас проблема с запросами ?

=# select pg_size_pretty(pg_database_size('')); pg_size_pretty —------------— 12 TB (1 row) =# \! free -m total used free shared buff/cache available Mem: 7823 165 125 2147 7533 5243 Swap: 0 0 0 разное бывает

Ну и я о том же :)

На самом деле там не такая чтобы была нагрузка

Как хранилище с редкими запросами

Ну и я о том же :)

в каком формате то снимаете?

pg_dump -U postgres -W -h 127.0.0.1 -bvO -Fd -j4 ....

если у тебя всё же убивают сам pg_dump, попробуй запустить в вербоуз режиме его и полное логирование запросов в постгресе так ты сможешь понять на какой фазе он жрет память и написать нормальный баг репорт в лист рассылки где том лейн возможно сделает багфикс

очевидно проблема связано с ебическим кол-вом объектов

главное сделай багрепорт нормальный, а не как в этом чяте

Ребят, кто сталкивался с sync только данных между oracle и postgres. Я пока нарыл xDb server от enterprisedb. У кого есть опыт в этом? Направьте куда можно рыть.

А вот вопрос, если какое расширение постгреса для включения режима эмуляции монгодб, скажем обращаешься какбы к монго, а кладётся в постгрес

но зачем

А вот вопрос, если какое расширение постгреса для включения режима эмуляции монгодб, скажем обращаешься какбы к монго, а кладётся в постгрес

https://github.com/torodb/torodb

но зачем

Для безопасной миграции напр

Для безопасной миграции напр

Безопасной

ох шит

https://github.com/torodb/torodb

Оооо хвала

А можно подробнее зачем подобные изощрения?

Некоторые используют вот так http://www.highload.ru/2015/abstracts/1917.html

Ребят, кто сталкивался с sync только данных между oracle и postgres. Я пока нарыл xDb server от enterprisedb. У кого есть опыт в этом? Направьте куда можно рыть.

SymmetricDS капризный в настройке и не самый шустрый.

А можно подробнее зачем подобные изощрения?

Затем чтобы мигрировать с монги на постгрес