все диски ОК

А ещё такой вариант: вынести объекты, по которым идёт запись, на отдельное устройство. Риски потери данных, конечно нужно учесть. Посмотреть по каким файлам работает процесс: pv -d pid_процесса

пытался посмотреть топ самых больших таблиц вот таким запросом (взят из вики): SELECT nspname || '.' || relname AS "relation", pg_size_pretty(pg_total_relation_size(C.oid)) AS "total_size" FROM pg_class C LEFT JOIN pg_namespace N ON (N.oid = C.relnamespace) WHERE nspname NOT IN ('pg_catalog', 'information_schema') AND C.relkind <> 'i' AND nspname !~ '^pg_toast' ORDER BY pg_total_relation_size(C.oid) DESC LIMIT 20; но в колонке size ничего нет. как так?!

пытался посмотреть топ самых больших таблиц вот таким запросом (взят из вики): SELECT nspname || '.' || relname AS "relation", pg_size_pretty(pg_total_relation_size(C.oid)) AS "total_size" FROM pg_class C LEFT JOIN pg_namespace N ON (N.oid = C.relnamespace) WHERE nspname NOT IN ('pg_catalog', 'information_schema') AND C.relkind <> 'i' AND nspname !~ '^pg_toast' ORDER BY pg_total_relation_size(C.oid) DESC LIMIT 20; но в колонке size ничего нет. как так?!

попробуй так: https://gist.github.com/gsmol/0c01b53d08c2082a3a919565a9f0f12c

выглядит как rm -rf =)))

но спасибо, щас попробую

По ссылке лишь теория, не увидел там практических хотябы тривиальных тестов показывающих преимущестов raid10 над 5. Asic контроллеров чек сумму для raid 5 вычисляют так быстро как не может их накормить даже интерфейс . Проблема raid 5 -не скорость чтения записи и пр , а работоспособность в деградированном состоянии, когда при пересчете чек сумм есть вероятность выхода из строя второго диска вследствие повышенной нагрузки на весь массив. Я такое встречал несколько раз.

Это точно. Как только начинается копирование информации на новый диск нужна молитва всем богам чтобы не успел разрушиться ещё один диск ))

Это точно. Как только начинается копирование информации на новый диск нужна молитва всем богам чтобы не успел разрушиться ещё один диск ))

Резерв с потоковой репликацией должен вас успокоить.

Резерв с потоковой репликацией должен вас успокоить.

:) В те времена когда диски были большими (реально большими и подключались через SCSI полметровой длины минимум) я не знал таких слов как репликация, и работал только с БД MSSQL. Да и не было у гос. организации денег на новые серваки.

попробуй так: https://gist.github.com/gsmol/0c01b53d08c2082a3a919565a9f0f12c

спасибо, посчитало то что надо

эх. матчасть ещё учить и учить...

всем привет

а с чем может быть связано что валы не чистятся из pg_xlog ?

min_wal_size 2GB, max_wal_size 10GB

общий размер накопленных - 40ГБ

archive_command отрабатывает нормально

на реплики всё улетает вовремя

всю голову сломал

а с чем может быть связано что валы не чистятся из pg_xlog ?

настроено ли архивирование wal-ов?

написал уже

да, всё норм улетает

в логах мата нет

обычно оно в логи матерится если не может скопировать

реплика - это не архивирование

а если синхронная? :)

ну не суть

ок, реплика нипричём

тогда куда рыть?

кстати, настроил агрессивный автовакуум и валы стали приростать адово

select * from pg_replication_slots;

restart lsn ?

валы могут собираться, если при архивировании ошибка. это самый вероятный вариант

нет ошибки при архивировании

все помечено как .done

select * from pg_replication_slots;

streaming 400/201AEB70 совпадает с lsn на слейвах

последний чекпоинт давно был?

select now() - checkpoint_time from pg_control_checkpoint();

и в догонку: select * from pg_stat_get_archiver();

checkpoint: 0 years 0 mons 0 days 0 hours 5 mins 55.581904 secs

2462 00000179000004000000002D 2018-04-25 11:58:01 0 2018-04-24 13:11:00

2018-04-24 13:11:00 это stats_reset

вот это - 2018-04-25 11:58:01 - поле last_failed_time ?

третий раз говорю, архивация проходит нормально :)

меня беспокоит stats_reset

archive_timeout = '1800s' может на это влиять?

самое странное - то что всё работало нормально

кстати, настроил агрессивный автовакуум и валы стали приростать адово

Пишет активно, диски медленные?

диски NVMe

Ого!

Доброго времени суток, дайте ссылку на материал об уровнях изоляции транзакций в пг и как они коррелируют с поддержкой целостности/уникальности индексов. Кейс такой: есть таблица lock со столбцами resource и acquired. По resource построен уникальный индекс. Запрос на вставку выглядит так: INSERT INTO lock(resource, acquired) VALUES (@resource, current_timestamp at time zone 'UTC') ON CONFLICT (resource) DO NOTHING Нужно ли мне здесь что-то под транзакцией делать?

диски NVMe

Мне показывали фокус с 3x MAX_WAL_SIZE на медленных дисках

ога, у меня вот тоже сейчас фокус...

валы взяли и перестали ротейтиться

во.... кажется дошло

у меня в топологии есть т.н. холодная реплика

там встряла доставка валов

мб из за нее?

там встряла доставка валов

Через repliaction slot?

ага

Тогда это именно оно

streaming 400/201AEB70 совпадает с lsn на слейвах

зачем тогда ввел в заблуждение?

каюсь...

:)

всё, из слотов "cold" исчез

всё прососалось

спасиб! =)

кстати

такой эффект только с синхронной репликой возможен?

или с асинхронной тоже?

или с асинхронной тоже?

С любой репликой которая перестала потреблять.

С любой репликой которая перестала потреблять.

В случае синхронной у тебя и мастер встанет

Доброго времени суток, дайте ссылку на материал об уровнях изоляции транзакций в пг и как они коррелируют с поддержкой целостности/уникальности индексов. Кейс такой: есть таблица lock со столбцами resource и acquired. По resource построен уникальный индекс. Запрос на вставку выглядит так: INSERT INTO lock(resource, acquired) VALUES (@resource, current_timestamp at time zone 'UTC') ON CONFLICT (resource) DO NOTHING Нужно ли мне здесь что-то под транзакцией делать?

Целостность, обеспечиваемая самим PostgreSQL (unique/foreign key/check), поддерживается в любом случае. INSERT ... ON CONFICT гарантирует вам, что если транзакция выполнится, то, незавимо от наличия параллельных транзакций, вставка произойдёт (или будет игнорирована) так, как должно было быть, если бы их не было.

кажется я сглазил

на Fedora 27 pgadmin4 desktop падает в корку :(

pgadmin4 редкостное глюкало

Есть же еще navicat

А кто ещё чем пользуется?

datagrip чот не хочется покупать

А кто ещё чем пользуется?

dbeaver Но он подвисает, насмерть подвисает на сохранении ф-ий из редактора ф-ий, когда объектов в БД не много, а несколько тысяч. Если тело ф-ии открыть в редакторе SQL, то всё нормально.

Я багу открыл у них в трекере, но найти БД с несколькими тысячами объектов, я думаю, это не совсем тривиальная задача.

datagrip чот не хочется покупать

Он для индивидуалок стоит 89 долларов всего

или 8 в месяц

а еще есть торрент

Он для индивидуалок стоит 89 долларов всего

Нафига он нужен за деньги, когда есть dbeaver community edition?

datagrip чот не хочется покупать

зачем его покупать, если можно вечно пользоваться триалом и обновляться на EAP?

зачем его покупать, если можно вечно пользоваться триалом и обновляться на EAP?

я не в курсе. а так можно? а EAP это что? вообще не очень люблю программы на java. я не пишу гигантских хранимых процедур и мне GUI нужен время от времени данные в табличках посмотреть в базе. в общем для меня такая вещь как datagrip знатный оверкилл

жаль pgadmin3 не развивается больше.

мне его за глаза хватало

оперативка у датагрипа это вообще атас

1.5 гига без проблем

можно и два

ну это не страшно - щас 16 стандарт для компьютера рабочего человека

у меня с 16 постоянно винда чтото киляет(

16 мало

datagrip+inteleji idea+webstorm

у меня с 16 постоянно винда чтото киляет(

винда?

винда

16 мало

Лол