а как разрешить в 9.5?

никак, это цитата из ченжлога в 9.6

ставить 9.6

Аааа, с рекурсией там все плохо.

вообще, если есть различие между разными версиями, первым делом надо читать ченжлог между ними :)

спасибо, понятно)

странно только что через раз отрабатывает )

на то оно и чудо

а вообще уже 10 вышла

и если закоментировать import json то тоже работает )

в продакшен можно 10 уже ставить?

стабильная?

у нас есть, не жалуемся

спасибо!

Можно как-то заставить постгрес писать лог в одну строку?

Можно как-то заставить постгрес писать лог в одну строку?

Хочется немножечко боли?

Хочется немножечко боли?

Хочется собирать всё при помощи fluentd.

Хочется немножечко боли?

А в чём боль?

Можно как-то заставить постгрес писать лог в одну строку?

Насколько мне известно, нет.

Можно как-то заставить постгрес писать лог в одну строку?

Что значит в 1 строку?

Чтобы statement log например выводил сразу и запрос и бинд переменные?

syslog_split_messages

Думаю вы об этом

Что значит в 1 строку?

Сейчас у меня multiline. Логи пишутся в stderr - это хорошо, мне так и надо. Но плохо, что логи разбиваются на строки, которые, если начинаются с пробела, значит относятся к одному сообщению. Проблема в кривоватости fluentd - он не корректно обрабатывает поток. То есть, например, если у меня сообщение лога умещается в одну строку, fluentd ждёт (ждёт, не появится ли ещё строка, начинающаяся с пробела) и не отправляет эту строку до тех пор, пока не появляется другая строка, начинающаяся не с пробела - то есть, новое сообщение лога.

Приветы, подскажите, из слейва же могу сделать реплику на другой слейв?

да

И поднимается также как и мастер слейв?

Cascading Replication

ща

пытаюсь найти в доке

https://www.postgresql.org/docs/current/static/warm-standby.html#CASCADING-REPLICATION

Ребят всем привет. Куда можно копнуть, pg 9.6 за последние 12 часов база выросла на 18гб, и продолжает расти. Если отсортировать таблицы по размеру то она показывает что как раз все это место заняла одна таблица. Очищаю эту таблицу место не высвобождается. Потом узнаю что на самом деле все это пространство сьел pg toast. Но не могу понять где он это хранит что хранит и как почистить

Я совсем не дба, пытался сделать автовакум на эту таблицу но это ничего не изменило. Предполагаю ситуацию может поправить фулл автовакум?

pgcompacttable в помощь) либо что нить подобное.

вакуум фулл пересоздаст табличку, что в процессе всё заблокирует, естественно

или pg_repack

но это не поможет прекратить рост таблицы

А как узнать почему таблица растет?

https://www.postgresql.org/docs/current/static/warm-standby.html#CASCADING-REPLICATION

Хмм 9.1 такое не умеет?

не знаю ? надо посмотреть в документацию ?

А как узнать почему таблица растет?

а что вы с ней делаете? Только пишете в нее?

не знаю ? надо посмотреть в документацию ?

В доках нет такого, только с 9.3

а что вы с ней делаете? Только пишете в нее?

Да в том то и суть, что в эту таблицу ничего можно сказать не пишут.Добавляется может по 2 строки в час

Да в том то и суть, что в эту таблицу ничего можно сказать не пишут.Добавляется может по 2 строки в час

Значит апдейтите

+

А не составляют ли большую часть таблицы dead tuples?

а как это узнать?

и не висит ли траназакция не закрытая !!!

а как это узнать?

select * from pg_stat_user_tables

У кого есть опыт работы с таблицей в которую будут писать около 10 млн записей в сутки? При этом ограничение хранения записей будет в 8 месяцев. И будет состоять наполовину из FK.

а какая с ней проблема?

а какая с ней проблема?

Пока нет т.к. её ещё нет, разработка хочет сделать объединив данные из нескольких таблиц. Вот хотел уточнить есть ли какие ньюансы.

писать через копи, не апдейтить и не ошибаться при проектировании, потому что альтер будет болью

У меня был опыт работы только с таблицами в несколько сотен мнл записей, и частотой записи не больше 1 млн в сутки.

писать через копи, не апдейтить и не ошибаться при проектировании, потому что альтер будет болью

писать через copy не будут, тут только insert и update

а читать будут?

а читать будут?

да будут

У кого есть опыт работы с таблицей в которую будут писать около 10 млн записей в сутки? При этом ограничение хранения записей будет в 8 месяцев. И будет состоять наполовину из FK.

Версия PostgreSQL какая?

Версия PostgreSQL какая?

9,6

9,6

Показали бы Вы \d этой таблицы... И какого вида нагрузка будет (что выбирается / как обновляется), примерно?

по чтении/записи 5/1 минимум

8 месяцев... 10*30*8 ~ 2,5 млд записей... Есть внешние ключи на эту таблицу? Уникальные индексы?

Если есть - то секционировать не получится... и я не представляю на каком оборудовании это будет жизнеспособно.

Если есть - то секционировать не получится... и я не представляю на каком оборудовании это будет жизнеспособно.

Может внутренний sharding устроить?

Так чтобы ссылочная целостность была нужно только в пределах шарда?

у нас полтора миллиарда таблица в постгресе живет, довольно быстро работает проблемы есть с миграциями и обновлениями схемы (новое поле добавить и заполнить часов на 5)

Тут надо вникать в архитектуру конкретной бд

у нас полтора миллиарда таблица в постгресе живет, довольно быстро работает проблемы есть с миграциями и обновлениями схемы (новое поле добавить и заполнить часов на 5)

Ну тут еще ж от нагрузки зависит. 10 млн в сутки - прилично

а поток постоянный или только в течении рабочего дня?

Собственно наличие вторичных индексов - это основная проблема большой таблицы. Если их нет или они частичные - то тогда да: резать на части. Можно самим - в ручную. Можно воспользоваться pg_pathman-ом

а поток постоянный или только в течении рабочего дня?

24/7

У меня были таблицы 1,5 млрд строк в день. Но они писались через COPY. Были обычные таблицы которые в день росли на 30 млн строк, проблем не было особых.

У меня были таблицы 1,5 млрд строк в день. Но они писались через COPY. Были обычные таблицы которые в день росли на 30 млн строк, проблем не было особых.

У меня предполагается обычные insert, и ещё update немного.

Единственная проблема не зациклить счётчик

Те, которые росли на 30 млн в день были именно такие. Плюс индексов больше 10ка

Обслуживать их конечно неприятно, но если диски хорошие то жить можно. Если есть возможность секционировать то делайте сразу. У меня такой возможности не было. Хранилась финансовая информация

24/7

выходит около 100 строк в секунду если грузить батчами, то не должно быть никаких проблем со скоростью вставки

а диски ссд?

если да, то на чтение тоже скорее всего проблем не будет никаких на нормальных запросах (селективных)

а диски ссд?

в лучшем случае САС

если сас, то там смотря какой профиль при постоянных рандомных чтениях из разных мест у нас на сасах селекты около 2-3к строк выдавали

но тоже батчами

в лучшем случае САС

Я потому и спрашивал, какие выборки. Так схема таблицы-то есть у Вас?

Я потому и спрашивал, какие выборки. Так схема таблицы-то есть у Вас?

На бумаге. Выше скриншот.

На бумаге. Выше скриншот.

Не вижу. Так FK-то есть на неё?

как из даты получить усеченное значение без костылей типа обрезаний?

Например, из сегодняшней даты получить только год (2017)

EXTRACT year from?

Ну, Лаврентий, вы бы для приличия доку открыли

На великом и могучем есть

https://postgrespro.ru/docs/postgresql/10/functions-datetime.html

Спасибо

не знал, как искать

Вопрос сложнее: как-то без строковых функций можно из текущей даты получить 2017-12 ?

Вопрос сложнее: как-то без строковых функций можно из текущей даты получить 2017-12 ?

да!