Посмотри на свою ссылку, потом на мой ник

?

Это вошло в 3.0

Надо снести с докер хаба мой образ

в докере?

а зачем такие сложности)

Я не знаю как оно запускается без докера, а за докер могу отвечать. И там точно не должно жрать

я виндовый клиент использую

Оу, винда...

До чего дошли - вместо десктопного приложения запускать вебсервер с приложением в докере. Жесть какая...куда катиться этот мир

а вы смеялись над веб2.0

Это всегда было проще, рисовать гуй текстом на stdout

Arachne умудрялся это и в досе делать

Я тут микрофак накидал: https://ru-postgres.livejournal.com/d1.html внятные и конкретные добавления/претензии/предложения категорически приветствуются.

The page was not found

До чего дошли - вместо десктопного приложения запускать вебсервер с приложением в докере. Жесть какая...куда катиться этот мир

Он уже давно не катится. Он уже летит. В пропасть небытия.

До чего дошли - вместо десктопного приложения запускать вебсервер с приложением в докере. Жесть какая...куда катиться этот мир

Нативные приложения сейчас на телефонах делают.

The page was not found

Разрабам ЖЖ надо чего-нибудь куда-нибудь воткнуть: https://ru-postgres.livejournal.com/64256.html

Разрабам ЖЖ надо чего-нибудь куда-нибудь воткнуть: https://ru-postgres.livejournal.com/64256.html

по-поводу инициализации с контрольными суммами - надо длполнить фак конкретнными командами.

а то это следующий же вопрос

Быстрый вопрос: я правильно понимаю, что при on conflict () do, чтобы перебросить значение между колонками таблиц можно просто указать алиас таблицы или есть какая-то конструкция? INSERT INTO test.tts.newtable as n( id, new_val ) select _id, _val on conflict (id) DO UPDATE SET (old_val, new_val) = (n.new_val, _val) ;

по-поводу инициализации с контрольными суммами - надо длполнить фак конкретнными командами.

Дополнил

Привет. Кто пробовал Stolon? Он на 2 ноды умеет работать как Patroni?

Мал-мала подрехтовал FAQ: сделал списком и добавил вопрос про конфигуратор.

всем доброго времени суток psql -c "copy table to stdout" "postgresql://.../db1" | psql -c "copy table from stdin" "postgresql://.../db2" хотеть копировать много много данных из большая таблица между базами кто подскажет чурке, могут ли быть проблемы если таблица НУ ОЧЕНЬ БОЛЬШАЯ куда данные складывается из stdin перед тем как быть вставленными в таблицу? может ли что неть лопнуть от переполнения?

а pg_dump не хочется? Там есть удобный формат и можно выгрузить указанную таблицу.

нужно выгружать кусок по условию то бишь copy (select * from table where ...)

Вот тут про пайпы https://habrahabr.ru/post/195152/ Худшее, что может случиться - процесс прервётся на полпути и все данные откатятся Лучше поделить их на 10-100 кусков и запускать параллельно

Господа, а где можно почитать про тюнинг постгреса и ядра под разные профили нагрузки и количество ресурсов? В интернете куча всего, но прям вот чтобы в одном месте и обстоятельно - нету

https://wiki.postgresql.org/wiki/Performance_Optimization

а кто что тюнит в ядре для постгреса?

вот Миша каждый раз говорит бэкгранд байтс в размер кеша контроллера ставить, а я не понимаю чем ему новые параметры флаша не угодили в постгресе

что там ещё вы тюните? shed migration cost? а как меряете?

ну thp небось выключаете, да

а ещё

У нас веб приложение и много данных, гигов 400 на диске, где-то тупо по ключа,где-то сортировки и джойнв

Вот и ищу

Я разобрался с этим. В общем-то я дурак, надо было всего лишь analyze сделать после bulk insert, как и написано в доке.

Спасибо

а напомните пожалуйста, в составном ключе из двух полей когда не важен порядок, первым же лучше быть более селективное (т.е. у которого больше диапазон значений) ставить?

да

спасибо

Вот тут про пайпы https://habrahabr.ru/post/195152/ Худшее, что может случиться - процесс прервётся на полпути и все данные откатятся Лучше поделить их на 10-100 кусков и запускать параллельно

> Худшее, что может случиться - процесс прервётся на полпути и все данные откатятся не откатятся

дуров, откати

т.е. COPY нетранзакционный?

Из оф. доки https://www.postgresql.org/docs/current/static/sql-copy.html COPY stops operation at the first error. This should not lead to problems in the event of a COPY TO, but the target table will already have received earlier rows in a COPY FROM. These rows will not be visible or accessible, but they still occupy disk space. This might amount to a considerable amount of wasted disk space if the failure happened well into a large copy operation. You might wish to invoke VACUUM to recover the wasted space.

почему? то же самое что с любыми другими обновлениями - часть данных до ошибки попадёт на диск (потому что её же нужно где-то хранить), но никто их не увидит (потому что транзакция) и они вычистятся вакуумом

copy транзакционный, а пайп — нет, psql1 | psql2 — psql2 не знает почему оборвался пайп и при падении psql1 copy в psql2 закоммитится

в psql2 закомитится часть данных, может даже часть строки

если по среди строки пайп оборвется и констрейнты в получателе разрешают null значения

copy транзакционный, а пайп — нет, psql1 | psql2 — psql2 не знает почему оборвался пайп и при падении psql1 copy в psql2 закоммитится

пруф

судя по «может даже часть строки», пруфа не будет

хм

$ seq 100 | pv -L 2 | psql $ sleep 5; killall pv;

а на слово не веришь? :-)

если повезёт, получишь кусок числа

позапускай несколько раз

да что ты psql клиент тут показываешь

ты базу покажи

потому что я про клиента говорю

и про пайп в shell

кого это ебет, простите модераторы

?

ты пьяный?

copy транзакционный, а пайп — нет, psql1 | psql2 — psql2 не знает почему оборвался пайп и при падении psql1 copy в psql2 закоммитится

ты тут пишешь про коммит в базу

и?

а тестируешь psql

ты пьяный?

да

не знает почему оборвался пайп Если пайп оборвётся, бд разве не должна rollback сделать?

ты же не в бд пишешь, а в psql

не знает почему оборвался пайп Если пайп оборвётся, бд разве не должна rollback сделать?

если задетектит разрыв, то сделает

ты же не в бд пишешь, а в psql

я же не браузер смотрю а интернет

разрыв psql2 — да, разрыв psql1 — нет

то есть, в худшем случае мы получим 1 кривую строку и она будет 100% в конце таблицы, т.е. её можно почистить и перегрузить, так?

разрыв psql2 — да, разрыв psql1 — нет

ты хочешь сказать что если я делаю кат в psql и в базу, и тут сломается какой-то пайп, то cat не заметит проблемы и скажет return 0?

не знает почему оборвался пайп Если пайп оборвётся, бд разве не должна rollback сделать?

Прочитал, нового увы ничего, конкретного тоже. Индексы развернуть надо некоторые и все)

а если там констрейнты сработают, то все данные роллбэкнутся

ну если psql1 упадёт при копировании последней строчки, то да

ну если psql1 упадёт при копировании последней строчки, то да

вот давай пруф

если в середине таблицы, то будет половина таблицы

а если там констрейнты сработают, то все данные роллбэкнутся

ага

если в середине таблицы, то будет половина таблицы

пруф

я имел в виду, что кривой будет только 1 строка, а не потаблицы перефигачено

иди проспись

то есть как разносить fud так это ок

ты хочешь сказать что если я делаю кат в psql и в базу, и тут сломается какой-то пайп, то cat не заметит проблемы и скажет return 0?

вообще psql получит sigpipe

я имел в виду, что кривой будет только 1 строка, а не потаблицы перефигачено

ага

а что он на него делает, я не знаю

комитит

можно запустить psql, начать copy, написать одну строчку руками и послать sigpipe

он ничем от конца ввода не отличается

проверил, по sigpipe psql умирает

соответственно закоммитить ничего не может