а, вижу.

а что значит "вешая курсор"?

по идее, вам достаточно просто вставлять и ловить эксепшен

Поток с запросом висит загрузка цп 100%, (как будто бесконечный цикл), за месяц набирается 3-4 таких висящих запроса

с каким запросом он висит?

Всем привет! Работаю в крупной международной компании FMCG сектора, где на данный момент открыта позиция "Программист SQL". Основной функционал: автоматизация отчетов для бизнеса. Кому потенциально может быть интересно, готова в личных сообщениях более подробно рассказать про компанию, условия и тд.

по идее consumer и producer изолированы, и "читающая" сторона вообще ничего не должна знать про дубли

QUERY: insert into address (lat, lon, lang, address) values (450523,182867,20,'R464a, Općina Odžak'), (450194,183078,20,'Slavka Grebenarevića, Općina Vukosavlje'), (450407,182928,20,'R464a, Općina Odžak'), (450085,183120,20,'Slavka Grebenarevića, Općina Vukosavlje'), (450553,182851,20,'R464a, Općina Odžak');

то есть на вставке?

Всем привет! Работаю в крупной международной компании FMCG сектора, где на данный момент открыта позиция "Программист SQL". Основной функционал: автоматизация отчетов для бизнеса. Кому потенциально может быть интересно, готова в личных сообщениях более подробно рассказать про компанию, условия и тд.

привет! ладно город - какая страна хоть?

да на вставке

Всем привет! Работаю в крупной международной компании FMCG сектора, где на данный момент открыта позиция "Программист SQL". Основной функционал: автоматизация отчетов для бизнеса. Кому потенциально может быть интересно, готова в личных сообщениях более подробно рассказать про компанию, условия и тд.

мы вот в чатах не столь отдаленных за вакансии без вилки предупреждаем, а потом баним. особенно если агенство.

Россия, Москва

добавьте on conflict do nothing

добавьте on conflict do nothing

у них 9.3

для этого тригер и писался, старый постгре 9.3

аа))

вообще, да, лучше всего пойти и всё пообновлять, начиная с psycopg2

Есть проблема. В старой версии psycopg2 по другому разбираются типы из строки (например где то json строка, а где то json разбирается в объекты питона), при обновлении пол проекта слетит, а там старые тонны кода

Всем привет! Работаю в крупной международной компании FMCG сектора, где на данный момент открыта позиция "Программист SQL". Основной функционал: автоматизация отчетов для бизнеса. Кому потенциально может быть интересно, готова в личных сообщениях более подробно рассказать про компанию, условия и тд.

Функционал это же, вроде, что-то из математики, нет? )

Пачкой вставляется от 2 до 1000 ключей, нужно что бы если некоторые дублируются они были пропущены, а остальные вставлены. Какие могут быть варианты решения помимо on conflict и локов?

Есть ещё вариант с повышеним уровня изоляции транзакции и повтором отвалившегося запроса

QUERY: insert into address (lat, lon, lang, address) values (450523,182867,20,'R464a, Općina Odžak'), (450194,183078,20,'Slavka Grebenarevića, Općina Vukosavlje'), (450407,182928,20,'R464a, Općina Odžak'), (450085,183120,20,'Slavka Grebenarevića, Općina Vukosavlje'), (450553,182851,20,'R464a, Općina Odžak');

дык у вас в одном запросе все и дублируется

в упор не вижу не одного дубиката

проверьте, что в пачке нет дублей

(450523,182867,20,'R464a, Općina Odžak'), (450194,183078,20,'Slavka Grebenarevića, Općina Vukosavlje'), (450407,182928,20,'R464a, Općina Odžak'), (450085,183120,20,'Slavka Grebenarevića, Općina Vukosavlje'), (450553,182851,20,'R464a, Općina Odžak')

Пачкой вставляется от 2 до 1000 ключей, нужно что бы если некоторые дублируются они были пропущены, а остальные вставлены. Какие могут быть варианты решения помимо on conflict и локов?

А если обернуть вставку в хранимку и внутри ловить исключение unique_violation?

Вот запрос из лога с исключением

QUERY: insert into address (lat, lon, lang, address) values (450523,182867,20,'R464a, Općina Odžak'), (450194,183078,20,'Slavka Grebenarevića, Općina Vukosavlje'), (450407,182928,20,'R464a, Općina Odžak'), (450085,183120,20,'Slavka Grebenarevića, Općina Vukosavlje'), (450553,182851,20,'R464a, Općina Odžak');

это все строки из пачки?

да

pk - точно (lat, lon, lang) ?

А как обстоят дела с передачей в процедуру 8000 аргументов при вставке 1000 строк

А если обернуть вставку в хранимку и внутри ловить исключение unique_violation?

да, вверху скрипт создания таблицы

create table address (lat int not null, lon int not null, lang int not null, address text, PRIMARY KEY(lat, lon, lang));

это из схемы

а в базе?)

у вас такое поведение даже на одном потоке?

В базе тоже самое, не могу скопировать

Потоков всегда много. На одном все ок,тригер работает

все идет к тому, что у pg возникает race condition при обработке пачки и применения тригера

но раз вы не хотите обновляться, то лучше переписать код

например на optimistic lock'ах

А можно ссылку на доку по ним?

погуглите, это программно делается на любой базе

или begin, select, filter unique, insert, commit прямо в коде

Ок, благодарю

а вообще, для адресов - можно отключить констрейнт и делать на чтении limit 1

так себе решение )

база будет бухнуть, а при нагрузке вообще беда

А что значит лимит 1. Они селнктяться тысячами

ну, если триггер оставить, бухнуть она будет не больше, чем на количество падающих сейчас запросов

предварительно не известно есть данные или нет, база распухнет без пк

индекс не обязан быть обязательно pk, это может быть просто индекс

проверка по нему займёт столько же времени

Да, но база будет сильно руяхнуть. С не уникальным индексом со временем будет расти

количество считанных с диска страниц и в этого

На больших запросах начнёт уступать сильно. До этого индекс был не уникальный

Прошу прощения за опечатки т9

триггер будет делать точно такую же проверку, дубликаты в большинстве случаев вставляться не будут

в тех сценариях, где сейчас оно падает с констрейнтом, оно начнёт просто вставлять четыре дубликата в месяц

Понял вас, спасибо

Насколько я понимаю, в данной ситуации нужен Serializable, верно?

Если будешь выполнять в одной транзакции в описанном тобою порядке, и первый select from gift будет for update, то можно без serializable.

Если будешь выполнять в одной транзакции в описанном тобою порядке, и первый select from gift будет for update, то можно без serializable.

А как обойтись без for update? Какой уровень изоляции транзакций следует использовать?

А как обойтись без for update? Какой уровень изоляции транзакций следует использовать?

Если лень/боязно самому расставлять for update в нужных местах, то используй serializable.

Будь готов, что они могут фейлиться в момент, когда ты посылаешь commit.

Если лень/боязно самому расставлять for update в нужных местах, то используй serializable.

Нет, религия позволяет, просто хочу лучше понимать уровни изоляции

Есть один истинно верный уровень - serializable. Всё остальное - компромис между трудозатратами на верификацию кода и производительностью (ибо гарантировать serializable накладно).

( it was joke. every joke has grain of truth )

гуру пг, подскажите: как можно получить именованный эксклюзивный лок в пг? киньте маном, если есть готовое

pg_try_advisory_lock/pg_try_advisory_unlock

Вроде как

https://www.postgresql.org/docs/9.6/static/functions-admin.html#FUNCTIONS-ADVISORY-LOCKS

спасибо

pg_try_advisory_xact_lock() для использования в контексте транзакции

Да, сессионные блокировки вообще сложно придумать зачем надо

Насколько я помню освобождение advisory_lock там автоматическое после commit/rollback транзакции

Это в транзакционных xact

Но ребят , там все равно гонки везде )

Так как это приложение уже

Надо смотреть задачу

Вы не очередь делаете очередную ?

session level нужны, например, если у тебя всё написано на кучке psql -f без явных begin/commit, потому что незачем снапшотить

Возможно )

Вы не очередь делаете очередную ?

Очередная очередь, да

Бррр)

Тогда лучше скип локед смотрите

Иначе там все может быть сильно хитрее чем кажется на первый взгляд

Вот тут вас все понятно например

http://dklab.ru/chicken/nablas/53.html

Там есть хак с дофильтровкой

Так как локи то мимо снепшота

Хотя у вас может быть другая какая-то архитектурная схема : но эта заметка будет полезна в любом случае

Ну и смотрите конечно на скиплокед

скип локед уже заюзан, сейчас вспомню зачем там обычный именованный лок