Как сделать, я разобрался. Интересует почему это сделать нельзя без подзапроса как в других бд

Интересует почему оно сделано так

Точно не знаю, но полагаю это может быть связано с MVCC и блокировками строк

Можно сделать SELECT FOR UPDATE, если надо

Интересует почему оно сделано так

А разве OFFSET/FETCH с UPDATE есть в ISO SQL (я не помню)? Если нет, то вот и ответ. ;)

А разве OFFSET/FETCH с UPDATE есть в ISO SQL (я не помню)? Если нет, то вот и ответ. ;)

все очень плохо

все очень плохо

Почему? Я вот даже не помню, чтобы это было часто нужно. Если нужно, то это обычно какая-то очередь, и там уже всё равно применяются особые средства (FOR UPDATE SKIP LOCKED, например).

Я это использую часто и мне это создает неудобства.

а с какой целью вы это используете?

Я это использую часто и мне это создает неудобства.

А зачем Вы это используете?

Подскажите плиз кто в курсе. В 10 версии вроде бы сделали секционные таблицы, но такое чувство, что недоделали. Поговаривают, что к 11 только будет более менее нормально. Суть вопроса. Есть таблица test с PARTITION BY RANGE (dt) и две секции test_all и test_last: FOR VALUES FROM ('2000-01-01') TO ('2018-10-01') FOR VALUES FROM ('2018-10-01') TO ('2999-12-31') Когда делаю explain select * from test where dt = '2018-10-12' --все ок. Выборка происходит из test_last Когда делаю explain select * from test where dt = NOW()::DATE --ничего не ок, выборка происходит из двух таблиц Это нормально? Или ждать 11 версии? Запросы для тестов: https://pastebin.com/m5QvqG9X

Подскажите плиз кто в курсе. В 10 версии вроде бы сделали секционные таблицы, но такое чувство, что недоделали. Поговаривают, что к 11 только будет более менее нормально. Суть вопроса. Есть таблица test с PARTITION BY RANGE (dt) и две секции test_all и test_last: FOR VALUES FROM ('2000-01-01') TO ('2018-10-01') FOR VALUES FROM ('2018-10-01') TO ('2999-12-31') Когда делаю explain select * from test where dt = '2018-10-12' --все ок. Выборка происходит из test_last Когда делаю explain select * from test where dt = NOW()::DATE --ничего не ок, выборка происходит из двух таблиц Это нормально? Или ждать 11 версии? Запросы для тестов: https://pastebin.com/m5QvqG9X

c now() вечно проблемы. а что, если написать 'today'::date ?

Все норм. :/

Похоже и правда с NOW проблемы. Первый раз сталкиваюсь

зарепортай в -hackers что ли

Уже второй кейс за последние пару недель в чате с now()

ну, он ещё и в fdw не очень хорошо прокидывается, например

Алексей а если заменить now()::date -> (select now()::date) ?

Похоже и правда с NOW проблемы. Первый раз сталкиваюсь

там просто планировщик должен прикинуть, в каких секциях искать, а now() будет вычислен уже после него

Неа. Из двух таблиц все равно

select * from test where dt = ANY (ARRAY[DATE '2018-10-12', DATE '2018-10-13']); --- ok select * from test where dt IN (DATE '2018-10-12', DATE '2018-10-13') ---ok select * from test where dt IN (VALUES (DATE '2018-10-12'), (DATE '2018-10-13')) ---не ok

Разобрался. Планировщик определяет секцию только если данные статические. Стоит использовать функцию в запросе,а NOW - функция, то он будет делать выборку из всех таблиц. Но если есть индекс, то все таблицы кроме одной при аппенде будут пустые. Если индекса нет,то он сольет все таблицы сначала, а потом поиск произойдет.

Разобрался. Планировщик определяет секцию только если данные статические. Стоит использовать функцию в запросе,а NOW - функция, то он будет делать выборку из всех таблиц. Но если есть индекс, то все таблицы кроме одной при аппенде будут пустые. Если индекса нет,то он сольет все таблицы сначала, а потом поиск произойдет.

Ну и правильно, наверное... иначе план нельзя будет закешировать, если что. По крайней мере, это было бы сложнее реализовать. А Вы в v11 пробовали (там runtime pruning есть, вроде)?

Не пробовал

Но попробовал create or replace function a() returns date as $$ begin return DATE '2018-10-12'; end; $$ VOLATILE language plpgsql; create or replace function b() returns date as $$ begin return DATE '2018-10-12'; end; $$ immutable language plpgsql; результат предсказуем

Но попробовал create or replace function a() returns date as $$ begin return DATE '2018-10-12'; end; $$ VOLATILE language plpgsql; create or replace function b() returns date as $$ begin return DATE '2018-10-12'; end; $$ immutable language plpgsql; результат предсказуем

Это ясно. В v11, кстати, работает: https://dbfiddle.uk/?rdbms=postgres_11&fiddle=6f0db5fbc87e2f411aff3c0d9b8d435f

Шикарно. Значит надо делать потихоньку .)

Zhak Sherak будет жить. Поприветствуем!

@tairs будет жить. Поприветствуем!

@kg991 будет жить. Поприветствуем!

К сожалению изменить код или логику источника я не могу. На ум приходит поставить перед postgres какую-нибудь SQL прокси и через нее делать всю грязь

Можно ещё через логическую репликацию

https://github.com/120dev/ElasticSearch-postgres вот примерно в таком направлении буду копать

мне вот это понравилось. только я до этого с event'ами в psql не сталкивался, они не просядут по нагрузке 2k/min?

я понимаю что зависит от того, как будет написан event_handler, у меня вопрос возник, а что происходит в том случае, когда event на событие повешан, но его никто не слушает?

мне вот это понравилось. только я до этого с event'ами в psql не сталкивался, они не просядут по нагрузке 2k/min?

Не, я вот про это https://wiki.postgresql.org/wiki/Logical_Decoding_Plugins

Не, я вот про это https://wiki.postgresql.org/wiki/Logical_Decoding_Plugins

Благодарствую

А опыт был с такой репликацией?

У меня нет, но тут у кого то кажется подписка на события в приложении через такую штуку была

Кто-нибудь знает, чему равен размер блока памяти внутри shared_buffers? (лучше ссылку на доку или исходники) Т.е., когда в плане запроса пишет Buffers: shared read XXX, то как рассчитать, сколько МБ было считано с диска?

Кто-нибудь знает, чему равен размер блока памяти внутри shared_buffers? (лучше ссылку на доку или исходники) Т.е., когда в плане запроса пишет Buffers: shared read XXX, то как рассчитать, сколько МБ было считано с диска?

block_size (8192 байта по умолчанию).

что можно сделать с наглухо зависшей сессией, которая на килл не реагирует?

килл -9 не хочется делать, а эта зараза (сессия) залочила другие процессы

килл -9 не хочется делать, а эта зараза (сессия) залочила другие процессы

https://stackoverflow.com/a/35319598

Ну я с этого и начал. В итоге залез на SQL Server, куда сессия лезла через дблинк, и прибил ее на той стороне - сработало.

@BasmanJacks будет жить. Поприветствуем!

Untitled будет жить. Поприветствуем!

а кто уже использует https://github.com/yandex/odyssey

оно себя адекватно ведет?

Здравствуйте! Не подскажите, что почитать/посмотреть юному падавану на тему PostgreSQL? На текущий момент, я ознакомился с первой частью документации, со всеми разделами тут - (https://www.postgresql.org/docs/10/static/tutorial.html) Перешел ко второй части, но что-то очень туго идет. Читаю, в принципе все понятно, но т.к. у меня целиком и полностью отсутствует опыт работы с базами данных, для меня все как белый шум и реального применения столь широкому функционалу, я увы не вижу. В общем, ищу какое-то руководство, с примерами и реальными юзер-кейсами, в любом формате статьи/книги/видео. Заранее спасибо.

Здравствуйте! Не подскажите, что почитать/посмотреть юному падавану на тему PostgreSQL? На текущий момент, я ознакомился с первой частью документации, со всеми разделами тут - (https://www.postgresql.org/docs/10/static/tutorial.html) Перешел ко второй части, но что-то очень туго идет. Читаю, в принципе все понятно, но т.к. у меня целиком и полностью отсутствует опыт работы с базами данных, для меня все как белый шум и реального применения столь широкому функционалу, я увы не вижу. В общем, ищу какое-то руководство, с примерами и реальными юзер-кейсами, в любом формате статьи/книги/видео. Заранее спасибо.

Добрый. Чтобы кватиться, достаточно вот этого https://www.youtube.com/channel/UCawnwMqZ6JeoSiEhrS6X69A/playlists и https://postgresql.leopard.in.ua/ Но самое главное, не просто тупо смотреть и читать, а делать то, что там написано.

а кто уже использует https://github.com/yandex/odyssey

Although we run Odyssey in production, the project is currently in Beta. We appreciate any kind of feedback and contribution to the project.

Я бы побоялся тащить в прод, ибо очевидных преимуществ не вижу, а менять проверенный тулинг на новый еба-пулер от Яндекса - нужны везкие причины

Я бы побоялся тащить в прод, ибо очевидных преимуществ не вижу, а менять проверенный тулинг на новый еба-пулер от Яндекса - нужны везкие причины

Rollback он дисконект

Открыл issues на гитхабе, 21 проблема из них добрая треть про отсутствие документации, гайдов, поддержки и официального docker образа)

А проверенный пулинг иногда коннекты теряет, хотя может бажина и на стороне пг. Коннекты со стороны системы есть а данные не в ту не в другую сторону не летят

@stneg будет жить. Поприветствуем!

Добрый. Чтобы кватиться, достаточно вот этого https://www.youtube.com/channel/UCawnwMqZ6JeoSiEhrS6X69A/playlists и https://postgresql.leopard.in.ua/ Но самое главное, не просто тупо смотреть и читать, а делать то, что там написано.

Спасибо большое. Вроде то что нужно)

А проверенный пулинг иногда коннекты теряет, хотя может бажина и на стороне пг. Коннекты со стороны системы есть а данные не в ту не в другую сторону не летят

Это как?

а кто уже использует https://github.com/yandex/odyssey

Чёт не понял, как оно работает. Приблуда, которая сторонним сервисом встаёт, потом пулит и роутит коннекшены? Или это библиотека с пуллом для сишных прилаг

Это как?

datid | 33780 pid | 11695 client_addr | 192.168.184.110 client_hostname | client_port | 40058 backend_start | 2018-10-14 15:33:12.122172+00 xact_start | 2018-10-14 15:36:04.087668+00 query_start | 2018-10-14 15:36:04.087668+00 state_change | 2018-10-14 15:36:04.087669+00 wait_event_type | Lock wait_event | relation state | active backend_xid | backend_xmin | 321494172 # lsof -i -nP | grep 11695 postmaste 11695 postgres 10u IPv6 474226410 0t0 UDP [::1]:39943->[::1]:39943 postmaste 11695 postgres 11u IPv4 669013996 0t0 TCP 192.168.184.110:5432->192.168.184.110:40058 (CLOSE_WAIT) #

вот так

клиент ушел а коннект в wait остался

*документация* говорит о том что: Advanced transactional pooling Odyssey tracks current transaction state and in case of unexpected client disconnection can emit automatic Cancel connection and do Rollback of abandoned transaction, before putting server connection back to the server pool for reuse. Additionally, last server connection owner client is remembered to reduce a need for setting up client options on each client-to-server assignment.

клиент ушел а коннект в wait остался

и вместо N коннектов у тебя до 2xN реальных на машине

и вместо N коннектов у тебя до 2xN реальных на машине

Вы как куда коннектитесь и через что откуда?

Вы как куда коннектитесь и через что откуда?

а какая разница? клиент ушел, по tcp попрощался, а коннект в статусе active (wait) остался.

говорят во внутренем трекере pgpro говорят до сих пор тикет болтается что починить со стороны pg:)

Типа оно во время лока не обрабатывает сокет?

Типа оно во время лока не обрабатывает сокет?

типа пока не захочет записать в сокет начало результата

Угу

Костыли на это были

Костыли на это были

я так понимаю одисей это решает

а парни выступали уже с докладами про свой продукт?

я так понимаю одисей это решает

Ну видимо по заявке хотябы

Щас я найду : были патчи в pgbouncer если не путаю

Щас я найду : были патчи в pgbouncer если не путаю

о! было интереснее такой вариант конечно.

плюс еще как я понимаю с одисеем можно ssl/cpu-bound унести на соседний хост

Или даже это вкоммтчивали. Подотстал я уже на пару лет

тоесть с хостом работать raw а ssl наружу для клиентов

тоесть с хостом работать raw а ssl наружу для клиентов

Это да

В bouncer для такого надо городить два их слоя

Один слой для ssl , другой по роутингу-прокси уже