Кто нить может поподробнее объяснить как работает планировщик в пг

документация

можно про статистику посмотреть https://www.youtube.com/watch?v=rOtXfPEknZw&index=17&list=PLaFqU3KCWw6JgufXBiW4dEB2-tDpmOXPH

@kshvakov А можешь пояснить плиз для чего нужно?

что именно ?

Я про lateral

можно в мануале почитать, но если своими словами то вот пример https://github.com/postgres-ci/assert/blob/master/src/assert.sql#L42 там запрос с как бы отдельно с боку , но может использовать поля из соседнего и можно сделать выборку чтоб найти "последний" результат для конкретного test_id и все это в "одном" запросе

как-то я все не очень понятно написал )

вот тут человеческим языком написано http://postgrespro.ru/doc/queries-table-expressions.html

Ааа, то есть не нужно больше спагетти из подзапросов лепить походу

именно так

в общем это одна из тех штук за которыми в постгрес и приходят

lateral?

или отсутствие боли?)

@kshvakov

Смысл есть я так думаю

Попробуете пглоадером перелить и прогнать автотесты поверх, так можно оценить масштаб

Ка бы то не было, какие плюсы в том чтобы остаться на мускуле?

Мне интересно какие плюсы :-), а то может надо будет кого укатать с постгри на мускуль

плюсы только одни - привычная среда

Muscle быстрее на простых запросов плюс подключаемые движки

Muscle быстрее на простых запросов плюс подключаемые движки

оно не быстрее, кроме innodb там ничего нет, если что ;)

Ка бы то не было, какие плюсы в том чтобы остаться на мускуле?

ну, вот у вас вся лазада на mysql, переходите на pg ? )

А еще линкедин и фб )

Muscle быстрее на простых запросов плюс подключаемые движки

А простые запросы это какие? select * from mytable where id=... Так тут вообще редис быстрее будет =) Или тарантул =) Вот я за 10 лет так и не познал тайного дзена подключаемых движков кроме как желание добавить в мускул что-то, что есть у "конкурентов" из коробки (ой-ой, myisam не поддерживает внешние ключи, транзакции и блокировки на уровне строк как умеют постгрес, оракл, мс - так давайте запилим innodb) Как-то так =)

Ну ясно

:-)

господа а как вы безопасно креденшилсы заказчику передаете ?

Заказчиков у нас нет, но между собой - тут, в приватных чатах

Секретных, точнее

между собой у нас corporate vault но он в приватной сети

Если параноить, но не доставлять непрошаренным лишнего гемора, то можно keepass, а пароль другим каналом

господа а как вы безопасно креденшилсы заказчику передаете ?

Бывало по частям передавали. Половина пароля в скайпе, половина в аське. Тогда не было телеги

ага понятно, у нас также либо по частям было либо запароленый зип архив

А кто нибудь percona пользовался?

Там например не InnoDB)

Если кратко, то стоит ли переходить на постгре? Кучу постов видел какой он классный и как много всего умеет

Вопрос сферический и в вакууме. Для начала стоит сформулировать проблемы разработки конкретно в вашей компании, касающиеся БД. Потом пойти и посмотреть, решены ли этим проблемы в постгресе (многие - да ;)) После этого понять что переход позволит вам ускорить разработку и сократить расходы, и тогда можно смело потихоньку переходить.

Вопрос сферический и в вакууме. Для начала стоит сформулировать проблемы разработки конкретно в вашей компании, касающиеся БД. Потом пойти и посмотреть, решены ли этим проблемы в постгресе (многие - да ;)) После этого понять что переход позволит вам ускорить разработку и сократить расходы, и тогда можно смело потихоньку переходить.

А можно коммон список самых чсстых проблем которые решены в постгресе?;) пункта три хотя бы:)

В каждом проекте свои маленькие проблемки, а в других их может не быть.

1. Транзакционный DDL. Кто-то часто при разработке проекта меняет схему БД (добавление/удаление колонок,таблиц,индексов). При деплое большой миграции можно завернуть все это в транзакцию и в случае сбоя все откатится нормально. В MySQL так нельзя.

2. Кто-то много работает с полями timestamp в разных часовых поясах. В postgres есть типы данных with timezone, которые позволяют один раз при подключении установить клиенскую таймзону и все автоматически переконвертировать во всех запросах. В MySQL придется все это поддерживать в программном коде.

3. materialized views - позволяют денормализовать частоиспользуемые комбинации данных, навесить на них индекс и очень быстро выбирать. Синхронизируется все одним запросом refresh mat view concurrently. В MySQL больше мороки - придется создавать денормализованные таблицы как аналоги, и следить за их консистентностью с помощью кода или триггеров.

Да, про транзакционный ддл это наверное самое больное:)

4. Если вдруг надо содержать бессхемные данные и быстро делать выборку из них - в MySQL обычно прикручивают сбоку JSON хранилище вроде mongodb. В коде опять же надо ходить в 2 базы данных и следить за консистентностью всего этого. В pg - создаем jsonb поле, обвешиваем индексами - и ура, все уже есть из коробки

нуу в 5.7 уже тоже есть джейсонб

5.7 правда глючное дерьмо:)

А всякие крутые индексы по нему есть?

Я не смотрел, но слышал что нету

Надо смотреть, 5.7 пока ток пробуем. Там уже наелись дерьма;)

Вообще я слышал про гео тип данных еще в постгресе, типа удобно, но это не всем надо. И что спец тип есть для айпишников.

Ну как я и сказал, все специфично для каждой компании. Кто не работает с геоданными - у того и нет проблем с ними, бессмысленно к этому апеллировать.

2. Кто-то много работает с полями timestamp в разных часовых поясах. В postgres есть типы данных with timezone, которые позволяют один раз при подключении установить клиенскую таймзону и все автоматически переконвертировать во всех запросах. В MySQL придется все это поддерживать в программном коде.

Что кстати вообще не описано в документации и приходится доходить опытным путем путем. Ксати , таймзона на откуп БД решение то ещё

Мне еще говорили что transact DDL бессмысленная штука, так как в компании все миграции проводятся отдельно от деплоя, постепенно, поэтому никогда не случается таких сбоев с потерей данных.

Что кстати вообще не описано в документации и приходится доходить опытным путем путем. Ксати , таймзона на откуп БД решение то ещё

Я когда только начинал работать с потсгресом, создавал в нем поле с типом timestamp и потом удивлялся почему у меня таймстамп хранит тысячные доли секунды. Думал дичь какая-то. А потом однажды доперло что надо создавать с типом timestamp(0) и все будет хорошо :)

> таймзона на откуп БД решение то ещё тут еще фишка в том что ведь в постгресе необязательно все с таймзоной хранить. Не нравится - выбираете везде типы без таймзоны и работаете как вам удобно.

> таймзона на откуп БД решение то ещё тут еще фишка в том что ведь в постгресе необязательно все с таймзоной хранить. Не нравится - выбираете везде типы без таймзоны и работаете как вам удобно.

ну это да

На мой взгляд, в документации и нельзя описать всех кейсов и возможных применений. Должен быть какой-то второй слой документации поверх первого, где описываются типичные юзкейсы и tips&tricks от опытных пользователей.

На мой взгляд, в документации и нельзя описать всех кейсов и возможных применений. Должен быть какой-то второй слой документации поверх первого, где описываются типичные юзкейсы и tips&tricks от опытных пользователей.

Обычно для этого нужно какието книжки читать или общаться с.такими чуваками

Сейчас да. Но теоретически ведь можно помечтать, и придумать такой замечательный сервис документации, в котором она сама подстраивается под уровень пользователя ;)

и конфиги за него пишет

ну визарды настройки и так существуют в большом количестве

Вы забыли про частичные и функциональные индексы.

И про FDW, и про кастомные типы данных, и про pub/sub, и про параллельное/отложенное создание индексов, про интеграцию множества языков на которых можно писать расширения, и про схемы, и про row level security, и про аналитические функции. Да куча статей про это написано уже :D

про все знал а вот pub/sub в посгрес как-то упустил из виду

надо зачитать

И про FDW, и про кастомные типы данных, и про pub/sub, и про параллельное/отложенное создание индексов, про интеграцию множества языков на которых можно писать расширения, и про схемы, и про row level security, и про аналитические функции. Да куча статей про это написано уже :D

^

ERROR: S client not available

а кто как делает мастер-мастер в постгрес?

вот тут делают-делают https://github.com/postgrespro/postgres_cluster

Как в oracle_fdw отцепить import schema?

Подозреваю что просто дропнуть ее.

Ну так то да

А кто нить мигрировал дебиан 7 → 8 и постгрю в этот момент 9.1 → 9.4? У меня получилось только через оффрепы постгресса, правда на 9.5 :) Проблема в том, что при dist-upgrade 9.1 постгря удаляется нафиг и не мигрируется. Это вообще норм? %)

Сейчас придут люди и закидают какушами ментейнеров Debian, но вообще так делать не надо (я про "апгрейд" постгреса через dist-upgrade) )

я думал про safe upgrade, но стало лень. Вот решил спросить, кто делал :)

Один фиг ещё и на другую машину перевозить пришлось

всем привет

а никто не может подсказать статьи по тому как происходит изнутри процесс подключения к базе данных?

а что конкретно вы хотите узнать ?

Если я вас правильно понимаю http://patshaughnessy.net/2014/10/13/following-a-select-statement-through-postgres-internals

Я как-то реверсил протокол подключения через tcpflow, 2 часа не мог понять почему мне выводит какие-то случайные символы. Потом обнаружил что обмен идет через SSL ;)

а что конкретно вы хотите узнать ?

Схемку где показывается что когда приходит новый коннект то происходит форк postmaster

Коллеги а тут есть Александр Алексеев из ПостргресПро? Не могу его отыскать надо чтоб он фоткузалил http://devconf.ru/ru/schedule#storage

Он в отпуске.

Схемку где показывается что когда приходит новый коннект то происходит форк postmaster

можно в гуглокартинках поискать, может кто для докладов делал, для интереса можно где-то тут https://github.com/postgres/postgres/blob/master/src/backend/postmaster/postmaster.c#L1690 посмотреть и самому нарисовать

можно в гуглокартинках поискать, может кто для докладов делал, для интереса можно где-то тут https://github.com/postgres/postgres/blob/master/src/backend/postmaster/postmaster.c#L1690 посмотреть и самому нарисовать

Спасибо (:

Спасибо (:

А что вы хотите в этой схеме увидеть, там же все достаточно просто ?

А что вы хотите в этой схеме увидеть, там же все достаточно просто ?

Это и хорошо

Схемку где показывается что когда приходит новый коннект то происходит форк postmaster

может, это будет полезно http://www.postgresql.sk/developer/ext.backend.html

А есть у кого опыт использования pglogical c плохими каналами

?

Вот прям вообще плохими?

Там лаги большие и все такое

Парни

когда делаешь vacuumdb -f, он не пишет в таблицу pg_stat_all_tables о выполнении вакума?

Кто нибудь кто поедет на pgday и еще не определился с жильем, отзовитесь

А где будет?

http://pgday.ru