так а в чем траблы переезда сообстевнно ? вы хотите решить две задачи апрейдить БД и переехать на версию выше правильно понимаю ?

репликацию не пробовал под разными ОС делать но вроде должно влететь + pg_dump without data

или фишка в том что есть что то что не поддерживается в 10.5 - так вроде обратная совместимость осталась

* честн не переносил такого обьема данных максимум пару десятков гигов - может чего то не понимаю

Привет. Посоветуйте, пожалуйста, книжку по продвинутой работе с SQL (Любой диалект). Где подробно рассказано про уровни изоляции транзакций, кластерные индексы, хранимые процедуры, блокировки и иже с ними. Что-нибудь популярное в духе O'Reilly.

Мартин Грабер Введение в SQL

Ребята, собирал кто pglogical под Windows? Задача: переехать с Windows на Ubuntu с минимальным простоем. Одну базу уже перетащил таким образом, но там источник и приёмник на Ubuntu были. А тут нет готовых пакетов под Windows - нужно собирать. Или может чего ещё посоветуете? Версии 9.5 на 10.5. База 2Тб. Контрольные суммы выключены, в основном поэтому и мигрирую, ну и хочется всё иметь на Linux.

Собирал

Ребята, собирал кто pglogical под Windows? Задача: переехать с Windows на Ubuntu с минимальным простоем. Одну базу уже перетащил таким образом, но там источник и приёмник на Ubuntu были. А тут нет готовых пакетов под Windows - нужно собирать. Или может чего ещё посоветуете? Версии 9.5 на 10.5. База 2Тб. Контрольные суммы выключены, в основном поэтому и мигрирую, ну и хочется всё иметь на Linux.

Тут собран релиз https://github.com/pashagolub/pglogical

Всем привет. Удаляю старые данные в базе например было за 400 где то дней стало за 180. А места на диске не сильно больше становиться. Почему может быть такое?

Всем привет. Удаляю старые данные в базе например было за 400 где то дней стало за 180. А места на диске не сильно больше становиться. Почему может быть такое?

Потому что данные не удалаются, просто место помечается как свободное и резервируется под другие данные. Чтобы почистить место нужно сделать VACUUM FULL.

Подскажите, в каком случае postgres может долго доставать первый тупл из индекса? Мёртвых туплов нет, ANALYZE делал. https://explain.depesz.com/s/PKHM

Нагуглил что-то про pgcompactor утилиту. Ушел курить.

Тут собран релиз https://github.com/pashagolub/pglogical

Павел, спасибо!) Видел кучу форумов с этим вопросом от Вас и не видел ответов. Сегодня затестим.

так а в чем траблы переезда сообстевнно ? вы хотите решить две задачи апрейдить БД и переехать на версию выше правильно понимаю ?

Сменить ОС, обновить версию PostgreSQL.

репликацию не пробовал под разными ОС делать но вроде должно влететь + pg_dump without data

Минимальный простой можем обеспечить. А с pg_dump простой будет дня три, на таком количестве данных.

* честн не переносил такого обьема данных максимум пару десятков гигов - может чего то не понимаю

С Ubuntu 16.04 на Ubuntu 16.04 PostgreSQL 10.0 на PostgreSQL 10.5 перевёз при помощи pglogical базу в 270 Гб за 5 часов с простоем в 15 минут. Это была тренировка перед миграцией основой большой базы.

Подскажите, в каком случае postgres может долго доставать первый тупл из индекса? Мёртвых туплов нет, ANALYZE делал. https://explain.depesz.com/s/PKHM

И это стабильно воспроизводится? А "вокруг" что (конкурентная нагрузка, в основном)?

И это стабильно воспроизводится? А "вокруг" что (конкурентная нагрузка, в основном)?

Да, стабильно. Нагрузка порядка 600tps на базе.

Минимальный простой можем обеспечить. А с pg_dump простой будет дня три, на таком количестве данных.

А между этими ОС на одной архитектуре физическая репликация не работает (никогда не пробовал)? > Контрольные суммы выключены, в основном поэтому и мигрирую, ну и хочется всё иметь на Linux. Хмм... наверное, она Вам не подходит, даже если бы работала...

Да, стабильно. Нагрузка порядка 600tps на базе.

Ну а нагрузка системы какая? Может, просто CPU не хватает на такой TPS?

Ну а нагрузка системы какая? Может, просто CPU не хватает на такой TPS?

CPU20%. Про tps наврал, около 2000tps.

CPU20%. Про tps наврал, около 2000tps.

А одновременных connections сколько? И какая версия PostgreSQL?

А одновременных connections сколько? И какая версия PostgreSQL?

Активных порядка 20. Настроен пулинг (pgpool). Это мастер нода. На standby результат абсолютно такой же. Чтобы исключить вашу гипотезу надо выполнить запрос на базе не под нагрузкой. Я попробую это сделать попозже.

Так какая версия PostgreSQL? А "железо" (CPU/ядра)? > На standby результат абсолютно такой же. Интересно... А там какая нагрузка? И какая это ОС?

Так какая версия PostgreSQL? А "железо" (CPU/ядра)? > На standby результат абсолютно такой же. Интересно... А там какая нагрузка? И какая это ОС?

9.5.13, база в контейнерах.

9.5.13, база в контейнерах.

А какое это реальное железо, всё же (может, дело просто в контейнерах)? Просто всё это вместе немного подозрительно: "CPU 20%", "tps около 2000", "активных порядка 20"...

А между этими ОС на одной архитектуре физическая репликация не работает (никогда не пробовал)? > Контрольные суммы выключены, в основном поэтому и мигрирую, ну и хочется всё иметь на Linux. Хмм... наверное, она Вам не подходит, даже если бы работала...

Тоже не пробовал. И почитав вот это - https://wiki.postgresql.org/wiki/Binary_Replication_Tutorial#Prerequisites "...You must have the right setup to make this work: 2 servers with similar operating systems (e.g both Linux 64-bit). ..." Перехотел пробовать. База не подходит? Забрать хоть что-то, тем более логическая репликация, по идее, гарантирует целостность на уровне SQL команд. Приложение работает, отчёты строятся. Пока выглядит, что всё прошло успешно.

connection to database failed: could not create socket: Too many open files

Есть быстрое решение?

Это уже другая БД.

connection to database failed: could not create socket: Too many open files

Посмотрите в сторону ulimit

Тоже не пробовал. И почитав вот это - https://wiki.postgresql.org/wiki/Binary_Replication_Tutorial#Prerequisites "...You must have the right setup to make this work: 2 servers with similar operating systems (e.g both Linux 64-bit). ..." Перехотел пробовать. База не подходит? Забрать хоть что-то, тем более логическая репликация, по идее, гарантирует целостность на уровне SQL команд. Приложение работает, отчёты строятся. Пока выглядит, что всё прошло успешно.

> База не подходит? С помощью физической репликации Вы всё равно checksum не включите, я только это имел в виду.

Посмотрите в сторону ulimit

А какое адекватное значение выставить? Используем pgbouncer с настройками: pool_mode = transaction max_client_conn = 1000 default_pool_size = 40 reserve_pool_size = 10 max_db_connections = 50 max_user_connections = 900 postgresql.conf max_connections = 100

А ошибка со стороны базы или о стороны пулера?

> База не подходит? С помощью физической репликации Вы всё равно checksum не включите, я только это имел в виду.

Это да))) Вот и выдумываю как их включить.

DSMarkin будет жить. Поприветствуем!

А ошибка со стороны базы или о стороны пулера?

repmg на реплике [2018-08-31 11:47:38] [WARNING] connection to node 2 lost [2018-08-31 11:47:38] [ERROR] connection to database failed: could not create socket: Too many open files Остальные логи чистые . Для текущих настроек пулера нужно задать адекватное значение ulimit.

@baltazorbest будет жить. Поприветствуем!

Приветствую. Изучаю сейчас постгрес в общем и стриминг репликацию в частности, возникло пару вопросов, может кто смог бы ответить на них: 1) обязательно ли должны быть идентичными конфиги на мастере и слейве? интересует параметр synchronous_commit , если на мастере он будет в on а не слейве local ничего страшного не будет? 2) на сколько обязательно должны быть идентичными сервера? если например на мастере CPU 4 core, x64, 400gb ssd а на слейве CPU 8 core, x64, 600gb ssd будут ли с этим проблемы? Спасибо большое за ответы.

1) мне кажется что нет разницы, слейв же дальше себя никуда не синхронит 2) у слейва работы в целом меньше чем у мастера, мастер апдейтит базу так же как слейв, только ещё и клиентов обслуживает, пересылая им резалсеты я бы делал наоборот, мастера потолще но точно вы померите с помощью pg_bench, например

>я бы делал наоборот, мастера потолще новый слейв и будет будущим новым мастером ?

Приветствую. Изучаю сейчас постгрес в общем и стриминг репликацию в частности, возникло пару вопросов, может кто смог бы ответить на них: 1) обязательно ли должны быть идентичными конфиги на мастере и слейве? интересует параметр synchronous_commit , если на мастере он будет в on а не слейве local ничего страшного не будет? 2) на сколько обязательно должны быть идентичными сервера? если например на мастере CPU 4 core, x64, 400gb ssd а на слейве CPU 8 core, x64, 600gb ssd будут ли с этим проблемы? Спасибо большое за ответы.

Если вы планируете failover то конечно конфигурация на слейве должна быть не хуже иначе в случае failover всё встанет.

нужно просто временно сделать: Мастер - Слейв - Слейв

то есть будет каскадное реплецирование временно сделано

и на текущем слейве планирую опцию synchronous_commit выставить в local что бы текущий слейв/мастер не дожидался применения транзакции на новом слейве, так как между ними пинг 50мс и боюсь из-за этого синхронная репликация будет работать очень медленно

А подскажите пожалуйста ещё такой момент, если в какой то момент времени выкл. постгрес и перенести файлы на другой сервер, данные на новом сервере без проблем подымутся ? Если полностью скопировать конфиг файл

С той же версией сервака

Это называется файловый бэкап и кажется в доке описано

Да, с той же версией, отлично, спасибо

А разве вышестоящие версии не умеют апгрейд кластера?

До своей версии поднимать

Народ, а есть способ распаковать незарегистрированный рекорд?

сам спросил сам ответил )) select (t).* from ( select t from ( select 1 as A, 2 as B ) t ) t

Минимальный простой можем обеспечить. А с pg_dump простой будет дня три, на таком количестве данных.

Та не я о том что сдапмить структуру БД без данных , а потом настроить мастер слейв и сделать репликацию

А можно охладить БД не перезапуская?

А зачем, прости госсподи?..

@DeeShev будет жить. Поприветствуем!

Просто если память отдать, то просто на файловый кеш надейтесь и не отдавайте много под Пг кеш. Оно вроде всегда так работало.

Ну я очень большой отчет делаю, проверяю индексы все такое, хотелось бы время от времени запускать его на не прогретой БД (БД не продакшн)

Если для тестов - рестартните Пг

эх, ну лан, спасибо )

Та не я о том что сдапмить структуру БД без данных , а потом настроить мастер слейв и сделать репликацию

Ровно это и сделал: 1. Создал копию БД (без данных, только структура) при помощи pg_dump и pg_dupmpall. 2. Настроил логическую репликацию через pglogical. 3. Подождал 5 часов пока данные полностью синхронизируются и вырубил БД-донора. А разве есть другой способ репликации между разными major версиями PostgreSQL?

Ну я очень большой отчет делаю, проверяю индексы все такое, хотелось бы время от времени запускать его на не прогретой БД (БД не продакшн)

А всё равно это не будет иметь отношения к реальности (production), нет? Так что нет смысла, IMHO.

Довелось сегодня поработать с mysql, не могу не поделиться таким разочарованием) Разбирался, почему же в phpmyadmin запрос, содержащий WHERE some_column_name is not null возвращал таки строки с null'ами. И внезапно обнаружилось, что mysql крив, во всяком случае, старые версии (5 ветка), да и phpmyadmin тоже не айс. Есть поле типа datetime, приложение по ошибке писало туда unix таймштампы числом. И mysql, вместо того, чтобы выкинуть ошибку на неправильное значение даты, записывал туда 0000-00-00. А phpmyadmin в свою очередь выдавал [null], не ожидая получить такую странную дату. Потестил ради интереса на восьмой ветке мускуля, он отрабатывает корректно - кидает ошибку на неправильное значение. Но получается что пятому mysql вообще нельзя доверять.

Можно, если sql_mode настроить

Можно, если sql_mode настроить

хм, да, действительно. Потестил, предварительно настроив сессию так: set sql_mode='STRICT_TRANS_TABLES,NO_ZERO_DATE,NO_ZERO_IN_DATE'; и с такими настройками не дает записать неправильное значение. но все равно, странный подход к настройкам по умолчанию) это, имхо, гораздо хуже, чем изначально отключенные чексуммы в постгресе

bc, что поделать

Как то наткнулся на старое видео Яндекса, где они рассказывали о своей кликхаус колоночной. Подумал, что такую штуку ведь можно и на pg расширением сделать и похожее нашел. Кто-нибудь знает за счет чего у них такое быстродействие?

Там нет апдейтов

Расширение я имею ввиду Константина Книжника - imcs

Расширение я имею ввиду Константина Книжника - imcs

Ещё вот это было: https://github.com/citusdata/cstore_fdw

Ещё вот это было: https://github.com/citusdata/cstore_fdw

Спасибо!

Вообще чем больше смотрю на postgresql, тем больше удивляюсь, какие клевые решения на нем можно строить

Практически без ограничений и через единые механизмы расширять его.

Раньше сильно не воспринимал разработку СУБД, как что-то что может затягивать. Все таки системный достаточно уровень. Казалось это скучным. То ли дело прикладной уровень - каждый день от заказчиков какая- нибудь канитель и хотелка появляется. Но блин классно сделали архитектуру postgresql. Поэтому всех, кто придумывает и пишет postgresql прям искренне благодарю за Вашу работу! Хорошее дело делаете! Спасибо!

Раньше сильно не воспринимал разработку СУБД, как что-то что может затягивать. Все таки системный достаточно уровень. Казалось это скучным. То ли дело прикладной уровень - каждый день от заказчиков какая- нибудь канитель и хотелка появляется. Но блин классно сделали архитектуру postgresql. Поэтому всех, кто придумывает и пишет postgresql прям искренне благодарю за Вашу работу! Хорошее дело делаете! Спасибо!

что может быть веселее, чем унижать СodeFirst разработчиков каждый божий день?

что может быть веселее, чем унижать СodeFirst разработчиков каждый божий день?

Не понял вопрос.

Наверное это какая то шутка была и я не въехал

Знаю много компаний, где DBA не в почете, проекты бастро разворачивают через ORM миграторы, не думая о последствиях. Обычно такие вещи как оконки там воспринимаются на уровне магии )

Знаю много компаний, где DBA не в почете, проекты бастро разворачивают через ORM миграторы, не думая о последствиях. Обычно такие вещи как оконки там воспринимаются на уровне магии )

Ну я сам в основном пишу на orm и с субд работает движок платформы, используем Odoo. Но когда залезаешь в аналитику более менее сложную, приходится сочинять 4 этажные запросы и как то orm сразу забывается :) Но я чисто с академической точки зрения люблю всякие технологии смотреть и некоторые своей гениальностью прям завораживают, всегда приятно смотреть на труд в который вложено много творчества, знаний и таланта.

это точно про постгрес?

что может быть веселее, чем унижать СodeFirst разработчиков каждый божий день?

А когда-то получается?)

А когда-то получается?)

- "как в NHibernate посадить запрос на GIN" - а как посчитать нарастающий итог? ну и т.д. )

Эм .. всегда же есть raw sql в нужных случаях, в code first это отлично укладывается.

Всем привет! На новой работе требуют умение работать с этой СУБД. Ранее имел не плохой опыт по работе с MySQL. Подскажите, пожалуйста, с чего начать? Что почитать? Может есть какие то статьи/видео по краткому описанию: - утилиты командной строки; - типы данных; - особенности работы(было бы отлично получить отличия от MySQL); - список фич, которых нет в мускуле; - конфигурирование. Я понимаю, что "Гугл в помощь", но с английским не оч, а найти что то толковое ( типа записок Postgres DBA) не получается

Господа, а нет ли противоположенности /*NO LOAD BALANCE*/ у ПгПула? Нужно конкретный селект принудительно на стэндбай отправить, не отправляя другие селекты туда

Всем привет! На новой работе требуют умение работать с этой СУБД. Ранее имел не плохой опыт по работе с MySQL. Подскажите, пожалуйста, с чего начать? Что почитать? Может есть какие то статьи/видео по краткому описанию: - утилиты командной строки; - типы данных; - особенности работы(было бы отлично получить отличия от MySQL); - список фич, которых нет в мускуле; - конфигурирование. Я понимаю, что "Гугл в помощь", но с английским не оч, а найти что то толковое ( типа записок Postgres DBA) не получается

Курсы от ПостгресПро

@quantopirotroid будет жить. Поприветствуем!

Всем привет! На новой работе требуют умение работать с этой СУБД. Ранее имел не плохой опыт по работе с MySQL. Подскажите, пожалуйста, с чего начать? Что почитать? Может есть какие то статьи/видео по краткому описанию: - утилиты командной строки; - типы данных; - особенности работы(было бы отлично получить отличия от MySQL); - список фич, которых нет в мускуле; - конфигурирование. Я понимаю, что "Гугл в помощь", но с английским не оч, а найти что то толковое ( типа записок Postgres DBA) не получается

Документацию лучше читайте. Она начинается с tutorial (у ПостгресПро где-то был перевод, кажется). И вот ещё: https://en.wikibooks.org/wiki/Converting_MySQL_to_PostgreSQL И на PostgreSQL wiki что-то было, кажется (но я сам MySQL не пользуюсь... может, ещё кто подскажет).