Всем спасибо! Не то, что в дотнет чате сразу отправили менять постгрес на оракл, злыдни)) Спасибо! ?

скинь плес, где тебя отправили менять постгрес в лс

Спасибо! А Дейт не очень подойдёт для начинающего?

Дейт - это слишком долго.

Друзья, всем привет Есть вопрос, сам уже очень долго бьюсь Вопрос про ltree Есть табличка regions В ней есть страны, регионы и города Ну и соответственно есть поле path где записи вида 1.2.3 1. Нужно получить все страны 2. Все города Проблема в следующем: есть города которые являются детьми страны, при этом есть те у которых родитель - регион А ещё ко всему прочему есть страны, слава богу из только четыре, которые являться корневым, когда все остальные являются детьми объекта мир В общем в случае городов задача сводится к получению всех листьев Но как это делается через lquery не могу найти А вот как искать страны не представляю даже в теории :(

Я как-то развлекался с ltree вот таким образом: https://ru-postgres.livejournal.com/18903.html

Может быть что-нибудь и вам подойдёт

Может быть что-нибудь и вам подойдёт

Спасибо, буду смотреть

В экстримкоде, но пруф уже не найду, недели 1,5 назад было...

Уважаемые участники канала, подскажите пожалуйста. У меня в одной таблице есть объекты с ПК id типа bigint и в другой таблице колонка с массивом bigint[], содержащим эти id. Мне надо выбрать все строки из второй таблицы, в которых есть в массиве эти id с каким-то условием. Т.е. необходимо выполнить запрос типа такого: select * from data.requests where places @> ARRAY[select id from data.places where query_id = 202]::bigint[] Как правильно составить такой запрос? (Вышеописанный выдаёт ошибку.) Заранее большое спасибо!

Ну так array записывается не так, и оператор Вы тоже, наверное, перепутали... Что-то вроде: SELECT * FROM data.requests AS r WHERE r.places @> ARRAY(SELECT p.id FROM data.places AS p WHERE p.query_id = 202) Правда, непонятно, что именно Вам было нужно. Кстати, совет — всегда квалифицируйте все названия полей ("table.query_id = 202", а не просто "query_id = 202"), а то рано или поздно нарвётесь на сюрприз. :(

@Demuzx будет жить. Поприветствуем!

Привет всем! Подскажите, есть ли инструкции по реализации кластера postgresql?

Привет всем! Подскажите, есть ли инструкции по реализации кластера postgresql?

Смотря что Вы понимаете под кластером...

Привет всем! Подскажите, есть ли инструкции по реализации кластера postgresql?

Среда - маленькая пятница? А, блин, Ярослав быстрее печатает. :(

Уважаемые участники канала, подскажите пожалуйста. У меня в одной таблице есть объекты с ПК id типа bigint и в другой таблице колонка с массивом bigint[], содержащим эти id. Мне надо выбрать все строки из второй таблицы, в которых есть в массиве эти id с каким-то условием. Т.е. необходимо выполнить запрос типа такого: select * from data.requests where places @> ARRAY[select id from data.places where query_id = 202]::bigint[] Как правильно составить такой запрос? (Вышеописанный выдаёт ошибку.) Заранее большое спасибо!

Ну, вообще-то мягко говоря у тебя ошибка при проектировании БД, нарушение 1НФ. PG конечно за счёт продвинутых типов данных типа ARRAY даже такую ошибку может разнулить, но в принципе тебе надо менять структуру БД, там, где у тебя одна таблица с ID ПК в массиве, тебе надо иметь две таблицы, ещё одна будет таблицей связи

Смотря что Вы понимаете под кластером...

Аналогия MySQL NDB Cluster, если сталкивались.

Кластер PostgreSQL - это набор баз, управляемых одним запущенным экземпляром СУБД.

Аналогия MySQL NDB Cluster, если сталкивались.

Этого точно нет и не надо

А как обычно отказоусточивать организуется и репликация данных?

Господа, а чем вы смотрите "историю" транзакции? Хочется понять сколько висят в idle in transaction, сколько планировали, сколько читали с диска, сколько доки ждали и прочие.

А как обычно отказоусточивать организуется и репликация данных?

Репликация - встроенная потоковая.

Отказоустойчивость - средств решения данной задачи совсем не одно.

Ну вот поэтому я у вас и интересуюсь.

А как обычно отказоусточивать организуется и репликация данных?

Я только на описание посморел: > NDB Cluster is a technology that enables clustering of in-memory databases in a shared-nothing system. Эээ... при чём тут вообще отказоустойчивость?!

Господа, а чем вы смотрите "историю" транзакции? Хочется понять сколько висят в idle in transaction, сколько планировали, сколько читали с диска, сколько доки ждали и прочие.

все что ты перечислил, относится к разному. Вот пример один из вариантов: SELECT DISTINCT ON (queryid) coalesce(d.datname, '~unknown') AS database, coalesce(r.rolname, '~unknown') AS user, s.queryid, (CASE WHEN length(s.query) > 2048 THEN left(s.query,1004) || ' <CONCAT left 1004,right 1004 CONCAT> ' || right(s.query,1004) ELSE s.query END) as query, s.calls, s.mean_time, s.stddev_time, s.rows, s.shared_blks_hit, s.shared_blks_read, s.shared_blks_dirtied, s.shared_blks_written, s.local_blks_hit, s.local_blks_read, s.local_blks_dirtied, s.local_blks_written, s.temp_blks_read, s.temp_blks_written, s.blk_read_time, s.blk_write_time FROM pg_stat_statements s JOIN pg_roles r ON r.oid=s.userid JOIN pg_database d ON d.oid=s.dbid WHERE d.datname NOT IN ('postgres', 'template0', 'template1') AND r.rolname NOT IN ('pgsql', 'postgres');

Я только на описание посморел: > NDB Cluster is a technology that enables clustering of in-memory databases in a shared-nothing system. Эээ... при чём тут вообще отказоустойчивость?!

Меня спросили что я под кластером понимаю. Я ответил, проведя аналогию. Отказойстойчивость, вы сами накрутили уже.

Господа, а чем вы смотрите "историю" транзакции? Хочется понять сколько висят в idle in transaction, сколько планировали, сколько читали с диска, сколько доки ждали и прочие.

про планирование - autoexplain. Он в лог сыпет. Про idle - сам догадаешься

Меня спросили что я под кластером понимаю. Я ответил, проведя аналогию. Отказойстойчивость, вы сами накрутили уже.

А это не Ваши слова? > А как обычно отказоусточивать организуется и репликация данных? Я-то думал, что NDB Cluster был приведён как пример того, что Вам нужно, а не просто так. ;)

Подскажите пожалуйста новичку, с чего вобще начать. С psql не имел опыта. В основном меня репликация данных интересует, ну на втором месте отказойстойчивость.

А это не Ваши слова? > А как обычно отказоусточивать организуется и репликация данных? Я-то думал, что NDB Cluster был приведён как пример того, что Вам нужно, а не просто так. ;)

Внимательные просто читайте и все норм будет. Повторю, я ответил про NDB в плане понятия кластера. А потом отдельно спросил как реализуется репликация и отказоустойчивость в psql

Подскажите пожалуйста новичку, с чего вобще начать. С psql не имел опыта. В основном меня репликация данных интересует, ну на втором месте отказойстойчивость.

Репликация с какой целью? А про отказоусточивать уже ответили — master/slave streaming (физическая репликация).

Репликация с какой целью? А про отказоусточивать уже ответили — master/slave streaming (физическая репликация).

Только с целью сохранения данных.

Подскажите пожалуйста новичку, с чего вобще начать. С psql не имел опыта. В основном меня репликация данных интересует, ну на втором месте отказойстойчивость.

Репликация встроенная. Вот здесь документация на русском https://postgrespro.ru/docs/postgresql/10/index . Там все очень хорошо расписано

Только с целью сохранения данных.

Для этого у Вас уже есть база данных... непонятно, что Вам ещё нужно. :(

Короче говоря, я могу просто на 2,5,10 и т.д. машин поставить psql и на все реплицировать данные, разумеется, чтобы с этих машин можно было еще чтение данных сделать

Для этого у Вас уже есть база данных... непонятно, что Вам ещё нужно. :(

Чтобы при записи данных, они оказывались на всех машинах сразу

Короче говоря, я могу просто на 2,5,10 и т.д. машин поставить psql и на все реплицировать данные, разумеется, чтобы с этих машин можно было еще чтение данных сделать

Да, можете. А зачем Вам чтение? Вообще, дело в том, что тут много тонкостей... поэтому лучше сразу и точно пишите, что Вам нужно. > Чтобы при записи данных, они оказывались на всех машинах сразу Вот это, например, может означать, что Вам нужна синхронная реплика... а может и нет.

Да, можете. А зачем Вам чтение? Вообще, дело в том, что тут много тонкостей... поэтому лучше сразу и точно пишите, что Вам нужно. > Чтобы при записи данных, они оказывались на всех машинах сразу Вот это, например, может означать, что Вам нужна синхронная реплика... а может и нет.

Стоят две машины, на обеих бд, одна падает, вторая продолжает работать, потом первая поднимается и все данные оказываются на ней тоже.

Если я вобще в этом всем не разбираюсь, могу ил за пару дней реализовать такое?

У меня опыт только с MySQL NDB.

Стоят две машины, на обеих бд, одна падает, вторая продолжает работать, потом первая поднимается и все данные оказываются на ней тоже.

Нет, стоп, это вообще так не работает. Я имею в виду в принципе, неважно, какая у Вас СУБД. Если для Вас недопустима потеря данных вообще, и нужны какие-то гарантии HA, двух серверов просто недостаточно. :(

Нет, стоп, это вообще так не работает. Я имею в виду в принципе, неважно, какая у Вас СУБД. Если для Вас недопустима потеря данных вообще, и нужны какие-то гарантии HA, двух серверов просто недостаточно. :(

Вы имеете ввиду для автоматического переключения 2х серверов не достаточно?

Вы имеете ввиду для автоматического переключения 2х серверов не достаточно?

А куда денется читающая нагрузка со слейва после переключения на новый мастер, пока старый мастер в отключке, например?

А куда денется читающая нагрузка со слейва после переключения на новый мастер, пока старый мастер в отключке, например?

Читающая нагрузка - это опциональная штука. К высокой доступности относится весьма косвенно

Вы имеете ввиду для автоматического переключения 2х серверов не достаточно?

Я имею в виду следующий простой вопрос: когда единственная синхронная реплика упадёт (или просто станет недоступна), сколько r/w транзакций Вы сможете выполнить на primary? ;)

Читающая нагрузка - это опциональная штука. К высокой доступности относится весьма косвенно

Хорошо. Для автоматического переключения 2 узлов достаточно. Но именно для автоматического переключения. И второй раз сразу же вы переключиться не сможете потому что уже некуда.

Я имею в виду следующий простой вопрос: когда единственная синхронная реплика упадёт (или просто станет недоступна), сколько r/w транзакций Вы сможете выполнить на primary? ;)

Понял вас. Согласен.

Короче говоря, я могу просто на 2,5,10 и т.д. машин поставить psql и на все реплицировать данные, разумеется, чтобы с этих машин можно было еще чтение данных сделать

Все реплики только читающие, писать только в мастер и он один

Хорошо. Для автоматического переключения 2 узлов достаточно. Но именно для автоматического переключения. И второй раз сразу же вы переключиться не сможете потому что уже некуда.

Как раз для автоматического переключения не достаточно. Задача двух генералов для N=2 решения не имеет

Только с целью сохранения данных.

https://postgrespro.ru/education/courses/DBA3

Как раз для автоматического переключения не достаточно. Задача двух генералов для N=2 решения не имеет

Это уже вопрос о выборе нового мастера. Если есть арбитр, то можно и среди 2 выбрать. Patroni так делает, например.

Как раз для автоматического переключения не достаточно. Задача двух генералов для N=2 решения не имеет

задача двух генералов _вообще_ не имеет решения

Если я вобще в этом всем не разбираюсь, могу ил за пару дней реализовать такое?

Придётся Вам разобраться хотя бы в том, что именно Вам нужно, короче говоря. А там уже "it depends": если желания не превышают Ваши возможности (достаточно серверов, например; Вам не нужно что-то редкое, к примеру, full-ACID асинхронная реплика), то, скорее всего, реализуете. Т.е. сначала определитесь с задачей, а там уже подскажем, скорее всего. :)

Для начала хватит репликации на соседнюю машину.

Для начала хватит репликации на соседнюю машину.

Асинхронной.

Но на крайний случай было бы не плохо оставить возможность "создания" из реплики, мастер-машины. как-то так.

https://postgrespro.ru/education/courses/DBA3

они здесь репликацию на этой же машине запускают.

на саму себя

Для начала хватит репликации на соседнюю машину.

Асинхронной (т.е. в случае какого-то сбоя транзакции могут быть потеряны, и, в худшем случае, много (т.к. реплика может отстать от primary, по разным причинам)) или синхронной (транзакции не могут быть потеряны, но... см. выше, я уже писал про минусы)?

задача двух генералов _вообще_ не имеет решения

Ну да. Я не очень понятно написал видимо. Именно это имелось ввиду

@keiraline будет жить. Поприветствуем!

Привет уважаемым базданщикам и не только! Питерская биржа рекламы (МедиаТех) ищет опытного DB-разработчка в нашу весёлую scrum-команду. Что хотим от кандидата: Работа *Nix на уровне пользователя; Работа с Docker; Опыт создания функций и процедур внутри реляционных СУБД (мы используем Postgres); Опыт работы с CVS (мы используем Git); Опыт работы с NoSQL (мы используем Redis, Scylla); Навыки командной работы; Уровень английского, достаточный для чтения технической документации; Способность концентрировать внимание в условиях многозадачности Бонусом будет: Опыт работы с системой мониторинга Prometheus; Опыт администрирования PostgreSQL Почему мы классные: Можно работать в крупной компании, где свято верят в дух стартапа; Можно принимать решения в разработке продукта, а не просто работать по ТЗ; Можно попробовать новые софты и технологии, которые остальные боятся использовать в продакшене; Если любишь изменения, а не спокойно сидеть в углу -- это здорово, потому что мы постоянно меняем как процессы так и технологии в нашей работе; Сможешь пробовать себя в разных сферах разработки Что готовы дать взамен: Стабильная заработная плата (135к-150к на руки), перспектива роста; Условия для развития: оплата конференций и тренингов, учебных материалов и курсов; Постоянная работа в комфортном офисе в бизнес центре А-класса в 5 минутах ходьбы от м. Горьковская; Гибкий график работы: всегда можно договориться, когда приходить и когда уходить; ДМС, корпоративный английский; Кофе, печеньки, йогурты, настольный футбол, корпоративные спортивные и анти-спортивные мероприятия; Оформление по ТК РФ. #вакансия #cпб

@Lisaaaal будет жить. Поприветствуем!

добрый день, а есть какие-нибудь подходы, чтобы реплицировать еще и сиквенсы при логической репликации?

Ребят, кто в курсе, умеет ли pgbouncer авторизовывать юзеров в самом PG? т.е. чтобы не держать файлик с юзерами еще и на нем

да, умеет

да, умеет

А где можно почитать про это? Гуглится что-то только про auth_file инфа

да, умеет

Разве?! Не знал.

auth_query не про то?

Нужно глянуть в доку.

но я не использовал, могу ошибаться. Может есть какие-то ограничения

Коллеги, есть задача: из API сырые данные пишутся в postgres таблицу "a", после чего каждую строку нужно трансформировать и сложить в таблицу "b" предварительно сверив с со всеми строками в таблице "a" В MSSQL под такие нужды создаётся процедура, внутри которой будет цикл по строкам, преобразование каждой строки, сверка и запись в таблицу "b" как это реализуется в PG ?

процедуры есть и в postgres

процедуры есть и в postgres

только в 11. Нужна 9.6

в 9.6 тоже есть

create function

Коллеги, есть задача: из API сырые данные пишутся в postgres таблицу "a", после чего каждую строку нужно трансформировать и сложить в таблицу "b" предварительно сверив с со всеми строками в таблице "a" В MSSQL под такие нужды создаётся процедура, внутри которой будет цикл по строкам, преобразование каждой строки, сверка и запись в таблицу "b" как это реализуется в PG ?

вообще больше на триггер похоже

триггер не подходит, убьет скорость вставки. Хотелось бы переложить данные в другую таблицу например ночью

Коллеги, есть задача: из API сырые данные пишутся в postgres таблицу "a", после чего каждую строку нужно трансформировать и сложить в таблицу "b" предварительно сверив с со всеми строками в таблице "a" В MSSQL под такие нужды создаётся процедура, внутри которой будет цикл по строкам, преобразование каждой строки, сверка и запись в таблицу "b" как это реализуется в PG ?

> В MSSQL под такие нужды создаётся процедура, внутри которой будет цикл по строкам, преобразование каждой строки, сверка и запись в таблицу "b" (Даже) в MS SQL такой подход называется RBAR, и за него Вам должно было бы быть стыдно. ;) Лучше всего сделать это запросом. Можете завернуть его в функцию, и запускать её когда и как хотите.

> В MSSQL под такие нужды создаётся процедура, внутри которой будет цикл по строкам, преобразование каждой строки, сверка и запись в таблицу "b" (Даже) в MS SQL такой подход называется RBAR, и за него Вам должно было бы быть стыдно. ;) Лучше всего сделать это запросом. Можете завернуть его в функцию, и запускать её когда и как хотите.

часто помогаешь мне, спасибо ?

Парни, подскажите пожалуйста, если изменить тип колонки(id c integer на biginteger) будут блокировки на таблице в 400мл записей?

Парни, подскажите пожалуйста, если изменить тип колонки(id c integer на biginteger) будут блокировки на таблице в 400мл записей?

Да, будут. Хуже того, это table rewrite, что значит — MVCC-unsafe operation, т.е. запускать параллельно с работающими транзакциями по-хорошему вообще не стоит (лучше дождитесь maintenance window). :(

Парни, подскажите пожалуйста, если изменить тип колонки(id c integer на biginteger) будут блокировки на таблице в 400мл записей?

Кстати, что Вам мешает искать ответы на подобные вопросы проверкой на маленьких таблицах в тестовой базе? ;)

Кстати, что Вам мешает искать ответы на подобные вопросы проверкой на маленьких таблицах в тестовой базе? ;)

достаточно почтитать справку по БД и применить элементарную логику

достаточно почтитать справку по БД и применить элементарную логику

Проверить даже быстрее, мне кажется. ;) Т.к. по мере развития PostgreSQL MVCC-unsafe операции потихоньку превращаются в safe, легче за минуту проверить именно на своей версии.

Привет! Расскажите, пожалуйста, как вы синхронизируете Postgres с Elasticsearch? Видел zombodb, но он вроде пока сыроват

как в функции реализовать x, y = select val1, val2 from table ? в mssql это select @x = val1, @y = val2 from table;

select val1, val2 into x, y from table

select val1, val2 into x, y from table

спасибо