Про снапшот реплики что-то я не очень в теме. Вот думаю да, может как-то через rsync попробовать, и с репликой придумать что..

https://www.postgresql.org/docs/current/static/warm-standby.html#STREAMING-REPLICATION

@MDanik будет жить. Поприветствуем!

Доброй ночи

Подскажите как запрос mysql перевести для postgre

"SELECT h.name AS host, h.hostid AS hostid, t.triggerid," \ "t.description AS trigger, t.priority AS severity, t.lastchange " \ "FROM triggers t " \ "LEFT JOIN functions f ON t.triggerid = f.triggerid " \ "LEFT JOIN items i ON f.itemid = i.itemid " \ "LEFT JOIN hosts h ON i.hostid = h.hostid " \ "LEFT JOIN hosts_groups hg ON h.hostid = hg.hostid " \ "LEFT JOIN groups g ON hg.groupid = g.groupid " \ "LEFT JOIN interface ifa ON h.hostid = ifa.hostid AND ifa.main = 1 " \ "WHERE t.value = 1 " \ "AND h.status = 0 " \ "AND t.status = 0 " \ "AND i.status = 0 " \ "AND t.priority > 0 " \ "GROUP BY t.triggerid;"

Подскажите как запрос mysql перевести для postgre

А Вы пробовали выполнять "как есть"? На первый взгляд ничего специфичного... впрочем, PostgreSQL скажет, если не так. ;)

ШИБКА: ошибка синтаксиса (примерное положение: "`") СТРОКА 1: ... h.hostid AS hostid, t.triggerid,t.description AS trigger,...

но там же нет `

ОШИБКА: столбец "h.name" должен фигурировать в предложении GROUP BY или использоваться в агрегатной функции СТРОКА 1: SELECT h.name AS host, h.hostid AS hostid, t.triggerid,t.des...

пробовал )

но там же нет `

телега красным отметила

проверка `ghj`

ghj в двойных написал

поменять на AS "trigger"

ОШИБКА: столбец "h.name" должен фигурировать в предложении GROUP BY или использоваться в агрегатной функции СТРОКА 1: SELECT h.name AS host, h.hostid AS hostid, t.triggerid,t.des...

☝️так же

ну добавить h.name в группировку. или они там разные бывают?

ОШИБКА: столбец "h.name" должен фигурировать в предложении GROUP BY или использоваться в агрегатной функции СТРОКА 1: SELECT h.name AS host, h.hostid AS hostid, t.triggerid,t.des...

А, теперь вижу. Действительно, выражения в SELECT list должны быть либо в GROUP BY, либо агрегатными функциями. Т.е. меняйте так, как нужно по смыслу.

понял, пойду читать гугл )

спасибо

да просто добавить h.name в группировку

h.hostid и остальное

да просто добавить h.name в группировку

А откуда Вы знаете, что это будет правильно? Это ж MySQL (причём, неизвестно какой версии). ;)

А откуда Вы знаете, что это будет правильно? Это ж MySQL (причём, неизвестно какой версии). ;)

да тут и из запроса можно убрать пачку джойнов

https://www.postgresql.org/docs/current/static/warm-standby.html#STREAMING-REPLICATION

Репликация как я понимаю в любом случае подразумевает кластер.. а у меня получается все в рамках одной вм. С кластерами никогда не работала, похоже настало это время..)

Всем привет! Посоветуйте, как лучше решить задачу с переносом дата дир с одного диска на другой с минимальным простоем? ? Размер данных около 950 Gb

А тейблспейсами не решится?

Репликация как я понимаю в любом случае подразумевает кластер.. а у меня получается все в рамках одной вм. С кластерами никогда не работала, похоже настало это время..)

Ну, в приниципе, репликация может быть и между кластерами на одной машине... просто так редко делают (просадка по производительности, по идее, большая). ;)

А тейблспейсами не решится?

Что-то мне думается нет..)

Ну, в приниципе, репликация может быть и между кластерами на одной машине... просто так редко делают (просадка по производительности, по идее, большая). ;)

В принципе да) но этот вариант с просадкой не привлекает конечно от слова совсем)

В принципе да) но этот вариант с просадкой не привлекает конечно от слова совсем)

Ну, может у Вас ресурсов хватит на это... но я так понимаю, задача как раз с нехваткой ресурсов и связана?

Тем не менее, можно попробовать потихоньку (throttling) снять/развернуть basebackup, и так же дождаться, пока реплика "догонит" (лучше, в период минимальной нагрузки)... Можно над этим подумать, по крайней мере.

понял, пойду читать гугл )

как бы не напиться https://zabbix.org/mw/images/0/0c/Zabbix_db_schema-2.4.3-MySQL.svg

Ну, может у Вас ресурсов хватит на это... но я так понимаю, задача как раз с нехваткой ресурсов и связана?

Ресурсов-то добавить попросить моооожно... Но не хотелось бы) хотелось бы какого-нибудь бэст практис :) и я как понимаю это реплика. Про basebackup подумаю ?

Спасибо)

как бы не напиться https://zabbix.org/mw/images/0/0c/Zabbix_db_schema-2.4.3-MySQL.svg

Наоборот радоваться надо что есть подобное описание :3

@SvidetelFNL будет жить. Поприветствуем!

Коллеги, а озадачивался кто вопросом исключения записей из селекта если их уже модифицирует другая транзакция? Задача: исключить из текущего селекта записи которые уже апдейтит другая транзакция. Пытаемся использовать служебное поле xmin и снапшоты, но как-то безрезультатно. Хотим использовать именно эту возможность, чтобы избежать блокировок.

Коллеги, а озадачивался кто вопросом исключения записей из селекта если их уже модифицирует другая транзакция? Задача: исключить из текущего селекта записи которые уже апдейтит другая транзакция. Пытаемся использовать служебное поле xmin и снапшоты, но как-то безрезультатно. Хотим использовать именно эту возможность, чтобы избежать блокировок.

Можа это https://postgrespro.ru/docs/postgresql/9.5/sql-select SKIP LOCKED

Можа это https://postgrespro.ru/docs/postgresql/9.5/sql-select SKIP LOCKED

хе. запомню: #readpast

однако ж в этом мегадоллар обогнал пуську

Переведи...

мегадоллар = M$ = MS = microsoft пуська = пусьгрес = посьгрес = постгрес = postgressql

ну что-то о преводсходстве ms над pg, или наоборот

ну что-то о преводсходстве ms над pg, или наоборот

+

в MS SQL давно уже "READ PAST" - для этого

я собсно вопрос пришёл задать :)

Вот я делаю: pg_dump zabbix -f zabbix.public.history_uint.sql -s -n public -t history_uint Чтоб получить скрипты создания индексов всех. Но: * у меня там и таблица включена. Можно убрать её параметрами pg_dump? * можно быть уверенным что pg_dump вставляет каменты свои красивые и парсить результат опираясь на каменты?

Можа это https://postgrespro.ru/docs/postgresql/9.5/sql-select SKIP LOCKED

Вот так решили вопрос - select * from test where xmax::text not in(select (txid_snapshot_xip % (2^32)::bigint)::text from txid_snapshot_xip(txid_current_snapshot()))

Вот так решили вопрос - select * from test where xmax::text not in(select (txid_snapshot_xip % (2^32)::bigint)::text from txid_snapshot_xip(txid_current_snapshot()))

А SKIP LOCKED не сработал?

Предположили, что долго будет и отказались))

Зря предположили, прекрасно работает. И запрос выглядит понятней в разы.

тем более у вас NOT IN в запросе

Предположили, что долго будет и отказались))

Ну-ну. А ведь это самое близкое к READPAST. Кстати, у Вас задача на самом деле какая? Вот это же: > Задача: исключить из текущего селекта записи которые уже апдейтит другая транзакция. Не задача, а просто часть решения... чего?

многопоточной обработки какой-нибудь очереди наверняка

Приходят разные клиенты за записями и берут их в обработку. Нужно чтобы клиенты гарантированно получали те записи которые никто ещё не взял. И чтоб без блокировок - для ускорения.

многопоточной обработки какой-нибудь очереди наверняка

Именно))

и вы пришли к запросу с NOT IN и конвертацией бигинтов в тексты

Приходят разные клиенты за записями и берут их в обработку. Нужно чтобы клиенты гарантированно получали те записи которые никто ещё не взял. И чтоб без блокировок - для ускорения.

Вот для этого и нужен "FOR UPDATE SKIP LOCKED", а не какие-то (возможно, нерабочие) костыли, как у Вас.

истинно говорю вам, SKIP LOCKED по всем параметрам лучше

Ясно. Будем и этот вариант тестировать!)) Спасибо за советы)

посмотрите план выполнения своего велосипеда, там seq scan

посмотрите план выполнения своего велосипеда, там seq scan

Да этот велосипед "как есть" 100% нерабочий, так что нам чего-то не показали... я надеюсь. ;)

Добрый день, подскажите, пожалуйста, по кластеризации постгреса. Какие популярные методы на данный момент?

Добрый день, подскажите, пожалуйста, по кластеризации постгреса. Какие популярные методы на данный момент?

Sharding, в смысле? Я сам не пользовался, но часто упоминаются Postgres-XL, Citus и PL/Proxy. Ну и вручную можно чего-нибудь нагородить... смотря что именно нужно.

Ну у меня кейс сделать на двух серверах актив-стенбай, при этом компоненты которые будут принимать подключения и выбирать мастера можно вынести на сервера рядом, возможно там будет кубер. При хорошем раскладе ещё сделать ридонли операции из стенбая, а запись в мастера)

Ну у меня кейс сделать на двух серверах актив-стенбай, при этом компоненты которые будут принимать подключения и выбирать мастера можно вынести на сервера рядом, возможно там будет кубер. При хорошем раскладе ещё сделать ридонли операции из стенбая, а запись в мастера)

Так это совсем другое дело, это просто HA, и средств для него куча. > При хорошем раскладе ещё сделать ридонли операции из стенбая, а запись в мастера) Эээ... возможность этого зависит от Ваших требований к ACID и используемого в Ваших приложениях механизма их обеспечения.

Ну у меня кейс сделать на двух серверах актив-стенбай, при этом компоненты которые будут принимать подключения и выбирать мастера можно вынести на сервера рядом, возможно там будет кубер. При хорошем раскладе ещё сделать ридонли операции из стенбая, а запись в мастера)

Можете для начала посмотреть: https://www.postgresql.org/docs/current/static/different-replication-solutions.html

Я в сторону столона смотрел, но ещё не осилил его понять. Вот там судя по всему такие операции идут на реплику)

Я в сторону столона смотрел, но ещё не осилил его понять. Вот там судя по всему такие операции идут на реплику)

Он основан на streaming replication, насколько я помню. Т.е., опять-таки: > возможность этого зависит от Ваших требований к ACID и используемого в Ваших приложениях механизма их обеспечения.

Понял, спасибо, пойду изучать

Hei guys , my boss ask me how fast can Russian Mobile network be? For example, how much time it will take to download a 5M file? Thx

As fast as any other)

depends on a region of our country

from several sec to minutes

http://www.speedtest.net/reports/russia/

suppose I am a common Mobile game player

in large cities average speed not less than 5 Mbit/s

http://www.speedtest.net/reports/russia/

thx，can this represent your actual experience？

I can watch online hd video via mobile internet without any problems

Вот для этого и нужен "FOR UPDATE SKIP LOCKED", а не какие-то (возможно, нерабочие) костыли, как у Вас.

Спасибо crux и Yaroslav. Ваш вариант оказался лучшим. Всё задышало))

прекрасный тост

Вот я делаю: pg_dump zabbix -f zabbix.public.history_uint.sql -s -n public -t history_uint Чтоб получить скрипты создания индексов всех. Но: * у меня там и таблица включена. Можно убрать её параметрами pg_dump? * можно быть уверенным что pg_dump вставляет каменты свои красивые и парсить результат опираясь на каменты?

можно, но только таблицу, констрейнты останутся, например да, можно парсить, опираясь на комментарии

можно, но только таблицу, констрейнты останутся, например да, можно парсить, опираясь на комментарии

pg_dump --section=post-data уберёт определение таблицы

Подскажите, с каким коеффициент postgresql сохраняет jsonb (без индексов). 1Кб jsonb записи сколько съест места на hdd?

Подскажите, с каким коеффициент postgresql сохраняет jsonb (без индексов). 1Кб jsonb записи сколько съест места на hdd?

Место выделяется блоками по 8kb (обычно). 1 запись на 1kb съест 8kb места в файле таблицы

Т.е он хранит его как есть, без сжатия или наоборот, доп. расходов?

Условно говоря 8Кб займут ровно 8 или 6 или 12?

Условно говоря 8Кб займут ровно 8 или 6 или 12?

12 чего займут 8кб?

12Кб

Запись размеров 8Кб займет на hdd 12кб, 6kb?

Вопрос именно в возможных преобразованиях, который pgsql делает с json

Вопрос именно в возможных преобразованиях, который pgsql делает с json

Вот здесь эти преобразования слегка описаны https://postgrespro.ru/docs/postgrespro/10/datatype-json

Спасибо!

Допрасходы - порядка 24 байт на строку. Для 1кб элемента вроде немного