ребят, подскажите пожалуйста, висит куча idle транзакций, они нормально так жрут памяти, как можно отследить откуда они, дабы найти корень проблемы? http://joxi.ru/LmGjJqaue60vzr

ребят, подскажите пожалуйста, висит куча idle транзакций, они нормально так жрут памяти, как можно отследить откуда они, дабы найти корень проблемы? http://joxi.ru/LmGjJqaue60vzr

ну судя по адресу у вас локально стоит некое приложение, использующее постгрес. или я не понял вопрос

да, все верно, но pid откуда транзакция как-то можно понять?

ребят, подскажите пожалуйста, висит куча idle транзакций, они нормально так жрут памяти, как можно отследить откуда они, дабы найти корень проблемы? http://joxi.ru/LmGjJqaue60vzr

какой нить пулер стоить. вида pgbounce или pgpool

да, все верно, но pid откуда транзакция как-то можно понять?

с адреса 127.0.0.1 порт соответствующий

netstat ом можно поглядеть чо за приклад такой соединился

ребят, подскажите пожалуйста, висит куча idle транзакций, они нормально так жрут памяти, как можно отследить откуда они, дабы найти корень проблемы? http://joxi.ru/LmGjJqaue60vzr

Это скорее всего разделяемая память, которую бэкенд 'потрогал'

господа, что посоветуете сделать, куда копать? ибо это не нормально

RES-SHR небольшое, так что суммарно немного памяти. pid > pg_stat_activity, там можно последние запросы посмотреть.

Это нормально

Grigory а то, что таймаут стоит 60 сек, а они все равно не уходят – тоже нормально?

ребят, подскажите пожалуйста, висит куча idle транзакций, они нормально так жрут памяти, как можно отследить откуда они, дабы найти корень проблемы? http://joxi.ru/LmGjJqaue60vzr

Нужно смотреть на разницу RES-SHR. На скриншоте это где-то по 30МБ на процесс (кстати, немало)

это коннекшны, а не транзакции. пул держит коннекшн "вечно"

это именно коннешн, не пулы?

Grigory а то, что таймаут стоит 60 сек, а они все равно не уходят – тоже нормально?

Это уже вопрос к тому, кто коннект открыл и не закрыл

это именно коннешн, не пулы?

сложно сказать пул или нет (возможно кто-то не закрывает за собой коннекшн), но выглядит как пул, который занял сразу N коннекшнов и ждет.

2 пула)

спасибо большое! буду думать

ребят, подскажите пожалуйста, висит куча idle транзакций, они нормально так жрут памяти, как можно отследить откуда они, дабы найти корень проблемы? http://joxi.ru/LmGjJqaue60vzr

Тут важно не путать «idle» и «idle in transaction». На картинке просто «idle», т.е. реально транзакций нет. Это просто процессы (соединения) Если интересно на что уходит 30 мегабайт (по-моему, 30 мегабайт это уже повод посмотреть), можно подключиться через gdb: https://wiki.postgresql.org/wiki/Developer_FAQ/ru#.D0.90.D0.BD.D0.B0.D0.BB.D0.B8.D0.B7_.D0.B8.D1.81.D0.BF.D0.BE.D0.BB.D1.8C.D0.B7.D1.83.D0.B5.D0.BC.D0.BE.D0.B9_.D0.BF.D0.B0.D0.BC.D1.8F.D1.82.D0.B8_.D1.80.D0.B0.D0.B1.D0.BE.D1.87.D0.B5.D0.B3.D0.BE_.D0.BF.D1.80.D0.BE.D1.86.D0.B5.D1.81.D1.81.D0.B0 Но стоит запускать MemoryContextStatsDetail(TopMemoryContext, 5000), т.к. иначе выведутся первые 100 записей без какой-либо сортировки.

Нужно смотреть на разницу RES-SHR. На скриншоте это где-то по 30МБ на процесс (кстати, немало)

смотреть надо сюда /proc/номерпроцесса/smaps а не простым вычитанием действовать

а можно из исходников поставить постгрес, а потом через initdb указать путь до кластера

Понял, спасибо)

смотреть надо сюда /proc/номерпроцесса/smaps а не простым вычитанием действовать

а чем вычитание не устраивает?

А как сделать Vacuum целой схемы? Я накатал команду которая составляет построчно вакуум для каждой таблицы Но vacuum не выполняется в паре с другой командой ( даже с другим вакумом(

Народ, всем привет я начинающий программер в БД Postgresql хотел бы узнать как проще всего дебажить хранимки

Народ, всем привет я начинающий программер в БД Postgresql хотел бы узнать как проще всего дебажить хранимки

raise notice ...

а без raise notice ?

а без raise notice ?

пошагово в pgAdmin3/4

а без raise notice ?

можно плагинами для IDE (pgAdmin, OmniDB) добиться

просто никогда не делал

так вот ищу варианты

pgAdmin4(web) умеет?

а чем вычитание не устраивает?

в Linux память при форке не копируется, помечается как copy-on-write. Если ваш процесс ест 100 мб в RSS и практически 0 в SHR и отфоркается 10 раз, при этом ничего делать не будет, то в top вы увидите 10 раз по 100 в RSS , хотя на самом деле занято все те же 100 мб плюс крошки

а чем вычитание не устраивает?

Тем что RSS процесса это с учетом памяте того процесса который форкнул искомый. на самом деле искомый процесс если ничего не потрогал в пямяти будет вполне обладать rss равным предку. поэтому вот такая математика. правильнее смотреть на pss в smaps чтобы понять почем весит один процесс. Может быть кто по другому научит. Готов выслушать

в Linux память при форке не копируется, помечается как copy-on-write. Если ваш процесс ест 100 мб в RSS и практически 0 в SHR и отфоркается 10 раз, при этом ничего делать не будет, то в top вы увидите 10 раз по 100 в RSS , хотя на самом деле занято все те же 100 мб плюс крошки

+1

Тем что RSS процесса это с учетом памяте того процесса который форкнул искомый. на самом деле искомый процесс если ничего не потрогал в пямяти будет вполне обладать rss равным предку. поэтому вот такая математика. правильнее смотреть на pss в smaps чтобы понять почем весит один процесс. Может быть кто по другому научит. Готов выслушать

pss - это "отфоркнутая" локальная память?

пропорциональный RSS. вместо 10 по 100 будет 10 по 10.

пропорциональный RSS. вместо 10 по 100 будет 10 по 10.

Это не rss

Привет

Всем привет, хотел изучать Постгрес глубже. Какие книги, сайты, блоги можете посоветовать, буду благодарен

Всем привет, хотел изучать Постгрес глубже. Какие книги, сайты, блоги можете посоветовать, буду благодарен

https://postgrespro.ru/education/courses

Господа, нужна подсказка, есть форум(не самописный, поэтому надо как-то гладко для него шардировать), хочу в нем данные учеток пользователей разнести на 2 бд по странам, партицировать это дело не трудно, можно сделать по полю country, а вот как теперь это шардировать по разным сервакам? т.е. я хочу иметь 2 партиции, 1: Россия, 2: все остальное, а дальше Россию держать в одной базе, а остальное в другой. Наткнулся в сети на fdw но не уверен, что это верный вариант.

https://postgrespro.ru/education/courses

спасибо

говоря про 2 базы, я имею ввиду базы разнесенные по сервакам.

Тем что RSS процесса это с учетом памяте того процесса который форкнул искомый. на самом деле искомый процесс если ничего не потрогал в пямяти будет вполне обладать rss равным предку. поэтому вот такая математика. правильнее смотреть на pss в smaps чтобы понять почем весит один процесс. Может быть кто по другому научит. Готов выслушать

А pss затрагивает shared страницы (не шаренные анонимные после COW)? Быть может Private_Clean + Private_Dirty даст точную оценку?

А pss затрагивает shared страницы (не шаренные анонимные после COW)? Быть может Private_Clean + Private_Dirty даст точную оценку?

pss дает точную оценку. Оно не смотрит на флаги (shared, private), а смотрит сколько раз замаплена по факту

pss дает точную оценку. Оно не смотрит на флаги (shared, private), а смотрит сколько раз замаплена по факту

Но точным он не может быть, поскольку учитывает пропорцию шаренных страниц, тогда уж RSS. Имхо pss необходим для оценки суммы постребляемой памяти процессами, которые шарят общие сегменты. В данном случае мне интересен размер локальной "отфоркнутой" памяти, предполагая что в шаренной утечек нет

Но точным он не может быть, поскольку учитывает пропорцию шаренных страниц, тогда уж RSS. Имхо pss необходим для оценки суммы постребляемой памяти процессами, которые шарят общие сегменты. В данном случае мне интересен размер локальной "отфоркнутой" памяти, предполагая что в шаренной утечек нет

"отфоркнутой" это какой именно? Двояко можно прочитать

от локальной постмастера

Все равно непонятно, что именно хотите посчитать. Вы хотите узнать сколько процесс занял под себя и ни с кем не делит? Тогда да, сумма private_*

Все равно непонятно, что именно хотите посчитать. Вы хотите узнать сколько процесс занял под себя и ни с кем не делит? Тогда да, сумма private_*

да, под себя. Моё изначальное предубеждение было, что RES-SHR, которое есть RsAnon, для долгоживущего бекэнда устремляется к этому значению "под себя"

да, под себя. Моё изначальное предубеждение было, что RES-SHR, которое есть RsAnon, для долгоживущего бекэнда устремляется к этому значению "под себя"

Если посчитаете и сравните по двум методам, поделитесь результатом? мне кажется цифры не очень сильно разойтись должны на практике

Если посчитаете и сравните по двум методам, поделитесь результатом? мне кажется цифры не очень сильно разойтись должны на практике

ok, самому интересно. Спасибо за помощь по полям smaps)

ok, самому интересно. Спасибо за помощь по полям smaps)

Смотрите fs/proc/task_mmu.c в исходниках ядра, код - лучшая документация :)

Коллеги, подскажите, пожалуйста. Нужно при изминении строки в таблице информировать об этом java (tomcat) как это реализовать?

Коллеги, подскажите, пожалуйста. Нужно при изминении строки в таблице информировать об этом java (tomcat) как это реализовать?

Триггер на обновление + какая нибудь функция, например, на С

Коллеги, подскажите, пожалуйста. Нужно при изминении строки в таблице информировать об этом java (tomcat) как это реализовать?

logical decoding, notify

Все эти notify это путь вникуда. Если на том конце сервис в дауне, кто эту запись обработает? Все-равно poll делать

Все эти notify это путь вникуда. Если на том конце сервис в дауне, кто эту запись обработает? Все-равно poll делать

подскажите poll это когда сервер опрашивает бд об изминениях?

Все эти notify это путь вникуда. Если на том конце сервис в дауне, кто эту запись обработает? Все-равно poll делать

logical decoding это poll чистой воды

ERROR: S client not available

logical decoding это poll чистой воды

используем logcal decoding и logical replication функционал (и в виде pglogical и в виде нативной фичи PG10) для подгрузки и обновления данных в приложение (на Elrang). Сплошные плюсы. На сколько помню, поддержка logical replication протокола появилась и в JDBC для PG

Ну на счет poll чистой воды я бы тут не согласился

то, что при недоступности приложения данные никуда не деваются - это так. Они лежат в WAL-ах и защищены Replication Slot-ом (если он не временный)

но в то же время, это не опрос со стороны клиента об измнениях, а пуш со стороны PG при изменениях.

logical decoding это poll чистой воды

Нет, это streaming :) "начните отсюда и погнали"

используем logcal decoding и logical replication функционал (и в виде pglogical и в виде нативной фичи PG10) для подгрузки и обновления данных в приложение (на Elrang). Сплошные плюсы. На сколько помню, поддержка logical replication протокола появилась и в JDBC для PG

Да, напрямую лить в приложение это правильно. Я про notify говорил, что-то случилось, шлем сообщение, огребаем геморрой на ровном месте если сообщение не принято

Привет. А не подскажете какие лучше индексы использовать для следующего: запись представляет собой колонку name и 4 колонки целых чисел меньше 500 распределённых примерно по Пуассону (т.е. единиц больше всего, двоек меньше итд.). Нужно фильтровать по условию больше/меньше/равно по нескольким числовым и сортировать по name

Сейчас там тупо по индексу на каждую отдельную колонку, это работает (предполагаю что при запросе небольших чисел с высокой селективностью используется тупо скан по name, а для больших один из индексов по числовым колонкам и сортировка), но понятно что это очень неэффективно. Думаю как минимум сделать индексы условными по >= 5, скажем, чтобы не хранить бесполезные данные, и возможно сделать их составными с name, но может есть что-нибудь для многомерных spatial данных подходящее

Сейчас там тупо по индексу на каждую отдельную колонку, это работает (предполагаю что при запросе небольших чисел с высокой селективностью используется тупо скан по name, а для больших один из индексов по числовым колонкам и сортировка), но понятно что это очень неэффективно. Думаю как минимум сделать индексы условными по >= 5, скажем, чтобы не хранить бесполезные данные, и возможно сделать их составными с name, но может есть что-нибудь для многомерных spatial данных подходящее

залейте все в clickhouse и забудьте об это проблеме)

Сейчас там тупо по индексу на каждую отдельную колонку, это работает (предполагаю что при запросе небольших чисел с высокой селективностью используется тупо скан по name, а для больших один из индексов по числовым колонкам и сортировка), но понятно что это очень неэффективно. Думаю как минимум сделать индексы условными по >= 5, скажем, чтобы не хранить бесполезные данные, и возможно сделать их составными с name, но может есть что-нибудь для многомерных spatial данных подходящее

это похоже на задачу для колоночного движка. посмотрите vops, кстати - https://github.com/postgrespro/vops примеры использования https://postgrespro.ru/docs/enterprise/10/vops

Привет. А не подскажете какие лучше индексы использовать для следующего: запись представляет собой колонку name и 4 колонки целых чисел меньше 500 распределённых примерно по Пуассону (т.е. единиц больше всего, двоек меньше итд.). Нужно фильтровать по условию больше/меньше/равно по нескольким числовым и сортировать по name

по каждому сочетанию колонок, по которым делается фильтрация, индекс. Порядок полей не важен, если все распределены одинаково — всё равно не угадаешь. Если несколько условий, и только одно равно, то в индек надо брать колонку где равно, и одну из тех, что > или < Несколько колонок где > < брать не надо. (если только для других запроосов подойдёт). Так сложно объяснить, можно дать пару запросов лучше, покажу.

Сейчас там тупо по индексу на каждую отдельную колонку, это работает (предполагаю что при запросе небольших чисел с высокой селективностью используется тупо скан по name, а для больших один из индексов по числовым колонкам и сортировка), но понятно что это очень неэффективно. Думаю как минимум сделать индексы условными по >= 5, скажем, чтобы не хранить бесполезные данные, и возможно сделать их составными с name, но может есть что-нибудь для многомерных spatial данных подходящее

По name НЕ НАДО индекс, если по ней только сортировка.

Сейчас там тупо по индексу на каждую отдельную колонку, это работает (предполагаю что при запросе небольших чисел с высокой селективностью используется тупо скан по name, а для больших один из индексов по числовым колонкам и сортировка), но понятно что это очень неэффективно. Думаю как минимум сделать индексы условными по >= 5, скажем, чтобы не хранить бесполезные данные, и возможно сделать их составными с name, но может есть что-нибудь для многомерных spatial данных подходящее

Таблица большая?

Может кто решал проблему, есть бд(не посгря) с неё надо а посгрю перекинуть юзеров, как быть с паролями? Ну и при регистрации новых юзеров как быть(говоря простым языком перекидываем юзеров с одного сервиса на другой, и юзер может пользоваться обеими сервисами)

странно

исходная БД - какая?

* стеная и плача крокодиловыми слезами Вот вам тут всем хорошо, а с меня требуют объяснения, почему ПГ надо инитить с контрольными суммами, приводя в пример существующее положение вещей: - ну сейчас же без контрольных сумм работает! Чем будет лучше?

Mysql вроде

* стеная и плача крокодиловыми слезами Вот вам тут всем хорошо, а с меня требуют объяснения, почему ПГ надо инитить с контрольными суммами, приводя в пример существующее положение вещей: - ну сейчас же без контрольных сумм работает! Чем будет лучше?

Блок занули

Блок занули

Я на испытательном, чтобы такие демонстрации устраивать.

:(

я тоже не понимаю на украинском

я тоже не понимаю на украинском

?

1 бал тут за перевод только бала 3 надо

Привет, я от @bobrovskiy_roman, знаете такого?

сука

Привет, я от @bobrovskiy_roman, знаете такого?