И там же есть статья с обратным названием :)

Без понимания крутить ручки тоже так себе затея

^ в продолжение про shared_buffers. Это конфиг у aws rds.

алоха

как обновить pg_dump?

pg_dump: server version: 9.4.10; pg_dump version: 9.2.18 pg_dump: aborting because of server version mismatch

центос 6, есличо

/usr/pgsql-9.4/bin/pg_dump

А потом делаешь yum provides /usr/bin/pg_dump и идешь учиться

А потом делаешь yum provides /usr/bin/pg_dump и идешь учиться

? ?

наконец-то база данных новая вышла http://pelotondb.io/

Читаю про создателей. Понравилось "Andy Pavlo - Assistant Professor of Databaseology, Carnegie Mellon University"

Профессор базоданнологии

https://twitter.com/andy_pavlo/status/798571674572460032

Pavlo забавный)

лекции у него тоже зачетные, рассказывает про тюремные татухи, правила выживания на улице и т.п.

а где вы их смотрите?

заделитесь

Кстати, “;” не берёт снапшот в отличие от “SELECT 1;”.

а где вы их смотрите?

должно быть здесь, но у меня сейчас не открывается страница: http://15721.courses.cs.cmu.edu/spring2016/schedule.html

https://www.youtube.com/watch?v=MyQzjba1beA

ща сайт CMU не работает от меня тоже, но оно на ютюбчике есть

заебок

наконец-то база данных новая вышла http://pelotondb.io/

даже не скрывают, что велосипед

а кто-нибудь пишет на go? как вы обходите https://github.com/jmoiron/sqlx/issues/274 ?

там уже был подобный issue, но про typecast через ::, наткнулись с json_populate_record и named query в sqlx

вообще есть желание переписать sqlx чуть более чем полностью из-за его некоторых "болячек"

Привет сообщество. Возникла проблема с тем что postgres съедает всю память сервера, а потом перезапускает себя. Работа с постгресом ведется средствами asyncpg выделяется пул из 3 коннектов выполняю "жирные" инсерты по 11к (<20 раз) строк и потом на 10 минут идет перерыв. Все эти 10 минут память не освобождается, и на второй такой итерации память заканчивается. В чем может быть проблема и как это всё отдебажить??

vm.overcommit_memory чему равен ?

Привет сообщество. Возникла проблема с тем что postgres съедает всю память сервера, а потом перезапускает себя. Работа с постгресом ведется средствами asyncpg выделяется пул из 3 коннектов выполняю "жирные" инсерты по 11к (<20 раз) строк и потом на 10 минут идет перерыв. Все эти 10 минут память не освобождается, и на второй такой итерации память заканчивается. В чем может быть проблема и как это всё отдебажить??

транзакцию закрываете?

транзакцию закрываете?

Asyncpg вроде закрывает.

vm.overcommit_memory чему равен ?

0

попробуйте выставить в 2

и checkpoint у вас настроен ?

Равно как и bgwriter ?

Равно как и bgwriter ?

туда не лезли

и checkpoint у вас настроен ?

это не должно приводить к увеличению оперативки постгреса. Данные ограничены shared_buffers, потом в диск уйдут. Навскиду пухнуть может только backend если транзакция не закрылась

вроде aiopg ставит по умолчанию autocommit=True, так что странно

Может посмотреть, что за процесс конкретный пухнет, что он делает в этот момент и до этого?

gdb.

что до этого - только логи.

gdb.

или через такое расширение: https://github.com/postgrespro/pg_query_state

коллеги, подскажите это в лимитах дело ? или ограничение постгреса: на запросе поймал ERROR: invalid memory alloc request size 18446744073709551613

https://www.postgresql.org/message-id/54886FC9.2030000%40gmail.com нагуглил что у кого-то была такая же ошибка, и request size совпадает, что навело на мысль об органичении PG

А где у вас 18446 Петабайт памяти есть?

А где у вас 18446 Петабайт памяти есть?

да засолили =)

=) эт нея это json

bush=# create table users_json2 as b…. row_to_json(usr) as data_json ERROR: invalid memory alloc request size 18446744073709551613 Time: 3192746.245 ms

Привет сообщество. Возникла проблема с тем что postgres съедает всю память сервера, а потом перезапускает себя. Работа с постгресом ведется средствами asyncpg выделяется пул из 3 коннектов выполняю "жирные" инсерты по 11к (<20 раз) строк и потом на 10 минут идет перерыв. Все эти 10 минут память не освобождается, и на второй такой итерации память заканчивается. В чем может быть проблема и как это всё отдебажить??

Уже день бьемся с этой проблемой. Из логов было установлено только то, что транзакция закрывается, и коннект тупо висит, отъедая все больше памяти с каждым инсертом.

результаты запросов вычитываются из сокета?

а версия какая ?

результаты запросов вычитываются из сокета?

Как это определить?

а версия какая ?

9.6

а poolер какой нить используете ?

пулер ?

Да asyncpg создает пул из трех коннектов.

Как это определить?

если сами не писали клиента отбрасываем этот вариант врядли в asyncpg такое проморгали

если закрывать соединения память освобождается?

можно сделать тестовое приложение с таким же поведением, заюзав psycopg2 чтоб убедиться что дело в постгре, а не в кривом клиенте

если закрывать соединения память освобождается?

Да, освобождается.

можно сделать тестовое приложение с таким же поведением, заюзав psycopg2 чтоб убедиться что дело в постгре, а не в кривом клиенте

А почему она может не освобождаться?

при старте транзакции все запросы в ней должны проходить через одно соединение, т.е. соединение из пула должно резервироваться только под эту транзакцию что творит asyncpg я понятия не имею

при старте транзакции все запросы в ней должны проходить через одно соединение, т.е. соединение из пула должно резервироваться только под эту транзакцию что творит asyncpg я понятия не имею

Асинкпг устанавливает 3 коннекта и использует их по перменно. Коннекты под каждую транзакцию. Судя по логам: происходят транзакции с инсертами затем 10 минут тишины от этих коннектов.

так вы в транцакции пишите или нет?

Да 1 инсерт -1 транзакция

ужас

1 инсерт — 11к values

простите, там запрос insert into table values(), () ... 11k ?

т.е. не prepare 1 insert и 11к execute(values) ?

Да так.

ok если включить полное логирование всех запросов постгря пишет в лог помимо всего прочего ещё и соединение, которое используется begin; insert ... ; commit; все должны залогинится с одним идентификатором соединения

Да так.

"так" - это один большой-большой текстовый запрос ?

можно попробовать пул, состоящий из одного соединения как контрольный

Один большой текстовый запрос на 10мб.

сделайте: tx = begin() stmt = prepare(insert into bla-bla) for i in 1...11k stmt.execute () tx.commit

сделайте: tx = begin() stmt = prepare(insert into bla-bla) for i in 1...11k stmt.execute () tx.commit

Хорошо, но почему предыдущий вариант может сожрать 7ГБ оперативки?

ну, он разбирает ваш запрос на 11к данных, это чуть сложнее чем пару строк попарсить, попробуйте через подготовленные запросы, там постгрес 1 раз разберет запрос и построит план, а дальше просто данные зальет, и безопаснее и быстрее

так оно в любом случае не должно память хавать гектарами что в одном инсерте что в кучке через подготовленное выражение

в семплах либо так async with connection.transaction(): await connection.execute("INSERT INTO mytable VALUES(1, 2, 3)") либо этак tr = connection.transaction() await tr.start() try: ... except: await tr.rollback() raise finally: await tr.commit() какой вариант у вас?

почему, если в посгрес заливать 10 мегабайтные запросы он вполне себе ест память, почему бы и нет, его ведь нужно разобрать перед тем как выполнить

ну выполнить и освободить память должен, или по крайней мере не отъедать больше чем уже выделил, а не постоянно выделять новую

Нет бы как в мускуле сделать макс алловд пукет

Всем привет

Ребятушки, начал изучать postgresql и столкнулся с проблемой