но опять же, я могу ошибаться, ща узнаю

Наивный вьюнош...

хотя кучу говн надо будет руками делать типа отношений и триггеров

не, на пайтоне код тупо сам делает запросы

Это называется - ОРМ. для ПГ надо будет брать более другой, со всеми вытекающими. БОЛЬ и СТРАДАНИЯ гарантированы. Просто по определению.

блять(

Это называется - ОРМ. для ПГ надо будет брать более другой, со всеми вытекающими. БОЛЬ и СТРАДАНИЯ гарантированы. Просто по определению.

если не используются пг-онли фичи и нормальная либа, высок шанс ограничиться заменой драйвера

мне кажется там по типам как минимум расхождение будет

ой. всмысле мускуль-онли или чё там у него

и как показывает практика иногда бывают ошибки в орм

коллейшн

а есть библия?

для postgres

лучше от o reily

а есть библия?

Курсы от постгреспро, если лень читать учбеник из официальной документации. Но, судя по вашим вопросам, вам таки лучше начать именно с учебника.

ок, спасибо! я оч быстро учусь, так что начну с курса)

Курсы от постгреспро, если лень читать учбеник из официальной документации. Но, судя по вашим вопросам, вам таки лучше начать именно с учебника.

Под учебником ты имеешь в виду : https://www.postgresql.org/docs/current/static/tutorial.html ?

Да. После этой части - следующую.

сойдет

Подскажите чем и как быстрее всего разворачивать 20гб дамп? Сходу только pg_restore с -j core_count нашел

Уменьшить дамп нельзя, создать из темплейта тоже

если бекап делать через pg_basebackup то разворачиваться будет быстрее.

если бекап делать через pg_basebackup то разворачиваться будет быстрее.

Ок, спасибо, других вариантов по ускорению я так понимаю нет?

смотря зачем вам это надо

Итоговая задача разворачивать тестовые поды с базой в кубере

Ок, спасибо, других вариантов по ускорению я так понимаю нет?

А Вам зачем? Если для backup, то Вы выбрали неправильный инструмент. А если для чего-то другого, можете посмотреть https://www.postgresql.org/docs/current/static/populate.html

А Вам зачем? Если для backup, то Вы выбрали неправильный инструмент. А если для чего-то другого, можете посмотреть https://www.postgresql.org/docs/current/static/populate.html

Для EaaS, по ночам делается дамп прода, обфусцируется и на базе это дампа нужно днём поднимать тестовые среды для разработки

*этого

Среды живут в кубере, но под с базой неприлично долго поднимается

Среды живут в кубере, но под с базой неприлично долго поднимается

А во сколько GB разворачивается? И за какое время этот дамп снимается и разворачивается? И в каком формате?

Сколько снимается точно не скажу, вся процедура около часа занимает

винты пошустрее поставить

Сам дамп в архиве около 6гб, разворачивается в 20 где-то

Там средствами кубера можно раздел подготавливать заранее и потом его подключать просто к поду

Но думал может есть со стороны постгреса какие-то другие утилиты, чтобы быстрее разворачивалось

Может, проще обфусцировать средствами SQL предварительно просто скопировав базу?

Насколько я знаю там примерно так процесс и сделан, копируется - обфусцируется - дампится

Ну, дамп может пригодиться, если версии разные. А если версия одинаковая, то зачем дампить?

Можно сделать реплику, как вариант. Отсоединить ее и с ней все проделать

Как и сколько делается сам дамп мне в принципе не важно, с моей стороны у меня в 3 часа ночи есть дамп который надо уже развернуть

Там средствами кубера можно раздел подготавливать заранее и потом его подключать просто к поду

Подождите, а причём тут это? Сколько у Вас баз на источнике, сколько Вам нужно скопировать? И Вы бы посмотрели, что медленнее — снятие или разворачивание. И всё же, в каком формате снимаете?

Я не снимаю, это другой отдел эксплуатации делает, у меня туда доступа нет. Моя же система при первом пуше в гит поднимает в кубере целиком среду всего проекта, используя для базы тот самый дамп

Как и сколько делается сам дамп мне в принципе не важно, с моей стороны у меня в 3 часа ночи есть дамп который надо уже развернуть

Если не важно, тогда реплика самый быстрый вариант разворачивания. Делаете реплику. Промотите до мастера. Делаете изменения в БД. Гасите сервер. Копируете файлы. Быстрее прямого копирования файлоы вряд ли что-то получится сделать.

Прилетает сжатая gzip sql

Я не снимаю, это другой отдел эксплуатации делает, у меня туда доступа нет. Моя же система при первом пуше в гит поднимает в кубере целиком среду всего проекта, используя для базы тот самый дамп

Вы можете на все вопросы ответить?

пока он думает =) у меня тут вопрос про psycopg непонятный мне cursor.itersize = 10000 cursor.execute('SELECT id, a,b,c FROM t1 WHERE id IN (select id from table2)') result = [] for row in cursor: result.append(some_func(row)) if len(result) > 5000: yield result так вот у меня в обеих таблицах десятки миллионов записей, соответственно запрос отрабатывает первоначально долго, но по идее же потом курсор установлен и запросы должны идти быстро, но такое ощущение что как только itersize достигает 10000 курсор опять идет и выполняет запрос, потому что запрос опять же начинает подтормаживать Может быть есть смысл заменить WHERE id IN (SELECT ...) на что-то другое?

пока он думает =) у меня тут вопрос про psycopg непонятный мне cursor.itersize = 10000 cursor.execute('SELECT id, a,b,c FROM t1 WHERE id IN (select id from table2)') result = [] for row in cursor: result.append(some_func(row)) if len(result) > 5000: yield result так вот у меня в обеих таблицах десятки миллионов записей, соответственно запрос отрабатывает первоначально долго, но по идее же потом курсор установлен и запросы должны идти быстро, но такое ощущение что как только itersize достигает 10000 курсор опять идет и выполняет запрос, потому что запрос опять же начинает подтормаживать Может быть есть смысл заменить WHERE id IN (SELECT ...) на что-то другое?

А это точно вопрос по PostgreSQL? ;) Я к тому, что кто его знает, как эти "курсоры" в psycopg работают (тут вроде писали, что там не настоящие курсоры "внутри")...

ну я тут скорее из-за вопроса про WHERE id IN (SELECT id from ...)

это нормально?)

ну я тут скорее из-за вопроса про WHERE id IN (SELECT id from ...)

SELECT id, a,b,c FROM t1 WHERE id IN (select id from table2) SELECT id, a,b,c FROM t1 JOIN table2 t2 ON (t1.id = t2.id) Это?

SELECT id, a,b,c FROM t1 WHERE id IN (select id from table2) SELECT id, a,b,c FROM t1 JOIN table2 t2 ON (t1.id = t2.id) Это?

ну типа того, только я не силен в sql'е, и я не уверен, что join будет быстрее а вот за наводку, что там ненастоящие курсоры - это спасибо, пойду погуглю, может быть в этом и есть проблема

Вы можете на все вопросы ответить?

К сожалению нет, не могу, у меня нет доступа к проду, все что есть - это файл дампа с 1 базой в sql.gz формате

Поэтому и вопрос чисто про скорость восстановления

Если так, тогда как сказали выше - SSD диск. Ну и воркмем в конфиге задрать, что бы индексы проще делать было

К сожалению нет, не могу, у меня нет доступа к проду, все что есть - это файл дампа с 1 базой в sql.gz формате

То есть, Вы не знаете, сколько там баз.. А у Вас вообще есть возможность что-то изменить с "отправляющей" стороны — метод или опции снятия дампа, или заменить его на pg_basebackup... что-нибудь?

Поэтому и вопрос чисто про скорость восстановления

Тогда читайте ту ссылку, которую я уже давал.

ну типа того, только я не силен в sql'е, и я не уверен, что join будет быстрее а вот за наводку, что там ненастоящие курсоры - это спасибо, пойду погуглю, может быть в этом и есть проблема

Формально, это не эквивалентный запрос (вдруг id — не PK в table2). ;) Поэтому мне больше EXISTS нравится.

@Hellfosa а что вы будете делать когда прод 1Тб станет, будете 1Тб в контейнеры пихать?

То есть, Вы не знаете, сколько там баз.. А у Вас вообще есть возможность что-то изменить с "отправляющей" стороны — метод или опции снятия дампа, или заменить его на pg_basebackup... что-нибудь?

С отправляющей ничего нельзя посмотреть/сделать

По факту база не внутри контейнера, а на выделенном Томе, на цефе

С отправляющей ничего нельзя посмотреть/сделать

В таком случае, Вам остаётся только мучиться. :( Как я понял, Вы получаете дамп, вероятно, в худшем из возможных форматов (можете забыть о параллельном разворачивании, кстати). (Ещё неизвестно, не испоьзовались ли при снятии какие-нибудь "весёлые" опции... там можно так накрутить, что разворачивание замедлится в несколько раз.) Поэтому помогут только настройки сервера-приёмника, по идее.

В таком случае, Вам остаётся только мучиться. :( Как я понял, Вы получаете дамп, вероятно, в худшем из возможных форматов (можете забыть о параллельном разворачивании, кстати). (Ещё неизвестно, не испоьзовались ли при снятии какие-нибудь "весёлые" опции... там можно так накрутить, что разворачивание замедлится в несколько раз.) Поэтому помогут только настройки сервера-приёмника, по идее.

Ок, значит буду пинать соседний отдел :) спасибо!

Если так, тогда как сказали выше - SSD диск. Ну и воркмем в конфиге задрать, что бы индексы проще делать было

не ворк_мем, а maintenance_work_mem, work_mem - это немного про другое.

Кто захочет, тот поймет.

не ворк_мем, а maintenance_work_mem, work_mem - это немного про другое.

А его можно выше гига уже?

У меня не получилось

@Komzpa хммм, как-то вот не задавался этим вопросом. А что не так? Я как-то задирал до 4-х, 6-ти - вроде ускорялось всяческое индексирование при накате пг_дампа

Это в 11 постгре?

привет. не знаю корректный вопрос или нет, как можно узнать на какой таблице больше всего происходит seq_scan?

pgadmin3 показывает при клике на таблицу на вкладке "статистика", а в логе pg можно посмотреть, каким запросом он получает

спасибо, попробую

@invariance будет жить. Поприветствуем!

Ребят, что будет если в unsigned записать -200? Ошибка? Или запишет без минуса?

привет. не знаю корректный вопрос или нет, как можно узнать на какой таблице больше всего происходит seq_scan?

https://postgrespro.ru/docs/postgrespro/10/monitoring-stats#PG-STAT-ALL-TABLES-VIEW юзайте доки, ибо правильно это!

Ребят, что будет если в unsigned записать -200? Ошибка? Или запишет без минуса?

https://postgrespro.ru/docs/postgrespro/10/datatype-numeric найдите там беззнаковое, акромя *serial (которые разворачиваются в инт, ибо сиквенсы по сути своей)

https://postgrespro.ru/docs/postgrespro/10/monitoring-stats#PG-STAT-ALL-TABLES-VIEW юзайте доки, ибо правильно это!

? спасибо)

https://postgrespro.ru/docs/postgrespro/10/datatype-numeric найдите там беззнаковое, акромя *serial (которые разворачиваются в инт, ибо сиквенсы по сути своей)

нету

А как можно сэмулировать?

или симулировать ?

или симулировать ?

CHECK CONSTRAINT, например. Впрочем, зависит от того, какое поведение нужно.

Всем привет, такой вопрос, имеется полная копия директории data (300 Гб) если скопировать ее с заменой на другой сервер с той же версией постгреса, база будет доступна?

Всем привет, такой вопрос, имеется полная копия директории data (300 Гб) если скопировать ее с заменой на другой сервер с той же версией постгреса, база будет доступна?

Если при копировании исходный сервер был остановлен, то да.

Если при копировании исходный сервер был остановлен, то да.

да, было так: остановил постгрес, ребутнул сервер (центос) и у него там сломалась директория root, но data лежала в директории home, поэтому загрузился с лайв-дистрибутива и скопировал папку

ребят, посоветуйте веб-морду для постгри плз

OmniDB?

OmniDB?

платная?

платная?

F2P

спасибо)

а PGAdmin разве не умеет через веб работать?

спасибо)

но разворачивать за nginx-ingress не советую, вебсокеты криво работают

ребят, посоветуйте веб-морду для постгри плз

https://www.pgadmin.org/docs/pgadmin4/3.x/server_deployment.html

спасибо)

если локально или просто за nginx - то норм

коллеги, как обойти ограничение на установку экстеншенов? дал юзеру права на создание ДБ, нужно дать права и на установку экстеншенов в этом ДБ. давать права суперюзера на кластер stolon совсем не хочу

столон поднимал через хелм со своим имиджем и подготовленными к установке экстеншенами

всем времени

вопрос такой. настроио мониторинг, на что обратить внимание ?