ещё work_mem увеличить, пока Bitmap Scan перестанет быть битмаповым и будет просто Index Scan

угу, сделал 50% от total

ой нет, 1гиг

Я считаю что мы заслужили доки постгреса в таком же формате как и minecraft wiki. А то погуглил matrialized view postgres speed up query, во всех ответах на SO намек про caching. Открываешь оф. доки, Ctrl+F caching, 0 results. Почему? Наверное materialized view содержит меньше инфы чем основная таблицы, и наверное ОС закеширует его блоки если его часто дергать, но это не точно. Ставишь строиться materialized view, идешь спать, просыпаешься и убеждаешься что так все и есть. А нужно вот как - открываешь вебсайт, и тут тебе варианты на выбор: какой датасет у вас, сэр? Какое железо? Что хотите сегодня сделать? Что тормозит? И далее разжеванные пояснения за каждый из них.

http://pgtune.leopard.in.ua

http://pgtune.leopard.in.ua

Пару раз напарывался на то, что возврат checkpoint_completion_target в дефолтное значение (0,5) избавлял от подземных стуков и прочих непотребств. Ну и с описанием, почему так, а не иначе всё как-то грустно и печально

http://pgtune.leopard.in.ua

Я им и пользовался изначально, он мне посоветовал поставить random read cost = 4.0

А потому я предпочитаю в качестве стартового вот этот конфигуратор: http://pgconfigurator.cybertec.at/

А потому я предпочитаю в качестве стартового вот этот конфигуратор: http://pgconfigurator.cybertec.at/

воу спасибо, этот круче вроде

По крайней мере, при выставлении мышой какого либо исходного параметра появляется подсказка, на какой конфигурационный параметр ПГ этот исходный влияет.

парни, это же ненормально что вставка 100к записей происходит 4-7 сек?

парни, это же ненормально что вставка 100к записей происходит 4-7 сек?

Зависит от конфигурации хоста, ОС и ПГ.

И от, собственно, данных. А то вы там поди в каждой записи "Войну и мир" пытаетесь вставить.

да нет

5 колонок

Плюс хитровывернутые многочисленные триггеры на вставку очень хорошо могут просадить эту самую вставку.

нету тригиров на вставку

Значит, конфигурация. А может ещё и объём.

Какой объем?

Данных. Но вообще, данная ситуация - повод для разбираться, в чем дело. Ибо долго. Вангую проблемы с диском.

Диском? На двух компах запускалось.

Тогда смотрите EXPLAIN (ANALYZE, BUFFERS, VERBOSE)

И лично я сомневаюсь, что без конфигурации системы и ПГ кто-то что-то сможет сказать что-нибудь более конкретное. Хотя 4 индекса и три внешних ссылки - они своё возьмут при манипуляциях с данными.

Тогда смотрите EXPLAIN (ANALYZE, BUFFERS, VERBOSE)

прочитал что нужно делать через begin i copy, на ваш взгляд, это может помочь?

Я им и пользовался изначально, он мне посоветовал поставить random read cost = 4.0

ну да, это для обычных дисков, для SSD оно 1.

парни, это же ненормально что вставка 100к записей происходит 4-7 сек?

если вы через insert вставляете в цикле без begin то это 100k транзакций в 4-7 секунд

если вы через insert вставляете в цикле без begin то это 100k транзакций в 4-7 секунд

без бегин

а 100к строк как вы пихаете, одним запросом?

ну это одна транзакция, норм :-)

Кто-нибудь встречал большие бд постгреса внутри кубернетес кластера? То есть докеризированные. Плохая это идея?

ну это одна транзакция, норм :-)

сарказм?

А сам селект быстрый? Почему вы вообще заморочились насчёт этих секунд Вам надо получить 100 мс?)

селект быстрый

та просто, было бы неплохо если б по скорее работало

explain analyze этого селекта сколько занимает?

та просто, было бы неплохо если б по скорее работало

А если сделать create table test_123 as запрос_ваш (Select into, или какой то ещё простой insert) Без on conflict То насколько быстро будет ? Может он отжирает

explain analyze этого селекта сколько занимает?

38 ms

а индекс на котором вы конфликтуете сколько занимает?

а индекс на котором вы конфликтуете сколько занимает?

вот что анализ по полной транзакции выдал Planning time: 0.635 ms Trigger for constraint fk_agents_warehouse_agent_id: time=1200.073 calls=115059 Trigger for constraint fk_agents_warehouse_distributor_id: time=1088.363 calls=115059 Trigger for constraint fk_agents_warehouse_warehouse_id: time=2226.358 calls=115059 Execution time: 6501.925 ms

оу, там еще проверка констрейнтов. 100к за 7 секунд. да ваша Галя балувана

lol

Кто-нибудь встречал большие бд постгреса внутри кубернетес кластера? То есть докеризированные. Плохая это идея?

Сколько с ребятами, у которых куб-сворм не общался - все как один: «Базе не место в кластере»

Сколько с ребятами, у которых куб-сворм не общался - все как один: «Базе не место в кластере»

У меня тоже такое чувство было, спасибо

Сколько с ребятами, у которых куб-сворм не общался - все как один: «Базе не место в кластере»

базы тем более большие лучше на отдельных виртуалках держать

базы тем более большие лучше на отдельных виртуалках держать

Ну они их на отдельных дедиках держат, которыми специально выделенные люди заведуют.

базы тем более большие лучше на отдельных виртуалках держать

* вспоминая базу в полтера в виртуалке Чтоб вам всю жизнь с базами, которые в виртуалках, жЫть!

* вспоминая базу в полтера в виртуалке Чтоб вам всю жизнь с базами, которые в виртуалках, жЫть!

А вай нот? Если к виртуалке LUN прицеплен, который на внешней флешовой СХД живёт?)

БД в полтерабайта, 450 - 500 подключений, и все чего-то с базой делают. Какая, к чёрту, виртуалка?! Или что это за хост такой должен быть?

ВИртуалка - это для личного сайтика, демонстрирующего, как владелец сайтика у мамы молодец.

БД в полтерабайта, 450 - 500 подключений, и все чего-то с базой делают. Какая, к чёрту, виртуалка?! Или что это за хост такой должен быть?

Да и очень дорого столько ресурсов в облаке выделять, по сравнению с арендой деда

деда)0

Чтобы два разы не вставаить. База - производственная, у каждого пользователя свой аккаунт, т.е. оправданность пгбаунсера - под вопросом.

БД в полтерабайта, 450 - 500 подключений, и все чего-то с базой делают. Какая, к чёрту, виртуалка?! Или что это за хост такой должен быть?

Ну 8180x8 (28C/56T) допустим стоят у тебя. И таких машин 2 инсталляции по 4 штуки.

Да и очень дорого столько ресурсов в облаке выделять, по сравнению с арендой деда

Там не одна стойка в ДЦ была, так что...

Ну 8180x8 (28C/56T) допустим стоят у тебя. И таких машин 2 инсталляции по 4 штуки.

Это что такое? А то я по железу не очень, чтобы очень - все время приходилось жрать, что дают, образно говоря.

Это что такое? А то я по железу не очень, чтобы очень - все время приходилось жрать, что дают, образно говоря.

https://ark.intel.com/products/120496/Intel-Xeon-Platinum-8180-Processor-38_5M-Cache-2_50-GHz

Привет, как из pg_class выяснить какой схеме принадлежит таблица?

ясно

Всем привет. Ребят, подскажите. Настраиваю pgpoll поверх 2х серверов PG10. Работают как мастер слейв с обычой sreaming репликацией. Все что требуется от pgpool это инсерты слать только в мастер, а селекты балансить между мастером и репликой + авторизация по персонифицированным учеткам в PG. Это возможно? Сейчас столкнулся с проблемой: "ERROR: MD5 authentication is unsupported in replication, master-slave and parallel modes. HINT: check pg_hba.conf" Гуглится сразу таблица сообщетствия методов авторизации. Но у меня везде стоит md5. Но и на мастере и на слейве у меня прописано в pg_hba.conf уже даже вот такое правило: host all all 0.0.0.0/0 md5 И на сервере pgpool тоже в pool_hba.conf прописано: host all all 0.0.0.0/0 md5

Немного странный вопрос, что посоветуете для master-slave репликации?)

Немного странный вопрос, что посоветуете для master-slave репликации?)

А цель какая?

Не менее странный ответ: настроить и использовать

ERROR: S client not available

А цель какая?

В случае если master лежит иметь возможность перевести slave в master и работать дальше с ним.

Ну и еще опять странный вопрос. Я очень сильно туплю или для стандартный streaming replication из postgres нужно, что бы у мастера и слейва была общая папка?

В случае если master лежит иметь возможность перевести slave в master и работать дальше с ним.

Т.е. нужна физическая репликация, основанная на WAL shipping / streaming (синхронная или нет — вам виднее), ясно. В самом деле, начиная от того, что выше посоветовали (просто настроить встроенную) до "обёрток" над ней — repmgr и т.п.

Если не планируете гонять на слейве тяжёлые запросы и готовы переключаться руками - то встроенной потоковой достаточно

Pdi + greenplum + dblink

Ну и еще опять странный вопрос. Я очень сильно туплю или для стандартный streaming replication из postgres нужно, что бы у мастера и слейва была общая папка?

Причём на стороннем сетевом ресурсе. Куда будут складываться архивы WAL-ов (archive_mode должно быть в on, archive_command - укладывать архивы на этот сетевой ресурс - на мастере, restore_command должна брать с него и накатывать на реплике). В жизни всякое бывает а вот такая настройка - это соломка на случай, если вдруг реплика фатально отстала.

Ну ненужное для аналитики сливаем на гринплам

Кря

Pentaho pdi

Ну и еще опять странный вопрос. Я очень сильно туплю или для стандартный streaming replication из postgres нужно, что бы у мастера и слейва была общая папка?

Формально, технически не нужно. Но вы хотите чтобы она была, поверьте. :)

То есть она нужна как раз на тот случай, когда реплика сильно отстанет и можно было как-то подтянуть?

А в нормальном режиме не используется?

А в нормальном режиме не используется?

Да, в нормальном режиме — это просто архив WAL. А как вы без него от некоторых disaster защититесь (DROP important_table; —> уже попало на реплику... упс)?

А насчет связки pgpool II + streaming replication есть какие-то предупреждения или в целом более-менее будет работать?)

Будет

Работало вроде

Добрый день. Есть такой запрос SELECT '2018-05-08 12:02:48.389823 +03:00'::TIMESTAMPTZ - '2018-05-08 10:59:25.591843 +03:00'::TIMESTAMPTZ; Подскажите, пожалуйста, как отформатировать его результат -- current format: 0 years 0 mons 0 days 1 hours 3 mins 22.79798 secs в -- needed format: 63 mins 22.79798 secs

Да, в нормальном режиме — это просто архив WAL. А как вы без него от некоторых disaster защититесь (DROP important_table; —> уже попало на реплику... упс)?

Бармэн?

Бармэн?

А в чём вопрос? ;)

А в чём вопрос? ;)

К тому что мы такое делаем с помощью бармэна. Но может уже что-то поменялось и это теперь немодно :)

К тому что мы такое делаем с помощью бармэна. Но может уже что-то поменялось и это теперь немодно :)

Так внутре-то у него н̶е̶о̶н̶к̶а̶ тот же архив, (но, может быть, полученный другим способом, через pg_receivewal)... разве нет?

Да)

не стрёмно им летать?

Pdi + greenplum + dblink

извините, а dblink для чего?

Ну ненужное для аналитики сливаем на гринплам

т.е. вся тяжелая аналитика на постгре? Или я не правильно понимаю что-то?

т.е. вся тяжелая аналитика на постгре? Или я не правильно понимаю что-то?

На гринпламе

извините, а dblink для чего?

Может надо в постгре собрать view для какихто нужд

На гринпламе

а как данные в него затягиваете из постгреса? если не секрет

Pdi