легко explain ( costs false) with a as ( select 1, 2, 3 ), b as ( select 4, 5, 6 ), c as ( select 7, 8, 9 ) select * from a union all select * from c; QUERY PLAN --------------------- Append CTE a -> Result CTE c -> Result -> CTE Scan on a -> CTE Scan on c

как и джоины ненужные

Это я просто написал к вопросу о заверении "таблички в памяти"

пока он так далеко не заходит, насколько я знаю. он просто "материализирует" то что в cte запросе

а верно ли я понимаю, что отсечкой падения такой тмп-таблички из памяти на диск является work_mem параметр базы?

да

только он не просто базы, а может выставляться на сессию/юзера и т.д. индивидуально

т.е. разработчик может поставить без участия админа в сессии work_mem = 1024 TB и факапнуть сервак, верно?

work_mem - не сколько он отчекрыжит сразу, а порог выше которого не полезет

и, как разработчик, могу вам сказать что "сервак факапнуть" мы можем не только воркмемом (им как раз менее вероятно) :) чего вы боитесь ?

Принес 2 чая предыдущему оратору) Такое возмущение, как будто без этого у нас не было возможности все уронить, а тут появилась)

Восхитительная база этот постгрес. Мечта хипстора. Пошел отговаривать коллег от него.

можно монгу попробовать, прости господи )

Станислав, а Вы монгу видели?)

блин)

Да, видел. У нас есть одна, хранит 4ТБ данных и ни гугу

Сущность, которая вообще не требует внимания админов

Ну если она молча их просто хранит - то да)

а чем вас постгрес испугал, кроме воркмема ?

Ну как вам сказать, она постоянно пишет и раз в час ее читают

просто любопытно

ну, я видел MS SQL, Oracle, PG, Mongo и что-то забыл, наверное восхищение вызывают 2: oracle & pg

oracle меньше

Я, конечно не Саша Чистяков, работаю не в налоговой, но паттерн похожий - монгу дергают по айдишникам для сверки декларируемого с реальным в хранилище

для такого сценария я бы тоже монгу взял

4тб это на гридфс?

wiredtiger

MS SQL видел в продакшене настроенную пряморуким виндузятником, там вообще удивительная производительность для той жалкой железки, на которой оно работало

ни постгри, ни мускуль и рядом не стояли бы на том железе

не пробовал, но знаю (с)

Правда, особых лулзов доставил его рассказ о том, что потолок производительности MS SQL ограничивается производительностью ... мультимедиа (!) таймера.

Ооо - производительность MS SQL это песня)

у нас даже linq сишарповский работал почти быстро)

чтот сегодня "иноверцев" тут многовато :)

ненене) меня не надо метлой - я люблю pg)

просто pg не моя первая база данных - так получилось, я был молод и мне нужны были деньги

А чочо, постгри, стало быть, игрушка для богатых?

Спецов меньше => Больше платят

Впрочем, везде так.

А чочо, постгри, стало быть, игрушка для богатых?

Постгри? О ужас ?

Постгрес

)

Поребрик, шаверма и постгри

постгр[ие]

Постгиэ

ребята, может кто продаёт свой Макбук про 15 с ретиной? Мой сдох, надо замену срочно

ИНтересно, кто-то из вас называл имена пг кластеров используя дефис имени? Сегодня наткнулись на проблему с обработкой имен кластеров, в которых как раз есть дефис. Systemd в *deb подобных системах отказывается запускать pg.

Имена кластеров - это дебиановская дичь.

Просто ребята считают, что на машине должно быть несколько инсталляций пг одной версии, поэтому придумали main и прочее

Systemd в топку, а несколько инсталяций pg гуд.

у меня очень простой вопрос

задержки при селекте с большим кол-вом условий из одной таблицы с 1.5М записей -- норм?

мне верилось что постргрес не боится такого

Простой ответ — без плана запроса тут на такие вопросы не отвечают )))

индексы индексы и workmem :)

Что примерно EXPLAIN ANALYZE выдает?

с буфферами?

HashAggregate (cost=127535.73..127535.74 rows=1 width=2) (actual time=7007.313..7007.314 rows=2 loops=1) -> Seq Scan on logs (cost=0.00..127532.54 rows=638 width=2) (actual time=7001.479..7007.265 rows=32 loops=1) Rows Removed by Filter: 1520815 Total runtime: 7007.538 ms

Seq Scan !!!

Ну тут к гадалке не ходи...

ну?) я немного совсем знаю о бд и это слава богу не продакшен база а петпроджект

кривые запросы или кривое хранение?

Seq Scan — это последовательный проход по всем строкам таблицы. Видимо, какой-то индекс не создан.

отсутствие индексов

запрос Select count(*) as c, blablabla from table where and and and and group by order by limit

count в потгресе конечно подставный. Но тут как минимум надо обложиться индексами по where полям.

ERROR: S client not available

По колонкам, что в where и group by желательны индексы нужных типов. Т.к. тут and, то можно даже составной индекс, возможно, сделать.

Может и облегчит ситуацию.

Смотря конечно какие филды. Если там булево поле - индекс на него будет как мертвому припарка.

ну тут интересно -- у меня все в одной таблице (!) но там полей немного, около 10

фрагментировать я никак не могу по иным таблицам -- данные разнородны и часто уникальные

создай индексы по тем полям по которым запрос

Начнем с другого. Настройки postgres из коробки?

да

установил, импортнул дамп, забыл

Если из коробки, то сначала http://pgtune.leopard.in.ua/

Если из коробки, то сначала http://pgtune.leopard.in.ua/

там бы пояснения к нагрузке

Ну, по умолчанию postgresql настроен на работу на микроволновке.

db type

shared_buffer и work_mem наверняка нужно править.

в виде выполните пару тройку запросов и на основании цифр я скажу кам какой это тип дб

А дальше лучше всего почитать про индексы и почему они нужны.

О во щас спрошу такую тему... Давно меня мучает этот вопрос

Без правильных индексов едет вычитывание всех строк, на настройках по умолчанию буффер маленький, вот и заметно, что скан долгий. Ведь Rows Removed by Filter: 1520815

Например мне надо выбирать из таблицы, и сортировать. Можно ли как то сложить данные, ну типа чтобы оно их сразу сортировало?

Примерно как redis sorted set.

вряд ли

Я могу тупить, но, наверное, да.

И как же?

так в редисе сортед сет есть потому что нет сорта не?)

если только данные не изменяются от слова совсем... но и то очень .. неправильный кейс )

Да пофиг что там в редисе, так упомянул чтоб все поняли что я хочу )

Если нам нужно сделать SELECT y FROM foo where x=..., то можно создать составной bree-индекс по (x, y).

Но для идеального случая важно, чтобы еще и направлении сортировки совпало.

Проблема в том, что в запросе будут LIMIT и OFFSET. А еще GROUP BY.

спасибо за конфиг

пойду читать

Просто сортировать таблицу каждый раз выглядит туповатым занятием.