@Sorjo будет жить. Поприветствуем!

@effrenus будет жить. Поприветствуем!

подскажите если у меня есть в поле hstore хэшик { "1" => "242", "2" => "52", "5" => "151", "6" => "" } - в нем ключи есть всегда а значений может не быть, как тогда найти количество хэшей где value = "" например у 6ого ключа

@wisemant будет жить. Поприветствуем!

Доброго времени суток Подскажите допустимо ли выражение ''' new.extract(month from date)'''

И если нет как его изменить в функции?

И если нет как его изменить в функции?

По идее, недопустимо... а откуда Вы его взяли?

И если нет как его изменить в функции?

extract(month from new.date)? Но это первое, что пришло в голову, я не проверял.

Да, уже решил, спасибо)

@Belyashick будет жить. Поприветствуем!

Yaroslav в общем-то нагенерировал 3.2 млн. артикулов.

сделал ещё один индекс, т.к. вылетело из головы что FK в PostgreSQL не создает индекса.

Yaroslav в общем-то нагенерировал 3.2 млн. артикулов.

И что получилось? Какой размер базы? Вы настройки меняли, кстати?

менял, коннекты поставил 50 и все

остальное такое-же

менял, коннекты поставил 50 и все

А ведь было же что-то ещё... ;) Так размер-то какой?

и к слову поднимал до 8 гб и 4 ядер ресурсы (и конфиг тоже под неё), но разницы в производительности нету. сейчас гляну размер

2297 Мб

2297 Мб

Т.е. в память это должно влезать. Поднимите cpu_tuple_cost до 0.1, всё же. Затем, покажите актуальную схему и запрос(ы). :)

я поднял уже

Мне там, кстати, в Вашей схеме ещё что-то не нравилось, я помню... но лучше снова посмотреть. :)

я поднял уже

Ах да, "VACUUM ANALYZE;" вы сделали?

да, делал

да, делал

Ну так покажите схему и запросы. Можно без планов, пока.

секунду

https://pastebin.com/ytr5HxUH

вот те таблицы которые фигурируют

Хорошо, дайте посмотрю...

запрос: https://pastebin.com/RNjYEuZM explain: https://explain.depesz.com/s/HsLR

запрос: https://pastebin.com/RNjYEuZM explain: https://explain.depesz.com/s/HsLR

Зацепился, пока просматривал схему: created_at | timestamp without time zone Не делайте так. https://wiki.postgresql.org/wiki/Don%27t_Do_This#Don.27t_use_timestamp_.28without_time_zone.29

спасибо за совет) прощелкал это

запрос: https://pastebin.com/RNjYEuZM explain: https://explain.depesz.com/s/HsLR

> ORDER BY spso.price LIMIT 30 Помните совет про недетерминированные запросы? ;)

я помню, но не понимаю как мне избавиться. если я добавляю order by id в конце, тогда производительность проседает

и тем более, именно в данном случае запрос как по мне довольно таки быстро отрабатывает

или нужно составной индекс делать, price, sku_id?

я помню, но не понимаю как мне избавиться. если я добавляю order by id в конце, тогда производительность проседает

Ну а Вам в каком порядке нужно, если некоторые цены совпадают? От этого же зависит.

честно говоря, скорее всего на shop_product_sku будет столбец вроде total_sales_last_month и по нему будет сортировка

или хотя б просто total_sales

ну тогда выборка не детерминированная тоже будет) вдруг и total_sales совпадет)

запрос: https://pastebin.com/RNjYEuZM explain: https://explain.depesz.com/s/HsLR

Ну ладно, отставим сортировку в сторону, пока что. И это план не от этого запроса. :) Так что покажите EXPLAIN (ANALYZE, BUFFERS) SELECT ...

https://pastebin.com/raw/pyb2sSPP

вот, заново воспроизвел и запрос, и аналайз к нему как вы просили. там действительно чуть разные запросы были, прогнал

А можете тот же запрос, но без "ORDER BY spso.price LIMIT 30" показать (интересно, сколько там всего по этим условиям, т.е. селективность индексов)?

https://pastebin.com/hjPpbqZb

https://pastebin.com/hjPpbqZb

Эээ... без LIMIT.

Из-за LIMIT не видно, сколько там всего rows по каждому из условий, вот в чём дело...

вот, заново воспроизвел и запрос, и аналайз к нему как вы просили. там действительно чуть разные запросы были, прогнал

А давайте попробуем: CREATE INDEX ON public.shop_feature_brand_sku(feature_value_code, sku_id); CREATE INDEX ON public.shop_feature_cores_sku(feature_value_code, sku_id); CREATE INDEX ON public.shop_feature_ram_sku(feature_value_code, sku_id);

вот, заново воспроизвел и запрос, и аналайз к нему как вы просили. там действительно чуть разные запросы были, прогнал

И да, почему у Вас: SELECT sps.id, spso.price, sp.url -- spso.seller_id нет Хотя в shop_product_sku_offer PRIMARY KEY (sku_id, seller_id) Т.е. seller Вам тут не важен?

щас, секунду)

https://pastebin.com/K6Rqkj1y

вот без лимит и без ордер

вот без лимит и без ордер

Ага, спасибо, смотрю...

по поводу seller, не совсем понял вопрос. вообще, в идеале хотелось бы так сделать: 1. выбрать все артикулы, где цены минимальная для каждого артикула (group by sps.id) order by min(spso.price) 2. и выбрать название селлера для этого артикула, shop_seller.name

это все включая те сортировки и фильтрации что уже есть

по поводу seller, не совсем понял вопрос. вообще, в идеале хотелось бы так сделать: 1. выбрать все артикулы, где цены минимальная для каждого артикула (group by sps.id) order by min(spso.price) 2. и выбрать название селлера для этого артикула, shop_seller.name

Так я и говорю, что seller у Вас в запросе почему-то не выбирается. :)

ну потому что по нему тоже груп бай надо делать, или через аггрегацию брать FIRST() или как-то так, не помню точно

и запрос тогда получается супер медлительный

прям по 10 секунд)

И это будет совсем другой запрос, да. :) Эта штука примерно называется groupwise maximum, и для него в PostgreSQL есть 3 рабочих подхода: . LATERAL JOIN . DISTINCT ON . rCTE — но это в крайнем случае, т.к. выглядит страшно, и, по факту, workaround для отсуствия loose indexscan в PostgreSQL. ;)

ERROR: S client not available

не придумал пока как написать запрос чтобы сгруппировать по артикулам, выбрать MIN(sps.price), и для него сответствующего селлера.

ну он может быть быстрым?

я могу сделать денормализацию и выкинуть min_price в shop_product_sku отдельным столбцом

но денормализацию хочу делать в самый последний момент

ну он может быть быстрым?

Может, см. выше. Дайте я Вам кое-что покажу (это я просто развлекался с написанием всех возможных способов): https://pastebin.com/wLs7w8aW

Естественно, по ссылке тоже лучше почитать. ;) И да, если кто-то покажет ещё какой-то способ (пофиг на производительность), буду благодарен. :)

я могу сделать денормализацию и выкинуть min_price в shop_product_sku отдельным столбцом

Эээ... только заметил, а как Вы собираетесь выбирать минимальную цену? У Вас валюты-то разные! ;)

валюты одинаковые.

там есть задел на мультивалютность, но пока, вряд ли будет функционировать это все. поэтому пока одна валюта будет

А, я просто увидел вот это: shop_product_sku_offer.currency_code Короче говоря, лучше сначала написать правильный запрос, а потом уже с его производительностью разбираться.

да, есть такое, это референс на таблицу с валютами, но пока всего будет одна валюта

честно говоря, ни совсем понимаю по поводу CTE, Lateral join и вижу это впервые. есть какая-то годная книжка?

ну cte юзал пару рас)

рекурсивно для выборки дерева категорий

но это такое.

Так вот... > Выбрать все артикулы, где цены минимальная для каждого артикула (group by sps.id) order by min(spso.price) Что конкретно значит? Вам нужны все товары с указанными свойствами, а уже по ним минимальные цены (30 штук)? Или же 30 товаров с указанными свойствами, по порядку возрастания минимальной цены среди selller-ов?

честно говоря, ни совсем понимаю по поводу CTE, Lateral join и вижу это впервые. есть какая-то годная книжка?

Вы мой paste смотрели? Там примеры есть, для всех вариантов...

примеры то примеры, а понимания как это работает и когда использовать - нет.

А так, есть документация... по книгам не подскажу. :(

мне нужно взять товары, для каждого из них может быть один или несколько селлеров, в идеале там будет цена retail и wholasale, я должен взять минимальную цену из wholasale (т.е. самую низкую цену на этот товар MIN(wholasale_price)), взять самую высокую розничную (MAX(retail_price)) и выбрать имя селлера с самой низкой ценой (тот который попал в MIN(wholasale_price)), и потом отсортировать по самой низкой wholasale_price, обрезать до 30 строк

как-то так

другими словами, сами селлеры будут в карточке товара выводится, а во всех каталогах мне всегда нужна только самая низкая цена и селлер, который дает эту цену для артикула.

за paste спасибо, гляну)

я вас наверное уже запутал с этими ценами, и прочим)) просто структура четка не определена пока что, т.к. не совсем понимаю как её сделать правильно, а чтобы сделать правильно, нужно начать делать и по чуть чуть писать запросы, чтобы понимать какие есть трудности у такой структуры. поэтому приходиться двигаться змейкой)

я вас наверное уже запутал с этими ценами, и прочим)) просто структура четка не определена пока что, т.к. не совсем понимаю как её сделать правильно, а чтобы сделать правильно, нужно начать делать и по чуть чуть писать запросы, чтобы понимать какие есть трудности у такой структуры. поэтому приходиться двигаться змейкой)

Да, есть немного. ;)

а кроме таймзон и uuid в целом структура нормальная?

а кроме таймзон и uuid в целом структура нормальная?

Да с виду ничего особо страшного пока нет. В shop_feature_brand_sku.feature_value_code NOT NULL забыли. ;)

да, но на самом деле эти таблицы будут создаваться приложением.

на основании типа который используется