@hyper_0 будет жить. Поприветствуем!

@Alexandr_Semenenko будет жить. Поприветствуем!

изучаю индексы. Хочу оптимизировать сложный запрос. Запрос с фильтрацией по одному полю: user_id Запускаю с explain analyze его в psql. запрос идет 4 секунды. Запускаю еще раз, с другим user_id. Запрос идет гораздо быстрее. Тут нужен индекс или это кеш postgres?

статистику попробуйте обновить для начала

изучаю индексы. Хочу оптимизировать сложный запрос. Запрос с фильтрацией по одному полю: user_id Запускаю с explain analyze его в psql. запрос идет 4 секунды. Запускаю еще раз, с другим user_id. Запрос идет гораздо быстрее. Тут нужен индекс или это кеш postgres?

Запрос-то покажи?

изучаю индексы. Хочу оптимизировать сложный запрос. Запрос с фильтрацией по одному полю: user_id Запускаю с explain analyze его в psql. запрос идет 4 секунды. Запускаю еще раз, с другим user_id. Запрос идет гораздо быстрее. Тут нужен индекс или это кеш postgres?

Индекс есть на это поле? А почему время выполнения запроса должно быть тем же самым если условие изменилось? Тут нужно смотреть на селективность индекса.

изучаю индексы. Хочу оптимизировать сложный запрос. Запрос с фильтрацией по одному полю: user_id Запускаю с explain analyze его в psql. запрос идет 4 секунды. Запускаю еще раз, с другим user_id. Запрос идет гораздо быстрее. Тут нужен индекс или это кеш postgres?

Эта задержка может быть от чего угодно...

изучаю индексы. Хочу оптимизировать сложный запрос. Запрос с фильтрацией по одному полю: user_id Запускаю с explain analyze его в psql. запрос идет 4 секунды. Запускаю еще раз, с другим user_id. Запрос идет гораздо быстрее. Тут нужен индекс или это кеш postgres?

Может это быть и кэш данных.

А эксплейн-то что говорит?

изучаю индексы. Хочу оптимизировать сложный запрос. Запрос с фильтрацией по одному полю: user_id Запускаю с explain analyze его в psql. запрос идет 4 секунды. Запускаю еще раз, с другим user_id. Запрос идет гораздо быстрее. Тут нужен индекс или это кеш postgres?

Вообще да, время выполнения запроса -- это случайная величина. Особенно в многозадачной многопользовательской среде. НЕЛЬЗЯ судить об оптимальности запроса на основе времени его выполнения. (время может использоваться только как дополнительный критерий)

Какой, по-Вашему, первичный показатель оптимальности в многопользовательской среде?

Какой, по-Вашему, первичный показатель оптимальности в многопользовательской среде?

Объём IO

Потому что в него все обычно упираются? Почему не cpu или память?

Потому что в него все обычно упираются? Почему не cpu или память?

Потому что всё в IO упирается. Время одного IO в 100-10000 раз больше, чем любая операция в памяти

Добрый день! Подскажите пожалуйста как установить БД? Имею файлы .dat и .ddl скрипт. Все в кодировке win1251. Как установить бд в кодировке utf-8? Где почитать?

Потому что всё в IO упирается. Время одного IO в 100-10000 раз больше, чем любая операция в памяти

(это конечно если IO физическое. Но физическое IO невозможно посчитать, поэтому надо считать логическое)

Потому что всё в IO упирается. Время одного IO в 100-10000 раз больше, чем любая операция в памяти

Очень просто написать неоптимальный запрос, который съедает много cpu, при этом почти не потребляет IO

Очень просто написать неоптимальный запрос, который съедает много cpu, при этом почти не потребляет IO

ПОказатель IO у него всё равно будет высокий.

может, у вас просто медленные диски?

Очень просто написать неоптимальный запрос, который съедает много cpu, при этом почти не потребляет IO

Ну как бы IO -- дежурная метрика измерения оптимальности запросов везде , во всех СУБД. В Oracle -- время, но там не физическое время, а абстрактное гипотетическое приведённое время, расчитанное исходя из гипотетического времени выполнения всех операций. Но я кроме Оракла не видал, чтобы ещё где-то так заморачивались на эту тему, везде IO исопользуют и не парятся.

Кстати что в PG я уже и не помню.

У Оракла таки лучше идея

Добрый день! Подскажите пожалуйста как установить БД? Имею файлы .dat и .ddl скрипт. Все в кодировке win1251. Как установить бд в кодировке utf-8? Где почитать?

Получаю ошибку синтаксиса в положении "//"

подскажите простое решение initcap с апострофом

планировщик решает на условии ts > 'x' использовать seq scan. Но если переписать на ts between 'x' and now() появляется index scan. Куда копать в таких случаях? https://gist.github.com/gardster/9b1516a4c9331e9a1edd748b36538cb5

планировщик решает на условии ts > 'x' использовать seq scan. Но если переписать на ts between 'x' and now() появляется index scan. Куда копать в таких случаях? https://gist.github.com/gardster/9b1516a4c9331e9a1edd748b36538cb5

А что с селективностью?

запрос выгребет где-то четверть таблицы.

тогда index-tyan не нужны

планировщик решает на условии ts > 'x' использовать seq scan. Но если переписать на ts between 'x' and now() появляется index scan. Куда копать в таких случаях? https://gist.github.com/gardster/9b1516a4c9331e9a1edd748b36538cb5

А какой будет план если написать event_ts between '15-09-2018' and '06-10-2018' ?

А какой будет план если написать event_ts between '15-09-2018' and '06-10-2018' ?

планировщик прикинет что дешевле - по индексам вытащить или пройти последовательно. вангую что последовательно

А какой будет план если написать event_ts between '15-09-2018' and '06-10-2018' ?

seq scan

запрос выгребет где-то четверть таблицы.

Т.е. размер таблицы 200 миллионов записей?

чуть меньше, но да. 150 где-то

ну для выборки четверти таблицы последовательный поиск (особенно паралельный) действительно должен быть эффективнее. Возможно использование now() ен позволяет распаралеливать запрос.

запрос выгребет где-то четверть таблицы.

Посмотри в rows в explain в обоих вариантах

ну для выборки четверти таблицы последовательный поиск (особенно паралельный) действительно должен быть эффективнее. Возможно использование now() ен позволяет распаралеливать запрос.

со всякими тостами - не факт

чуть меньше, но да. 150 где-то

А сколько записей назад делали analyze?

analyze vull прямо перед explain'ом

now() - rows=52849962 ; '6-10-2018' - rows=3774997

Добрый день, коллеги, на сколько правильно так делать? UPDATE storehouse_remain r SET outgo = COALESCE( (SELECT SUM(iuu.weight) FROM storehouse_itemusage iuu WHERE iuu.item_id = r.item_id AND iuu.storehouse_id = r.storehouse_id AND iuu.type = 'u' AND iuu.created_at >= start_time AND iuu.created_at < end_time), 0 ) WHERE r.id = remain_id; У меня возникает много ShareLock-ов. Может стоит сперва получить значение, а потом обновлять таблицу remain? Update выполняется в функции.

now() - rows=52849962 ; '6-10-2018' - rows=3774997

Ага, now() не даёт паралелить запрос. А вот если заменить его на transaction_timestamp() , то думаю тоде будет выбран paralel seqscan

планировщик решает на условии ts > 'x' использовать seq scan. Но если переписать на ts between 'x' and now() появляется index scan. Куда копать в таких случаях? https://gist.github.com/gardster/9b1516a4c9331e9a1edd748b36538cb5

Ну и правильно решает, наверное... Планы скорее всего разные, потому что: \df+ now Parallel | restricted

эвоно как. Спасибо, буду знать. А как он внутрях работает? Во время транзакции он для каждого перехода по ветке в индексе будет вызывать now() снова и снова?

Ага, now() не даёт паралелить запрос. А вот если заменить его на transaction_timestamp() , то думаю тоде будет выбран paralel seqscan

А кстати: "now() is a traditional PostgreSQL equivalent to transaction_timestamp()." А parrallel у них почему-то разные. bug?

@RTamarov будет жить. Поприветствуем!

Добрый день, коллеги, на сколько правильно так делать? UPDATE storehouse_remain r SET outgo = COALESCE( (SELECT SUM(iuu.weight) FROM storehouse_itemusage iuu WHERE iuu.item_id = r.item_id AND iuu.storehouse_id = r.storehouse_id AND iuu.type = 'u' AND iuu.created_at >= start_time AND iuu.created_at < end_time), 0 ) WHERE r.id = remain_id; У меня возникает много ShareLock-ов. Может стоит сперва получить значение, а потом обновлять таблицу remain? Update выполняется в функции.

> У меня возникает много ShareLock-ов. Каких, на чём?

Добрый день! Подскажите пожалуйста как установить БД? Имею файлы .dat и .ddl скрипт. Все в кодировке win1251. Как установить бд в кодировке utf-8? Где почитать?

Ребят, посмотрите вопрос. Наверняка элементарно, но просто начал разбираться, а тут все о высоких материях...

Ребят, посмотрите вопрос. Наверняка элементарно, но просто начал разбираться, а тут все о высоких материях...

> Имею файлы .dat Что это? > и .ddl скрипт. А это? Где Вы всё это взяли? ;)

Древняя советская бд

Советская, в win-1251 o_0 всё-таки где-то в НИИ была машина времени.

Ребят, посмотрите вопрос. Наверняка элементарно, но просто начал разбираться, а тут все о высоких материях...

1. перестаньте хотеть постгрес на винде; 2. почитайте документацию по установке на выбранный дистрибутив; если без винду не могёте, установите MS Windows Subsystem for Linux;

Древняя советская бд

Что за бд, и откуда уверенность, что cp1251?

И где cp1251: в данных, коде, или в вашей системе.

Что за бд, и откуда уверенность, что cp1251?

Ну может и не ср1251, но блокнот в этой кодировке все хорошо видит, без краказябр

Что вы видите в этой кодировке?

https://habr.com/post/351658/ возможно вам поможет

Т.е. данные выгружены непонятно в каком формате. ПрЭлестно! ПрЭлестно! Нанимайте специально дрессированного человечка, который в такое умеет.

А что с ddl никто дела не имел?

А что с ddl никто дела не имел?

data definition language?

Я своим делетантским умом предполагаю, что это схема бд описана, а в файлах dat сами данные.

Вроде как вроде файлы .ddl устанавливаются также как .sql

Но у меня что то на '//' угается psql

Вроде как вроде файлы .ddl устанавливаются также как .sql

но не в postgres. Это data definition от какой-то другой БД

Поменяй // на -- — может поможет ;)

но не в postgres. Это data definition от какой-то другой БД

Дык язык то вроде стандартный

Поменяй // на -- — может поможет ;)

Это не шелл. // надо менять на — два дефиса, ибо комментарий.

Дык язык то вроде стандартный

Какой язык? Посмотрите базовые конструкции диалекта ПГ.

Это не шелл. // надо менять на — два дефиса, ибо комментарий.

Сейчас попробую

Дык язык то вроде стандартный

Судя по скрину, вовсе нет

Сейчас попробую

Не пробовать надо, а изучать продукт, который предполагается использовать.

Какой язык? Посмотрите базовые конструкции диалекта ПГ.

Ddl

Судя по скрину, вовсе нет

Судя по вопросам, человек что-то грузит в ПГ, и у него на // загрузка ломается.

Ddl

Это не язык.

Не пробовать надо, а изучать продукт, который предполагается использовать.

У нас тут все на соплях

Это не язык.

Да?

У нас тут все на соплях

Страдайте в таком случае. От необходимости изучать продукт данный факт не избавляет никаким образом.

Да?

Да. ВНЕЗАПНО!

Да. ВНЕЗАПНО!

Сергей: data definition language?

@hyper_0 где вы эти файлы взяли ?

туда и идите :)

на правах шутки :)

@hyper_0 где вы эти файлы взяли ?

В аналах истории