Мы имеем 100к и 2М строк сейчас

и если оно в work_mem не поместится, он пойдёт сразу в диск

Вроде выборка по индексу от воркмем не зависит?

тебе провести эксперимент - полторы команды набрать

вдруг моя интуиция меня подводит и я всем тут нагло вру, а дело на самом деле в const int knn_sort_limit = 630;

Поскольку SET work_mem = '40MB'; ни на что не повлиял, дело видимо именно в нем

Спасибо, я получил ответ

набрал в консоли set work_mem to off; — видимо, завтра на работу идти ещё рано

const int knn_sort_limit = 630; - а где она определена?

Поскольку SET work_mem = '40MB'; ни на что не повлиял, дело видимо именно в нем

set enable_sort to off; меняет косты?

Теперь работает кажется с любым LIMIT

При больших значениях правда оч. медленно, но но по индексам) В принципе теперь понятно почему 630 по умолчанию

какое "630" по умолчанию?

нет умолчаний

есть генетический планировщик

const int knn_sort_limit = 630;

а так там даже work_mem на sort не хватает

Мааагия. Ну твоя телепатия )))

const int knn_sort_limit = 630;

я не ожидал, что ты не будешь готов к такой шутке

Ну я же нуб, мне простительно

в постгресе cost-based optimizer. у любого узла в плане есть кост. план меняется, если кост какого-нибудь узла поменялся, или план перестал влезать в память

По опции enable_sort доки не нашлось. Я правильно понял что оно просто запрещает сортировку на диске/в памяти?

И поэтому слон не может отказаться от сортировки не по индексам, даже если считает это правильным

это отладочная опция, её нельзя в продакшен

она для проверки, существует такой план или нет

если нет, он всё равно будет использовать сорт, просто у него кост будет многомиллиардным - и это сразу вылезет в explain

@Archeebald индекс завёл?

какой? в принципе во второй таблице индекс итак есть

мне пока что кажется, что индекс по btree (sub) where name='address' по второй таблице сделал бы из мержа seq scan на апдейт + index scan, и это было бы, возможно, быстрее мержа

ааа.. я это вообще не понял ? Поэтому решил по самому простому пути пойти :)

Сейчас в мануалы окунусь

По опции enable_sort доки не нашлось. Я правильно понял что оно просто запрещает сортировку на диске/в памяти?

random_page_cost какой? винт - ssd или hdd?

cost 4 винт ssd

объявлен режим повышенной опасности, два параллельно отлаживающихся запроса!

cost 4 винт ssd

выставь в 1.01

Это повысит предпочтительность работы по индексам вместо сек-скана?

да, он считает, что лучше прочитать в 4 раза больше данных, но последовательно, чем рандомно

оптимизация под блинчатые винчестеры

завтра масленица)

всем сексканов

завтра масленица)

мяу!

Теперь у меня предел по лимит < 500

Интересная магия творится

@den1970 ...ничего, потом ты cte уберёшь и окажется, что твой запрос и дальше оптимизировать можно :)

Да он не нужен уже сейчас

Но на план уже не влияет

index по where name ='address' будет одним из множества. Там полей 15 перевозить буду. Скорость увеличилась в 2 раза. Уже хорошо. Всем, а особенно @Komzpa спасибо за этот забег вместе со мной

Продолжаю делать тест, посмотрите плиз что он от меня хочет Select    name FROM customer1 WHERE EXTRACT(ISODOW FROM birthday) IN (1,5)       AND name ILIKE 'b%' UNION ALL SELECT     name FROM employee WHERE EXTRACT(ISODOW FROM birthday) IN (1,5)       AND name ILIKE 'b%' Вопрос по этому запросу с целью сделать быстрее what do you think about following part in where? name between "b" and "b" and name between "B" and "B" Are there some advantages? Are there some disadvantages? Could you do some execution time estimates? Could you compare it with your solution? 

Продолжаю делать тест, посмотрите плиз что он от меня хочет Select    name FROM customer1 WHERE EXTRACT(ISODOW FROM birthday) IN (1,5)       AND name ILIKE 'b%' UNION ALL SELECT     name FROM employee WHERE EXTRACT(ISODOW FROM birthday) IN (1,5)       AND name ILIKE 'b%' Вопрос по этому запросу с целью сделать быстрее what do you think about following part in where? name between "b" and "b" and name between "B" and "B" Are there some advantages? Are there some disadvantages? Could you do some execution time estimates? Could you compare it with your solution? 

кто "он"?

Дарафей, все привыкли что ты экстрасенс)

Интересная магия творится

а там параллельно никто таблицу не апдейтит? статистика по ней свежая? (vacuum analyse table;)

Да не, я ее как нафигачил тестовыми данными, так она и лежит)

Запрос пока пишется, ему далеко до прода

Продолжаю делать тест, посмотрите плиз что он от меня хочет Select    name FROM customer1 WHERE EXTRACT(ISODOW FROM birthday) IN (1,5)       AND name ILIKE 'b%' UNION ALL SELECT     name FROM employee WHERE EXTRACT(ISODOW FROM birthday) IN (1,5)       AND name ILIKE 'b%' Вопрос по этому запросу с целью сделать быстрее what do you think about following part in where? name between "b" and "b" and name between "B" and "B" Are there some advantages? Are there some disadvantages? Could you do some execution time estimates? Could you compare it with your solution? 

он хочет, чтобы ты посмотрел на explain

и сказал в чём разница ILIKE и between 'b' and 'b'

И анализируется на предмет его возможностей в плане объема перевариваемых данных

И анализируется на предмет его возможностей в плане объема перевариваемых данных

а что он делает по сути, юзерам в профили задачи распихивает?

или задаче - юзеров?

Продолжаю делать тест, посмотрите плиз что он от меня хочет Select    name FROM customer1 WHERE EXTRACT(ISODOW FROM birthday) IN (1,5)       AND name ILIKE 'b%' UNION ALL SELECT     name FROM employee WHERE EXTRACT(ISODOW FROM birthday) IN (1,5)       AND name ILIKE 'b%' Вопрос по этому запросу с целью сделать быстрее what do you think about following part in where? name between "b" and "b" and name between "B" and "B" Are there some advantages? Are there some disadvantages? Could you do some execution time estimates? Could you compare it with your solution? 

Никита, а какие строки могут быть на входе у ILIKE?

А ты проницателен

это чем-то напоминает виртуальное взятие флага в гонках по форме

Никита, а какие строки могут быть на входе у ILIKE?

Предположу что можно оптимизировать функциональным индексом по LOWER, либо даже просто по LOWER(первый символ строки)

Write SQL query to create one list of people from two independent tables -  CUSTOMER and EMPLOYEE, who have birthday on Monday or Friday and their name begins on "b", both small and capital.  Please take you time and write best query (shortest execution time on large datasets) you can, do not use subqueries. Describe also indexes needed to achieve highest performance. 

Вот само задание

Тестовое задание что ли?

Я по разному сделал, сделал тест на 1 млн

Угу

ой

а зарплатой поделишься? :)

Да делай функциональный индекс по выражению name ILIKE 'b%'

Да я сделать не прошу, может просто кто-то подскажет в какую сторону смотреть и почему так

это точно не будет самым быстрым

Без индексов

проще всего в постгресовый код посмотреть и прикинуть сложность каждой функции

иногда там находятся неожиданные костыли под редкие кейсы

это точно не будет самым быстрым

Почему? селективность слишком низкая?

Пока что у меня на первом месте идет left(name,1) in ('b','B') это же лучше like?

@Komzpa для информации. Не знаю почему, но план показывал 25 минут, а фактически за 2-5 минут отрабатывает.

потому что есть решения шустрее, смотри соседний тред с Артуром для намёков :)

а можно мне тоже такое задание? :)

а то я там пару финтов знаю, как тексты ускорять (я просто читал ченжлоги постгреса)

Я же сбросил задание

но ты не сбросил, откуда ты его взял :)

Да я общаюсь с рекрутером, работа в офисе в минске. Он на емаил скидывает дополнения.

>но план показывал 25 минут нет. план показывает в попугаях

а неужели так сложно сделать составной индекс по первой букве и возрасту и написать запрос, который этот индекс эксплуатирует?

ну потом надо непременно послать нахуй мудака, который придирается

Блин, сказал без индексов

иначе не стоит оно страданий недельных

БЕЗ ИНДЕКСОВ!?

так шли нахуй сразу

сиди запросы ему пиши для nosql

Я так понял надо обьяснить физически принцип работы like и between и почему они лучше хуже

Евгений, ты не первый кто мне советует так сделать)

я ничего не советовал про лайк