а как мгновенный каунт живёт в транзакциях?

table level locks, darling ?

я не могу сделать каунт, пока кто-то вставляется?

да

теперь мне нравится эта шутка :)

но для read-only данных myisam — не storage, а конфетка! сжатие, fulltext, r-tree индексы, минимальный space amplification!

копирование таблиц на физическом уровне одним файлом!

это прямо cstore_fdw какой-то!

да, что твой cstore_fdw!

хотя, rtree

это похоже на шейпфайл!

вот сейчас непонятно было. но я на всякий случай согласен!

https://en.wikipedia.org/wiki/Shapefile

Нет, но btree myisam тоже умеет!

ребят Привет. расскажите, зачем нужны красночерные деревья и в чем их преимущества по сравнению с другими?

зачем там цвета

привет, а где в постгресе используются красночёрные деревья?

ну это скорее общий вопрос про алгоритмы

не в курсе точно как реализованы индексы в постгресе, но вроде как на Б дереве

а ответ на твой вопрос не содержится прямо в википедии?

я бы сказал не гуглятся вопросы типо "зачем нужно" "какие преимущества" и тд

в чем суть цветов и зачем они нужны

ответ на него хорошо искать из текста википедии начиная с самого определения

в определении иногда содержатся свойства, которыми нечто обладает

и тогда "зачем нужно что-то" можно найти, например, среди свойств

честно говоря, второе предложение в википедии отвечает на твой вопрос

Красно-чёрные деревья — это один из первых шагов на пути развития мысли «как бы нам сделать структуру для поиска, гарантированно эффективную по чтению». Просто бинарные деревья плохи тем, что не сбалансированы, нет гарантий скорости поиска, может быстро дойдём до листа, а может и долго. Красно-черные — есть гарантия, но вылезают проблемы что на балансировку оверхед заметный. Дальше придумали АВЛ-деревья, тоже бинарные но уже «почти сбалансированные», то есть высота до разных листьев отличатся не более чем на 1. Погуглите, насколько помню, это три русские фамилии, АВЛ. А дальше придумали уйти от бинарщины и делать много дочерних вершин. Появилась свойство «сильноветвистое», это как раз Б-дерево, оно в общем случае подошло большинству и надолго стало королём СУБД

Красно-чёрные деревья довольно часто можно встретить в жизни. Например, плюсовый stl хранит так почти все контейнеры.

В postgres красно черные деревья тоже есть https://github.com/postgres/postgres/blob/master/src/backend/lib/rbtree.c

В postgres красно черные деревья тоже есть https://github.com/postgres/postgres/blob/master/src/backend/lib/rbtree.c

Не знал, интересно. Похоже для gin они там

Не знал, интересно. Похоже для gin они там

Да, используются только в gin

Раньше ещё в knn-gist использовались. Но потом заменили на pairing heap, который оказался быстрее в данном применении.

Задача: есть таблица с координатами точек (тип tvector одной размерности) , нужно по заданной точке найти ближайшую из таблицы, вектор имеет размерность 128

что если сделать PCA чтобы уменьшить размерность, натянуть на новый вектор какой-то куб ртрии и потом дофильтровывать более точным алгоритмом уже меньшую часть данных?

что если сделать PCA чтобы уменьшить размерность, натянуть на новый вектор какой-то куб ртрии и потом дофильтровывать более точным алгоритмом уже меньшую часть данных?

Сколько будет итераций по приближению?

зависит

надо думать то есть

пару пдфок прочитать

Функций агрегатных для этой задачи нет?

По минимуму расстояния для tvector?

чото я запутался с векторами и точками

Координаты точки в 128 мерном пространстве заданы массивом tvector

у тебя есть 128 мерное пространство координат и тебе надо найти ближайшую точку к какой-то другой?

ага

так вот, логика какая. тебе надо knn-gist у которого проблемы с такими размерностями

значит надо попробовать итеративно размерности убивать до приемлимых (4-5)

значит если я правильно посчитал, тебе надо 3 прыжка в размерности 5 5*5*5 = 128

но у нас точно есть более умные люди тут которые gist программируют

и лайфхачик может подскажут

так вот, логика какая. тебе надо knn-gist у которого проблемы с такими размерностями

Спасибо за направление

а какие проблемы у knn-gist на этой размерности?

я думаю там mbr будут такие, что секскан

тогда spgist вроде подойдёт?

Чем больше число координат, тем хуже работает R-tree.

На 128-координатах, боюсь, не будет особо работать вообще.

ага, а knn в spgist не вкоммичен

Исключение, если данные сильно скоррелированы.

Да с sp-gist тоже самое примерно.

Ты же не сделаешь сплит в sp-gist по всем измерениям сразу.

Потому что тогда будет 2^128 дочерних узлов.

Придётся сплитить по отдельным измерениям на разных уровнях.

И всё равно поиск будет вырождаться практически в seq scan.

Исключение, если данные сильно скоррелированы.

если данные сильно скоррелированы, им и размерность можно подрезать

Да, можно подрезать, это был бы наилучший вариант.

ну вот я это и предлагаю

Задача: есть таблица с координатами точек (тип tvector одной размерности) , нужно по заданной точке найти ближайшую из таблицы, вектор имеет размерность 128

а какая физика под задачей?

что за координаты?

что будет, если просто потерять 125 из них?

Я довольно много статей прочитал про индексирование в пространствах больших размерностей. Везде суть сводится к следующему: "в таком-то частном случае задачу можно решить, а в общем случае всё плохо".

Задача: есть таблица с координатами точек (тип tvector одной размерности) , нужно по заданной точке найти ближайшую из таблицы, вектор имеет размерность 128

а сколько точек?

Я довольно много статей прочитал про индексирование в пространствах больших размерностей. Везде суть сводится к следующему: "в таком-то частном случае задачу можно решить, а в общем случае всё плохо".

так может сделать кучку разных сплитов? чтобы можно было выбирать

а что если тупо в лоб посчитать гипотенузу в numeric?

а какая физика под задачей?

Физически точка это состояние системы (координаты, скорости, фазовые координаты и другие параметры) , да некоторые параметры скорее всего имеют корреляцию

вот нашёл ты эту строку, что ты потом по ней добываешь?

а сколько точек?

Точек много, там решение системы дифф. уравнений с переменным шагом

так может сделать кучку разных сплитов? чтобы можно было выбирать

В том числе и с этой целью мы делаем параметры для operator class'ов. Чтобы opclass мог задавать набор параметров, а для конкретного индекса можно было эти параметры задать. В том числе алгоритм сплита можно будет так задавать.

Физически точка это состояние системы (координаты, скорости, фазовые координаты и другие параметры) , да некоторые параметры скорее всего имеют корреляцию

огонь, разложится

вот нашёл ты эту строку, что ты потом по ней добываешь?

Нужно найти ближайшие состояния для классификации решений

так может просто классификатор какой обучить? https://madlib.apache.org/docs/v1.10/group__grp__pca__train.html

че-то мне кажется задача нее для БД

ну если надо много-много раз спросить "а кто тут ближайший" и быстро узнать в ответ, то очень даже

индекс же где-то надо строить

с другой стороны, может тут классификацию решений надо по-другому делать

ну, вдруг человек найдёт себе достаточную линейную аппроксимацию и будет у него одна строчка кода или decision tree сгенерит и окажется она достаточно хорошей и будет у него гроздь ифов

да

так может просто классификатор какой обучить? https://madlib.apache.org/docs/v1.10/group__grp__pca__train.html

Похоже это я искал, даже если не буду бд использовать, то поход мне очень нравится

главное в градиентный бустинг не лезь

а то потеряем человека

Ход решения задачи: 1. Выделить главные координаты и уменьшить размерность до их количества 2. Имеем ту же задачу, но уже с меньшей размерностью

https://www.depesz.com/2016/01/10/waiting-for-9-6-cube-extension-knn-support/

Подскажите есть по оракл дб группа подобная?

https://www.depesz.com/2016/01/10/waiting-for-9-6-cube-extension-knn-support/

Да, и в 9.6.7 даже починили :)

уже и 11 скоро!

Подскажите есть по оракл дб группа подобная?

https://t.me/oracle_ru

Привет! Подскажите куда гуглить? pg_dump у всех таблиц и обьектов делает префикс "public." . Как сказать pg_dump его не добавлять? Точно знаю что версия 10.2 так не делает, но сейчас для jessie я могу только 10.3 поставить, а там снова добавили по умолчанию вывод прификса этого. 9.6.x тоже прифекс этот добавляет по умолчанию