дык на вершине дерева все равно будет один процесс

Так наверно надо сначала сбалансировать.

все запросы будут через него течь

если данные не мутабельные можно попробовать сгенерировать модули на основе данных, и тогда они будут доступны сразу для всех процессов

Роутеров может быть несколько с балансировкой между ними рандомным выбором из списка. Но это даже будет неактуально, поскольку процесс роутинга должен быть очень быстрым, значительно быстрее, чем поиск в поддереве.

если дерево большое да и еще балансироваться будет то в отдельный С процесс его и через порт

вот короче https://github.com/SenecaSystems/red_black_tree

Короче забью наверное пока на это дело, пусть сидит в одном процессе

в целом поиск должен быть очень быстрым, даже на эликсире

и долгой вставка, как я понял

количество элементов в районе сотни тысяч

потому что после каждой будет перебалансировка

вставка в бинарное дерево тоже быстрая

перебалансировка достаточно дешева для красно-черного дерева

а вопрос то , собственно, в чем?

кроме того оно строится один раз

в параллельной обработке?

да

так вот же tree = RedBlackTree.new([1 => :bubbles]) эту хрень 'tree' не пробовал в еts засунуть?

вставки или поиска

зачем?

Сделать сбалансированное дерево лучше на мутабельной структуре. А потом (через порт) принять уже готовое дерево и распилить его между процессами для распараллеливания поиска.

Да на кой черт тебе конкретное дерево, положи данные в ets и все. Там есть seq scan, для нее можно сделать вторую етс как вторичный индекс

Да на кой черт тебе конкретное дерево, положи данные в ets и все. Там есть seq scan, для нее можно сделать вторую етс как вторичный индекс

+1

как потом доставать? если элементы слишком сложные

ключи точнее

кроме того данные в бинарном дереве отсортированы по ключу

Дерево нельзя нарезать между процессами, потому что его надо перебалансировать.

как? ведь ключи очень сложные

операция сравнения ключей есть

нет операции построения хеша и равенства

которую ты в виде функции передать должен?

да

в той реализации RB-дерева можно такую функцию дать

вычисли по этой функции значение и сделай ключем

Дерево нельзя нарезать между процессами, потому что его надо перебалансировать.

дерево строится один раз при запуске, потом только читать

Да забей вообще. Положи в ордсет, который индекс, результаты функции ключа и все

вычисли по этой функции значение и сделай ключем

каким образом? функция принимает два ключа и возвращает 1, 0, -1

да. действительно. ведь сеты есть

что это?

типа сортированный массив?

если ключей несколько - так и делаешь ключ - рекорд таблицу

каким образом? функция принимает два ключа и возвращает 1, 0, -1

Она все равно сравнивает какие-то проекции данных. Вот упихай эту проекцию в тапл, получится ключ для етс, нет?

искать по нескольким ключам - потом делаешь пересечение сетов и резалт вам пожалуйста

искать по нескольким ключам не нужно

даже несколько может быть

ну как же ключ то сложный

Она все равно сравнивает какие-то проекции данных. Вот упихай эту проекцию в тапл, получится ключ для етс, нет?

там все немного сложнее

ну как же ключ то сложный

сложный ключ, в смысле не состоящий из нескольких ключей, а в смысле внутренняя структура сложная

ключи могут быть бинарно разными, а логически считаются одинаковыми

ну. построй дерево из списка списков. или мапы в мапах

как построить дерево я и сам знаю, проблема только в совместном доступе

походу в эрланге это невозможно

и в эликсире соответственнл

да. невозможно

я походу занимаюсь преждевременной оптимизацией

операция сравнения недешевая, но с другой стороны сто тысяч элементов не так уж и много

а по какому принципу идет поиск в таком дереве? по какому ключу?

ну вот допустим, по некоей функции ты построил дерево

по той же функции и ключ обработал и в дерево пошел?

тебя интересует как работает бинарное дерево?

на пальцах

для работы бинарного дерева достаточно определить функцию которая может точно сказат меньше ли один ключ, чем другой

при вставке, вставляемый ключ сравнивается с уже вставленными ключами

таким образом находится место для него, туда и втсавляется, потом балансируется

также происходит и поиск

ну там направлений получается два

ERROR: S client not available

в случае же ets для каждого ключа вычисляется хеш

а такое вот если. это не оно? http://erlang.org/doc/man/gb_trees.html

такое тоже подойдет, но это не решает проблему параллельного доступа

на чтение?

да

либо забить на параллельность, либо пилить некое расширение

ключи могут быть бинарно разными, а логически считаются одинаковыми

ты точно не можешь материализовать ключа?

точно не могу

печально быть тобой

да, задача извратная

можно перевразироват

есть скажем сто тысяч признаков

я не уверен, конечно. но вроде в ets это не ерлангово решается через общую память и мутексы(на запись). поправьте, если я что-то напутал

и есть тучи сущностей, нужно очень быстро определять какой из признаков соответствует этим сущностям

что-то вроде определеня к какой группе относится товар

ну так и делается признак1 - сущности1, признак2 - сущности2. потом сущности1 и сущности2 - это сеты. делаешь их пересечение и получаешь результат

я не уверен, конечно. но вроде в ets это не ерлангово решается через общую память и мутексы(на запись). поправьте, если я что-то напутал

да,похоже не эрлангово. мутексы особо не нужны, так как дерево создается один раз, в начале

сущности все время разные их может быть миллионы

заранее создать сеты невозможно

а как тебе дерево поможет найти одну сущность? их же может получиться несколько

мне нужно искать не сущности, а признаки

заранее создать сеты невозможно

дерево заранее создать можно, а сеты - невозможно почему-то

мутная какая-то задача у тебя

да, задача нетривиальная

давай перефразирую

есть товары

придется тебе идти в SQL

у товаров куча полей, которые могут быть в разных комбинациях

это вот не правильно даже с точки зрения SQL )))

количество полей - в реляционных таблицах - фиксировано как бы

я должен очень быстро, опираясь на эти вот свойства товаров определить к какой группе он относится

количество полей - в реляционных таблицах - фиксировано как бы

никто не мешает создать какое-нибуть json-поле