не понял вопрос

Аккумулу смотрел?

неа

щя гугльну что это

неа

Apache Accumulo + Geomesa

а hadoop

щя гугльну что это

Начинай с геомесы, это ядро. Аккумуло просто столбцовая БД, в которой все хранится

ребят вы же знаете как там достигается performance да?

а hadoop

Можно без

ребят вы же знаете как там достигается performance да?

Через боль и страдания)

я сделал на 400к - 1-2 сек!

на монго!

я сделал на 400к - 1-2 сек!

Не это ты крут, никто не спорит))))

дальше потом правда у клиента будет база на 10м

вот там шардинг уже пойдет. главное ключ удачно подобрать

ибо сей дивный pipeline работает с sharding )))

вот там шардинг уже пойдет. главное ключ удачно подобрать

А это...эээ...короче на базе постгри?

дальше потом правда у клиента будет база на 10м

Решение крутое, но может выкинуть нахрен монгу ?)

Решение крутое, но может выкинуть нахрен монгу ?)

+

ибо сей дивный pipeline работает с sharding )))

Расшарь для всех)))

Да ну вас, человек, по сути, создал новый продукт)

Решение крутое, но может выкинуть нахрен монгу ?)

microservice api завязка. там plain documents нет зависиомстей. нафига мутить SQL?

Расшарь для всех)))

сделаю! там надо теперь навести красивости - подержка 2d, сферических , points, regions

вот это все красиво обработать

microservice api завязка. там plain documents нет зависиомстей. нафига мутить SQL?

ну вот из моего личного опыта с ростом числа документов монге становится совсем плохо. удаление монги сильно решает проблему. куда смотреть - по специфике приложения.

и можно пулять патч в монго

сделаю! там надо теперь навести красивости - подержка 2d, сферических , points, regions

3д, нафига твое 2д нужно?

3д, нафига твое 2д нужно?

зависит от задач. индексы и такие и такие есть

значит и поддержка должна быть такая же

вот картинка с тестовых данных на лаптопе. щя собираю на сервере монгу, буду заменять и тестить уже не прототип н ареальных данных

сделаю! там надо теперь навести красивости - подержка 2d, сферических , points, regions

?глянь геомесу, там есть ошень красивый и, сука ОЧЕНЬ, дорогой пример с поточными данными без спарка)

?глянь геомесу, там есть ошень красивый и, сука ОЧЕНЬ, дорогой пример с поточными данными без спарка)

дорогой - это вплане стоимости железа и поддержки?)

дорогой - это вплане стоимости железа и поддержки?)

Нет, плагина

Железа похер, этож жаба

кстати про поточные - аналогично выкинул любую сортировку - вход - выход. минимальный напряг на память

В облако кинул, само расщеперится когда надо)

кстати про поточные - аналогично выкинул любую сортировку - вход - выход. минимальный напряг на память

У тебя сырые данные в поток идут? Без обоаботки?

В облако кинул, само расщеперится когда надо)

гляну обязательно

я не уверен под "сырые" термином. может разное имеем ввиду

чисто чтение таблицы (после $match- это же pipeline!) вход документ - выход групировка

гляну обязательно

Да, до сих пор этот плагин...сука, на тот момент он один стоил 50к зелёных

хохо

чую это будет бомба)

там же все фишки монго агрегации остаются)

чую это будет бомба)

? чую ток где-то собака зарыта, не может быть, чтобы ее раньше никто не пробовал

или как обычно. нафиг не надо - вот есть готовый продукт. покусался и пошел платить

хайпы они такие

или как обычно. нафиг не надо - вот есть готовый продукт. покусался и пошел платить

Да нет, я нашел бесплатный)

Ну как нашел, собрал))))

я ведь по сути сделал потому что я могу)

только потому полез делать

и это круто ! :)

я ведь по сути сделал потому что я могу)

Еще...можешь посмотреть...ммм... сча найду

вот еще бы кто тупо помог с оформлением и всякими юзеркейсами... теперь еще 9 раз столько же времени доводить код до более широкого использования а не как я сделал под 1 задачу

2d, 3d multi regions, regions -а 2 последних - это пересечения, или игнорировать или не игнорировать. генерить bounds или region

столько зараза рутинны....

вот еще бы кто тупо помог с оформлением и всякими юзеркейсами... теперь еще 9 раз столько же времени доводить код до более широкого использования а не как я сделал под 1 задачу

https://www.mapbox.com

вот еще бы кто тупо помог с оформлением и всякими юзеркейсами... теперь еще 9 раз столько же времени доводить код до более широкого использования а не как я сделал под 1 задачу

Я могу ток кейсы накидать из практики т.к. я на жабе слегка могу чет поделать)

столько зараза рутинны....

Вот это еще смотри, там куча функциональных вещей

https://www.mapbox.com

Знакомое, щя малого из сади а заберу - гляну

Я на фронте поверх Гугл мапы вывожу

Я могу ток кейсы накидать из практики т.к. я на жабе слегка могу чет поделать)

Буду благодарен.

У меня в профиле ссылка на гитхаб

Хотя лучше так github.com/itpatrol/mongo

Бранч groupByLocation

Хотя лучше так github.com/itpatrol/mongo

Апрув на публикацию

Буду благодарен.

Напиши мне завтра, а то я уже сплю

Апрув на публикацию

Хорошо!

Ой, то есть завтра

Открою отдельно issues что б как то сгруппировать работу по патча можно было

Открою отдельно issues что б как то сгруппировать работу по патча можно было

?докеризовать пробовал?

?докеризовать пробовал?

Неа

Я имел ввиду в репо гитхабовские чтоб записывать что надо сделать

Они отключены по умолчанию вроде

Решил погуглить accumulo group by location. Выходят только locality group но это совсем не то

Решил погуглить accumulo group by location. Выходят только locality group но это совсем не то

Аккумула только хранилка, вся логика в геомессе

Аккумула только хранилка, вся логика в геомессе

Тогда группировка после выборки получается?

Или все же на уровне запросов

Или все же на уровне запросов

Емнип до выборки, геомесса формирует и пуляет запрос, а не перебирает данные...если мы об одном и том же

Тут ключевой вопрос. Если у тебя выборка на 400к (или более записей) то группировка програмно вне базу данных - будет минимум равно времени прохода цикла + скорости передачи данных от базы (а в данном случае со всех год сразу, где данные) до места обработки

Емнип до выборки, геомесса формирует и пуляет запрос, а не перебирает данные...если мы об одном и том же

Вот, да об одном и том же. И я не нашёл пока как формировать запрос или хотя бы упоминание что данные должны быть сгруппированы по дельте

Вот, да об одном и том же. И я не нашёл пока как формировать запрос или хотя бы упоминание что данные должны быть сгруппированы по дельте

В геомессе смотришь?

Тоесть если допустим дельта 100 метров то те locations которые к друг другу ближе чем 100 метров, группируются в 1 запись

Тоесть если допустим дельта 100 метров то те locations которые к друг другу ближе чем 100 метров, группируются в 1 запись

Да

В геомессе смотришь?

В геомесе тоже смотрел, там типа код пишешь нашёл

Не понятно или он выполняется на уровне базы или все же в самой месе

В геомесе тоже смотрел, там типа код пишешь нашёл

?у нас схемы разные получаются, я это делал через spark sql

?у нас схемы разные получаются, я это делал через spark sql

Интересно как выглядел запрос

Я так понимаю spark это диалект?

Я так понимаю spark это диалект?

Apache Spark (this is part of hadoop)

Читаю

Я так понимаю spark это диалект?

По сути обычный sql, другое дело, что обернут в спарк интерпретатор

Емнип ты посылаешь запрос, он прилетает в базу и обработка, тебе выплёвывает данные...+ Аккумула столбцовая, она будет быстрее строчной работать с геоданными

+ геомеса немного меняет принцип построения индекса аккумулы, это, кажется, в параграфе про Z-index будет

По сути обычный sql, другое дело, что обернут в спарк интерпретатор

С птичьего взгляда - spark sql это по сути модуль который позволяет управлять чтением таблиц бинарно, так?

Из твоего опыта, например кастомные counter по данным выборки делал?

С птичьего взгляда - spark sql это по сути модуль который позволяет управлять чтением таблиц бинарно, так?

? не отвечу однозначно, я так глубоко не залезал в него

Вот я и хочу понять в каком слое оно работает:)