стрелки просто криво подставлены, они должны подходит к разрыву

стрелки просто криво подставлены, они должны подходит к разрыву

ШЛИ НАМ ЕЩЁ КАРТИНАК!

а у кого-нибудь есть книги/ссылки/статьи по поводу проектирования хранилищ по феншую?

именно dwh ?

да, типа про ODS, Meta и прочее, какие варианты есть проектирования и движения данных и т.д.

гугли Кимбалла

на русском его вроде как нет, а хотелось бы на родном

Всем привет Есть база sqlite, там есть таблица с полями city:str, latitude:real, longitude:real И есть например произвольная точка (14.2311, 16.2344). В базе нужно найти запись у которой эти координаты будут либо совпадать либо быть ближайшими к этой точке. В бд я полный нуб, юзал только ОРМки, помогите составить запрос пожалуйста

на русском его вроде как нет, а хотелось бы на родном

обида чё...

есть книга Дейта только, я вот думал, может у кого что еще есть?

так Дейт и Кодд это батьки... Там наверное чисто концептуальные вещи для любых хранилищ

Реляционная алгебра все дела

Всем привет Есть база sqlite, там есть таблица с полями city:str, latitude:real, longitude:real И есть например произвольная точка (14.2311, 16.2344). В базе нужно найти запись у которой эти координаты будут либо совпадать либо быть ближайшими к этой точке. В бд я полный нуб, юзал только ОРМки, помогите составить запрос пожалуйста

Можно делать что-то типа between, сначала найти все значения между заданным +1 и -1 (в примере точка (14.2311, 16.2344), значит искать в BETWEEN 13.2311 AND 15.2311). Потом следующая итерация, если вернулось значения искать уже +0.5 -0.5 значения и так далее, пока не будет вообще результатов Но это дикий костыль же, должно все быть проще как-то

Можно делать что-то типа between, сначала найти все значения между заданным +1 и -1 (в примере точка (14.2311, 16.2344), значит искать в BETWEEN 13.2311 AND 15.2311). Потом следующая итерация, если вернулось значения искать уже +0.5 -0.5 значения и так далее, пока не будет вообще результатов Но это дикий костыль же, должно все быть проще как-то

Ну и делать групбай

с координатами не все так просто

у вас же не только широта, но и долгота

Ну надо поддержку ГЕОДАТА в СУБД, чтобы она была, и простанственный индекс по полю... GEOSPATIAL... Если в СУБД нет, то жопа. Можно руками конечно эмулировать, но сложновато...

https://www.tutoronline.ru/blog/rasstojanie-mezhdu-dvumja-tochkami-na-ploskosti

делать расчет и потом смотреть минимлаьное

https://www.tutoronline.ru/blog/rasstojanie-mezhdu-dvumja-tochkami-na-ploskosti

Да, тоже так думал Если нельяз group_by по двум полям

это конечно грубое решение, а не точное для координат на планете

групп бай можно по двум полям, но это ничего не даст

Ну надо поддержку ГЕОДАТА в СУБД, чтобы она была, и простанственный индекс по полю... GEOSPATIAL... Если в СУБД нет, то жопа. Можно руками конечно эмулировать, но сложновато...

Надо наверное поискать существующие алгоритмы и просто скопировать. Должно же быть что-то по поиску по координатам

уууу, этого вагон, вот только там нехилые рассчеты и дополнительные библиотеки

Всем привет Есть база sqlite, там есть таблица с полями city:str, latitude:real, longitude:real И есть например произвольная точка (14.2311, 16.2344). В базе нужно найти запись у которой эти координаты будут либо совпадать либо быть ближайшими к этой точке. В бд я полный нуб, юзал только ОРМки, помогите составить запрос пожалуйста

А сколько записей будет в таблице?

поэтому, если вам не нужна точность, то можно смело брать решение на основе двух точек

А сколько записей будет в таблице?

3173958

Это немало

3 ляма в sqlite ?

3 ляма в sqlite ?

А там не надо очень быстро

Заменить запросы к гуглу это уже экономия

Эмуляция примено так делается, всё пространство разбивается на квадраты, для каждого объекта вычисляется квадрат, куда он входит. Далее, строится индекс по иду квадрата. Потом когда тебе надо что-то найти близкое к данной точке — вычисляешь квадрат для точки, затем по индексу выбираешь все объекты в этом квадрате ( O(log n квадратов) ), потом обрабатываешь ВСЕ полученные объекты нужным образом . Соотв. чем меньше квадраты, тем лучше производительность

Понял принял, спасибо

Жопа только этот "индекс" мейнтейнить... Часто добавляться / удаляться будут данные из этой таблицы?

Жопа только этот "индекс" мейнтейнить... Часто добавляться / удаляться будут данные из этой таблицы?

База вообще персистентная навсегда. Только читать

А, тогда это ВЕЛИКОЛЕПНО!

А, тогда это ВЕЛИКОЛЕПНО!

Не нужно каждый раз индексить?

Ну да. ОДин раз индекс создашь, и будешь пользоваться.

Всем привет Есть база sqlite, там есть таблица с полями city:str, latitude:real, longitude:real И есть например произвольная точка (14.2311, 16.2344). В базе нужно найти запись у которой эти координаты будут либо совпадать либо быть ближайшими к этой точке. В бд я полный нуб, юзал только ОРМки, помогите составить запрос пожалуйста

https://stackoverflow.com/questions/3168904/sql-query-to-query-nearby-points-of-interest-based-on-lat-long-sqlite

Помоему уже даже для блокнота есть скрипт для геодаты

https://stackoverflow.com/questions/3168904/sql-query-to-query-nearby-points-of-interest-based-on-lat-long-sqlite

Попытался в питоне перенести, к сожалению ему что-то не нравится. Не отлаживается, знаю только что падает даже от первой строчке пир переводе в радианы def calc_dist(lat1, lon1, lat2, lon2): lat1rad = math.radians(lat1) lat2rad = math.radians(lat2) result = math.acos(math.sin(lat1rad) * math.sin(lat2rad) + math.cos(lat1rad) * math.cos(lat2rad) * math.cos(math.radians(lon2) - math.radians(lon1))) * 6378.1 return result Добавление: conn.create_function("distance", 4, calc_dist) m = c.execute("SELECT * FROM data WHERE distance(latitude, longitude, 51.503357, -0.1199) > 1") Ошибка: sqlite3.OperationalError: user-defined function raised exception

Попытался в питоне перенести, к сожалению ему что-то не нравится. Не отлаживается, знаю только что падает даже от первой строчке пир переводе в радианы def calc_dist(lat1, lon1, lat2, lon2): lat1rad = math.radians(lat1) lat2rad = math.radians(lat2) result = math.acos(math.sin(lat1rad) * math.sin(lat2rad) + math.cos(lat1rad) * math.cos(lat2rad) * math.cos(math.radians(lon2) - math.radians(lon1))) * 6378.1 return result Добавление: conn.create_function("distance", 4, calc_dist) m = c.execute("SELECT * FROM data WHERE distance(latitude, longitude, 51.503357, -0.1199) > 1") Ошибка: sqlite3.OperationalError: user-defined function raised exception

https://sqlite.org/rtree.html

Два вагона решений

Ибо не представишь решение работы с геоданными... все убегут к конкурентам.

Кароче сделал по простому, добавил поле geohash, где хранится 6 значный код квадрата, потом просто ищу, если нет совпадения по 6 - ищу по 5, если нет по 5 - ищу по 4, потом если много городов - то благодаря сферичиским теоремам косинусов определяю расстояния, беру самое меньшее и возвращаю. Работает довольно быстро (для моих нужд точно). Спасибо вам за помощь

Кароче сделал по простому, добавил поле geohash, где хранится 6 значный код квадрата, потом просто ищу, если нет совпадения по 6 - ищу по 5, если нет по 5 - ищу по 4, потом если много городов - то благодаря сферичиским теоремам косинусов определяю расстояния, беру самое меньшее и возвращаю. Работает довольно быстро (для моих нужд точно). Спасибо вам за помощь

Ну лиж бы тебе нравилось. Но в моем понимании все делается одним простым запросом. Там даже проект навигации опенсорсный на лайте замучен уже лет 10

Ну лиж бы тебе нравилось. Но в моем понимании все делается одним простым запросом. Там даже проект навигации опенсорсный на лайте замучен уже лет 10

Аййй, это ещё про rtree читать

Ищу себе помощника, PostgreSQL DBA в Питере, Мск или Самаре, зарплатная вилка 80-150, готовы рассмотреть начинающих.

Подскажите в каком формате лучше хранить денежные величины в mysql, например курсы криптовалют. Пример значения: 0,000009644

decimal

нумерик(хз,хз)

?

DECIMAL

decimal

Это если точные вычисления нужны

Ltymub k.,zn cx`n

Деньги любят счёт

Причём точный.

Не всегда, но если нужен точный — DECIMAL

а почему нумерик не зайдет?

можно пример?

А они синонимы с какой-то версии, насколько я помню.

С биткоинами как раз может быть жопа в том, что у него курс сегодня 10000 долларов, а завтра — 0.00001 долларов. Вот в тамом случае очень может быть, что можно И НУЖНО хранить в floatinb=g point

Просто нумерик - устаревшая ветка, когда-нить выпилят

а почему нумерик не зайдет?

numeric & decimal — это одно и то же.

хм

http://tarlyun.com/blog/2011/03/22/xranenie-ne-celyx-chisel-v-mysql/ Вот хорошая, хоть и старая статья с разъяснениями

в вертике наоборот, нумерик основной...

Alex пролистай статью, там всё разжёвано норм

Добрый день! Есть ли здесь кто хорошо знает Oracle? в частности нужно из набора символов сгенирировать целочисленный ключ, причем если набор символов одинаковый, то и соответственно ключи должны быть одинаковыми. Ora_hash почему-то присваивает разным значениям одинаковый ключ в некоторых случаях, что мне не подходит.

Добрый день! Есть ли здесь кто хорошо знает Oracle? в частности нужно из набора символов сгенирировать целочисленный ключ, причем если набор символов одинаковый, то и соответственно ключи должны быть одинаковыми. Ora_hash почему-то присваивает разным значениям одинаковый ключ в некоторых случаях, что мне не подходит.

может потому что в хэшах коллизии не?)

может потому что в хэшах коллизии не?)

Как их избежать?

очевидно, не использовать хэш-функции)

Alex пролистай статью, там всё разжёвано норм

Спасибо, будем изучать

очевидно, не использовать хэш-функции)

Это я экпериментально уже понял

может потому что в хэшах коллизии не?)

Возможно, мне дают данные по апи и как я понимаю там может быть неограниченное количество нулей

Добрый день! Есть ли здесь кто хорошо знает Oracle? в частности нужно из набора символов сгенирировать целочисленный ключ, причем если набор символов одинаковый, то и соответственно ключи должны быть одинаковыми. Ora_hash почему-то присваивает разным значениям одинаковый ключ в некоторых случаях, что мне не подходит.

о, вам получилось получить коллизию - поздравляю, это как в лотерею выйграть!

а потом у тебя на этой лотерее какой-нить duplicate entry...

Вешать хеш как праймари или юник кеи - это сильно))))

ну у меня были проверки на дубликаты, за почти год работы я так и не смог получить коллизию ?

Ну ент у тебя таланта под такое, что поделать))))

хексом перегнать каким-нибудь...

первое что в голову упало

Вешать хеш как праймари или юник кеи - это сильно))))

так и делал ? бизнес ключ строился по хешу, который собирался из составного ключа

так и делал ? бизнес ключ строился по хешу, который собирался из составного ключа

ну так это: ты вероятность коллизии уменьшал

посему и везучий

ну, это как сидеть на мине времён второй мировой. Шансов на то, что рванёт, не очень много, но зачем рисковать?