пока что смотрю на использование биг дата стека + люцен + нейронки

но писать этого монстра для PoC слишком сурово

и домен, есть мысль что препарация домена прямо пропорциональна качеству ответов, верно?

препарация = бизнес аналитик + лингвист

желательно реалтайм дообучение через подкрепление при комбинированном подходе боты+люди на бэкенде

Еще блокчейн надо вкорячить сюда же

вкоряч, что себя сдерживать

multivariate garch, ктонить реализацию на питоне видел? либы?

)))

Народ, кто-нибудь может подсказать как работает findFace?) Вернее, интересует алгоритм, по которому ищется лицо. Не заганяют же они в нейронку 1 млн вариантов... Явно есть какая-то база данных для лиц. Но как реализован поиск по ней?

Народ, кто-нибудь может подсказать как работает findFace?) Вернее, интересует алгоритм, по которому ищется лицо. Не заганяют же они в нейронку 1 млн вариантов... Явно есть какая-то база данных для лиц. Но как реализован поиск по ней?

предполагаю, что жмут изображения лиц в некие вектора а потом просто ищут ближайшие к искомой фотке

предполагаю, что жмут изображения лиц в некие вектора а потом просто ищут ближайшие к искомой фотке

Какие методы для поиска ближайего вектора есть? эвклидово расстояние?

Какие методы для поиска ближайего вектора есть? эвклидово расстояние?

ну функций расстояний куча

можно и эвклидово

Какие методы для поиска ближайего вектора есть? эвклидово расстояние?

locality-sensitive hashing, kd-деревья, методы понижения размерности и комбирации всех этих методов

locality-sensitive hashing, kd-деревья, методы понижения размерности и комбирации всех этих методов

и насколько быстро это всё работает с милионной базой векторов?

и насколько быстро это всё работает с милионной базой векторов?

depends on миллион это же совсем мало

может, даже из кешей cpu не вылезет

Лям не вылезет из кэша CPU?

Лям не вылезет из кэша CPU?

https://ark.intel.com/ru/products/95830/Intel-Xeon-Phi-Processor-7290-16GB-1_50-GHz-72-core

Кэш на 36 мб это круто, но даже так не влезет, наверное?

Кэш на 36 мб это круто, но даже так не влезет, наверное?

16Gb кеш

36MB это только L2

так что в итоге то? как у них поиск лица по всей базе фоточек вк устроен*

depends on миллион это же совсем мало

Как я понимаю, вопрос был про асимптотику поиска

так что в итоге то? как у них поиск лица по всей базе фоточек вк устроен*

а, ну в такой формулировке и надо изначально ставить

а, ну в такой формулировке и надо изначально ставить

я примено это и пытался спросить))

так что в итоге то? как у них поиск лица по всей базе фоточек вк устроен*

одно дело в 3D ближайшие векторы искать, другое — картинки в 10^6-мерном пространстве с неевклидовой метрикой

очевидно, что сначала снижают размерность — хоть свёрточными автокодировщиками

одно дело в 3D ближайшие векторы искать, другое — картинки в 10^6-мерном пространстве с неевклидовой метрикой

не, не картинки. Они ж перегоняют признаки лица в 100-мерный массив помоему. Ну а дальше хз шо там

очевидно, что сначала снижают размерность — хоть свёрточными автокодировщиками

ну вот этот момент я понимаю нормально. Но вот дальше - чет не особо. Даже если у них есть сжатое лицо, как найти ближайшее в милионной базе данных?

kd-деревья ищут в n-мерном пространстве

Я просто запилил сеточку, которая идентифицирует человека по голосу(без привязки к тексту), но пока только в формате классификатора. теперь вот думаю как к этому всему бд прикрутить.. и чет инфы нету.

ну вот этот момент я понимаю нормально. Но вот дальше - чет не особо. Даже если у них есть сжатое лицо, как найти ближайшее в милионной базе данных?

дальше, наверняка, метрику учат с помощью специально обученных сотрудников (* или забивают и в сжатом пространстве по евклиду работают *)

ну а дальше, 1-nearest neighbour — lsh и kd-деревья в евклиде здесь хорошо работают

ок, спасибо. буду гуглить

Finding 1 nearest neighbour in a balanced k-d tree with randomly distributed points takes O(log n) time on average.

Я просто запилил сеточку, которая идентифицирует человека по голосу(без привязки к тексту), но пока только в формате классификатора. теперь вот думаю как к этому всему бд прикрутить.. и чет инфы нету.

Пытаетесь сделать определение человека по голосу?

Пытаетесь сделать определение человека по голосу?

Ага

Собираетесь потом где-то результаты выкладывать?

Собираетесь потом где-то результаты выкладывать?

Думаю да, но для начала нужно чтобы был более менее адекватный результат)

Кто работал с сиамскими сетями? Подскажите, можно ли добавлять в их "пространство" примеры без переобучения?

Обучающие сэмплы всегда можно добавлять без переобучения

Народ, кто-нибудь может подсказать как работает findFace?) Вернее, интересует алгоритм, по которому ищется лицо. Не заганяют же они в нейронку 1 млн вариантов... Явно есть какая-то база данных для лиц. Но как реализован поиск по ней?

В итоге не кто не ответил как она работает ?

В итоге не кто не ответил как она работает ?

я сам разобрался. просто затупил))) Там все просто. Сначала ты обучаешь сетку, чтобы она помещала твой вектор в некое пространство. Дальше подаешь на вход 2 вектора(которые будешь сравнивать), а она тебе обратно выкидывает расстояние между ними. Всё просто :)

я сам разобрался. просто затупил))) Там все просто. Сначала ты обучаешь сетку, чтобы она помещала твой вектор в некое пространство. Дальше подаешь на вход 2 вектора(которые будешь сравнивать), а она тебе обратно выкидывает расстояние между ними. Всё просто :)

ничего не понял findface имелось ввиду библиотека на питоне

ничего не понял findface имелось ввиду библиотека на питоне

?? что за библиотека?) я про http://findface.ru/

То есть готовая реализация, которой можно пользоватся ничего не изобретая

я сам разобрался. просто затупил))) Там все просто. Сначала ты обучаешь сетку, чтобы она помещала твой вектор в некое пространство. Дальше подаешь на вход 2 вектора(которые будешь сравнивать), а она тебе обратно выкидывает расстояние между ними. Всё просто :)

Так вопрос же был в том, как эффективно искать по 1 миллиону этих изображений

И вам ответили, что kd-деревья, и другие структуры

ну каждое лицо потом проходит через хэш функцию, которое дает целое число

или множество чисел, если числа ближе, то похоже

в БД через индекс, это мнгновенно, хоть миллиард

ERROR: S client not available

Какой индекс?

Извиняюсь, я думал вы про сиамские сети.

я просто долго работал с ГИС системами

есть там отдельный раздел индексов для пространственных данных, вообще крутая тема, мало кто в этой теме разбирается

R-Tree

так что н-мерные пространства легко ложатся на эти инджексы в БД и посик там очень быстрый

поиск*

Какая там сложность поиска будет?

количество записей не имеет значения

такде как в сортировка, делишь по пополам, пока не придешь к цели

если у тебя сортировочные данные, каждая итерация, уменьшает половину

Тоесть R-Tree может перегнать вектора в пространство, а даьльше каждому из них присвоить индекс?

Я просто все-таки склоняюсь к евклидову пространству...))

https://ru.wikipedia.org/wiki/R-%D0%B4%D0%B5%D1%80%D0%B5%D0%B2%D0%BE_(%D1%81%D1%82%D1%80%D1%83%D0%BA%D1%82%D1%83%D1%80%D0%B0_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85)

Найти все музеи в пределах 2 километров от моего текущего местоположения

Логарифмическая же.

Это по двухмерному

Логарифмическая же.

что под этим подразумевается ?

к этим алгоритмам вообще тяжело применить хоть какую то математику

что под этим подразумевается ?

Подразумевается, что в среднем для поиска в базе с N записями, потребуется ~ log(N) операций. Но в худшем случае, может и N

Подразумевается, что в среднем для поиска в базе с N записями, потребуется ~ log(N) операций. Но в худшем случае, может и N

так просто не поддается

Все случайные события

по мере наполнения индекса

где то плотность объектов больше где то меньше

как произойдет распределение решает случайность

так просто не поддается

у тебя ж прямо статье написано)