Всем привет, подскажите, пожалуйста, что почитать для решения довольно стандартной задачи Есть таблица с пользователями, у каждого пользователя 17 описательных атрибутов. Есть таблица с посещениями пользователя разных страниц сайта Задача - сгруппировать пользователей на N сегментов по признакам из таблицы 1 так, чтобы их поведение в таблице 2 было наиболее похожим.

Всем привет, подскажите, пожалуйста, что почитать для решения довольно стандартной задачи Есть таблица с пользователями, у каждого пользователя 17 описательных атрибутов. Есть таблица с посещениями пользователя разных страниц сайта Задача - сгруппировать пользователей на N сегментов по признакам из таблицы 1 так, чтобы их поведение в таблице 2 было наиболее похожим.

выводишь из 2ой таблицы расстояния между пользователями считаешь для каждой пары пользователей расстояния делаешь линейную регрессию на расстояния между пользователями по атрибутам пользователей ??? PROFIT

выводишь из 2ой таблицы расстояния между пользователями считаешь для каждой пары пользователей расстояния делаешь линейную регрессию на расстояния между пользователями по атрибутам пользователей ??? PROFIT

Нет ли у вас ссылки как это сделать в более подробном варианте?

Нет ли у вас ссылки как это сделать в более подробном варианте?

сделать что именно? линейную регрессию или подсчёт расстояния?

сделать что именно? линейную регрессию или подсчёт расстояния?

Лучше и то и то.

ну расстояние можно считать по разному, L1, L2, L0, cosine distance, Jaccard distance, etc. Всё зависит от того, как Вы захотите перевести вектора посещённых сайтов в расстояния

ну а по линейной регрессии гайдов навалом на любой вкус

пожалуй один из самых простых алгоритмов машинного обучения

вон банально sklearn.linear_model.LinearRegression можете попробовать

ну расстояние можно считать по разному, L1, L2, L0, cosine distance, Jaccard distance, etc. Всё зависит от того, как Вы захотите перевести вектора посещённых сайтов в расстояния

Как вы понимаете, я не очень разбираюсь во всём многообразии алгоритмов, потому и прошу совета. Я бы перевел как количестов посещений. Т.е. для каждого пользователя у меня будет примерно 800 столбцов с количесвом посещения каждого из них.

ну попробуйте тогда L2. Оно же классическое расстояние между векторами (как в школе учили). Т.е. корень из суммы квадратов

Как вы понимаете, я не очень разбираюсь во всём многообразии алгоритмов, потому и прошу совета. Я бы перевел как количестов посещений. Т.е. для каждого пользователя у меня будет примерно 800 столбцов с количесвом посещения каждого из них.

дело в том, что под каждую конкретную задачу нужно самостоятельно подбирать элементы ML модели, что-то взлетит, что-то нет

тут нет универсальных рецептов, надо брать свои данные, ворох всех возможных вариантов модели и пробовать

тут нет универсальных рецептов, надо брать свои данные, ворох всех возможных вариантов модели и пробовать

Это понятно, просто хочется взять их не в алфавитном порядке, а основываясь на опыте бывалых. Спасибо за советы, начну с корня суммы

Это понятно, просто хочется взять их не в алфавитном порядке, а основываясь на опыте бывалых. Спасибо за советы, начну с корня суммы

ну я придерживаюсь следующего подхода: я начинаю всегда с максимально простой модели, которая была бы способна дать хоть какой-то ответ лучше случайного

если подобная модель сработала, то теперь это мой бейзлайн, и я ищу модель получше среди более сложных

в данном случае я не знаю, что может быть проще линейной регрессии

Спасибо, мне простота действительно очень важна на первом этапе

в данном случае я не знаю, что может быть проще линейной регрессии

найбайес

найбайес

но для него нужны уже размеченные группы пользователей

но для него нужны уже размеченные группы пользователей

Зачем?

Строишь распределение для |R — и делов-то

Строишь распределение для |R — и делов-то

что под R понимается?

что под R понимается?

\mathbb{R}

а ё-моё, числа действительные

Язык R, очевидно же

Всем привет! Учусь проектировать топологию сети под задачу. Пока не очень получается. Задача: научить сеть прибавлять единицу к числу. X: 1, 2 ,3, 4, 5, ..... 50 Y: 2, 3, 4, 5, 6, ..... 51 Для представления сети делю матрицы поэлементно на 100. 6-и слойная сеть с увеличивающимся до предпоследнего слоя количеством нейронов. В последнем, соответственно, 1. Функция активации у всех слоев tanh. Правильно отвечает только до ≈55. Что я делаю не так?

?

А, все

Может, переобучение?

Сильно увеличил количество эпох, и стало нормально работать

Приветствую, офицеры, натренировал SVC из scikit векторами от 0 до 1, а оно при классификации всегда один и тот же результат выдаёт из 4-х, куда копать?

Входные вектора X вида [[ 0.00000000e+00 1.00000000e+00 1.00051777e-01 3.50539154e-01 1.59082325e-04] [ 0.00000000e+00 2.71799755e-01 1.00000000e+00 6.16571838e-01 1.72787807e-02] [ 0.00000000e+00 9.99764000e-01 0.00000000e+00 1.00000000e+00 0.00000000e+00] Выходные — 4 класса, от 0 до 3

А структура сети какая?

А структура сети какая?

svc же

Ок, невнимательно прочитал

Параметры обучения попробовать поменять - может регуляризация слишком сильная, или опорных объектов мало

???

Ребят, кто-нибудь встречал корпус с размеченными датами на русском языке?

Это покрывается правилами

У меня есть библиотека на Go для парсинга дат/времени на естественном языке

занимается кто исследованиями в области психологии ?

стистистической психологии*

занимается кто исследованиями в области психологии ?

прошу прощения, а что это за наука?)

СТАТИСТИЧЕСКАЯ ПСИХОЛОГИЯ Устаревшая форма обозначения использования статистики и статистических принципов для выведения общих законов и принципов в психологии. Более широкий термин математическая психология сейчас включает в себя этот термин. Обратите внимание, что этот термин не относится к использованию статистики для оценки эмпирических данных с целью проверки гипотез.

Всем привет) а кто шарит в блокчейне, как правильно на русский перевести Distributed Ledgers Technology? Гугл выдает либо распределенная книга бухучета или распределение баз данных на основе ценных бумаг. Но хочется какое-то одно мнение, если оно есть)

Технология блокчейн, которая сейчас также часто упоминается как «технология распределенных реестров» (Distributed Ledger Technology, DLT), стремительно захватывает сферу финансовых услуг.

яндекс 5 ссылка

чот не додумалась пойти в яндекс) спасибо!

ну это надо еще догадаться яндекс использовать

Слава Яндексу )

в рунете он ищет лучше гугола, кмк

это да, но я уже сутки вообще только на гугл сколар сижу, чтобы каким-то чудом родить статью до сегодняшнего вечера на 6 страниц 10 шрифтом, лол)

Держись, братан, мы в тебя верим (но это не точно)

ахах, спасибо)

ERROR: S client not available

Молитвами отдела Data saints закрыли четвёртый квартал без убытков

Прекрасно ) даже лучше Дата сайентологов)

Не согласен. Дата сайентологи пока что побеждают

ИИнологи призывают искуственный интеллект в сервера

кто не хочет побыть святым

Никто не хочет, я думаю. К святым причисляют после смерти.

Народ, подскажите, пожалуйста, как лучше решать задачу: есть некий текст на английском (не научная статья, а популярная), в котором ученые описывают некоторую технологию. Нужно определить: 1) что за технология, возможно несколько, ничего страшного 2) перспектива технологии с точки зрения автора, пока достаточно "+" или "-" Я новичок, не представляю какие библиотеки уже есть по этой теме, как разбивать на этапы. Но готов изучать статьи, читать книги. Спасибо.

Народ, подскажите, пожалуйста, как лучше решать задачу: есть некий текст на английском (не научная статья, а популярная), в котором ученые описывают некоторую технологию. Нужно определить: 1) что за технология, возможно несколько, ничего страшного 2) перспектива технологии с точки зрения автора, пока достаточно "+" или "-" Я новичок, не представляю какие библиотеки уже есть по этой теме, как разбивать на этапы. Но готов изучать статьи, читать книги. Спасибо.

Здесь подойдёт топик молеллинг

Моделлинг

Lda, bigartm

Можно попробовать на алгоритмии поискать уже готовые подходы https://algorithmia.com/algorithms/SummarAI/Summarizer

Можно попробовать на алгоритмии поискать уже готовые подходы https://algorithmia.com/algorithms/SummarAI/Summarizer

Клевая штука. Спасибо!

Здесь подойдёт топик молеллинг

Про bigartm не знал. Спасибо!

А на оценку перспектив можно натравить sentiment analysis

Всем привет, у меня есть ват такая табличка. Мне нужно всех client_id разбить на 5 групп наиболее похожих между собой. Подскажите, посжалуйста, куда почитать?

K means?

K means?

Я плавую в терминах, можно ссылку?

http://scikit-learn.org/stable/modules/generated/sklearn.cluster.KMeans.html

http://scikit-learn.org/stable/modules/generated/sklearn.cluster.KMeans.html

Я плавую в терминах, можно ссылку?

https://ru.m.wikipedia.org/wiki/Метод_k-средних

Спасибо!

Всем привет! NLP какой самый норм подход, либы, архитектура?

интересует в первую очередь обучение влоб на больших объемах, на очень больших, семантический веб туда же, или как вы это всё делаете?

желательно реалтайм дообучение через подкрепление при комбинированном подходе боты+люди на бэкенде