Здравствуйте

Выбираю тему на дипломку, заинтересовали боты. Начинаю копать инфу... Вообще, как устроены умные боты? Кто то может дать мне направление? Заранее спасибо Вот что то типо этого beeline.kg-асистент Айдана.

Выбираю тему на дипломку, заинтересовали боты. Начинаю копать инфу... Вообще, как устроены умные боты? Кто то может дать мне направление? Заранее спасибо Вот что то типо этого beeline.kg-асистент Айдана.

Умные боты — не продукт, чтобы его описать, это целый класс продуктов. Все по-разному. Давай конкретнее.

https://beeline.kg/chuiskaya-obl/customers/mobile Вот бот, который советует о выборе тарифа. И тд. Выполняет вообщем базовую работу оператора

https://beeline.kg/chuiskaya-obl/customers/mobile Вот бот, который советует о выборе тарифа. И тд. Выполняет вообщем базовую работу оператора

В этом боте просто описаны паттерны поведения в зависимости от ключевых слов (база вопросов и ответов к ним) + есть классификация тем, если вы начали спрашивать о тарифах, то ответ на следующий вопрос подразумевает вывод нужного тарифа

Тут та же техника, что и в клавиатурах на Windows Phone: чтобы предсказать ответ, смотрят не только на то, какие слова есть, но и в каком порядке они стоят, есть ли отрицание и пр. С этой темой хорошо разобрался Тындекс, см. смысловые вектора.

Спасибо, а есть ещё ресурсы с данной тематикой?

У Шакира Мохамеда был спич на эту тему https://youtu.be/AggqBRdz6CQ Перспективы видят во всяких тюнингах гиперпараметров, оценке неопределённости, ARD и прочем. Там в 2016 нипсовском воркшопе много размышлений на эту тему

подскажите пожалуйста, какие преимущества у bayes reinforcement learning над обычным обучением с подкрепленеием?

Я предупреждал выше, что лимит на вакансии закончен. Ещё раз и блокировка ?

Я предупреждал выше, что лимит на вакансии закончен. Ещё раз и блокировка ?

Лимит на вакансии?

Всем привет! Знакомый хочет перекатиться в питон и его интересует ML. хочет знать, что нужно изучить, чтобы его взяли на работу

есть у кого-нибудь подобный чеклист?

есть у кого-нибудь подобный чеклист?

А что, пост в закрепе просто так висит?

Может и просто так висит, откуда ж мне знать? Мой вопрос не про книги и ресурсы. А про чеклист ml применительно к питону

ml питону ортогонален почти

в смысле самого питона надо там 1%

ну так и отлично. вот за 1% я и спрашиваю :)

kaggle.com => titanic => берешь, чего нравится из туториалов

Лимит на вакансии?

там чуть выше в чате есть. сегодня просто немного переборщили с количеством, и мягко говоря уже достало

я понимаю что тема модная, но это не место для агитации и хантинга

kaggle.com => titanic => берешь, чего нравится из туториалов

good

Ребят, всем привет. Такой вопрос: я интересовался вычислительной сложностью методов извлечения тем из текстов (lsa, plsa, lda). Понял так, что алгоритмов быстрее полиномиального времени для этой задачи ещё не придумали. Верно я понимаю? Или есть ещё какие-то разработки, более совершенные в этом плане ?

Еще, если знаете что-то на эту тему по поводу алгоритмов тегирования документов, то подскажите пожалуйста

как же ты doc2vec то упустил

paragraph vector

lsh еще

как же ты doc2vec то упустил

я правильно понимаю, что doc2vec в данном случае это supervised learning ?

я правильно понимаю, что doc2vec в данном случае это supervised learning ?

это encoder(по сути можно назвать supervised)

А выходной результат (вектор документа) можно использовать как хочешь, хоть unsupervised

а что лучше использовать, если нет известных тем? у меня есть набор коротких разговоров ( 5-100 реплик) , хочу узнать, о чем каждый разговор

lda выдает не очень хороший результат

Нет известных тем - кластеризация

Это может быть и doc2vec+dbscan

Архитектуру под задачу подгонять надо в любом случае

да, зайду с этой стороны, спасибо

как же ты doc2vec то упустил

так он же векторное представление просто даёт. интерпретировать такой результат автоматически, в виде названия темы будет тяжело

да, зайду с этой стороны, спасибо

BigARTM хорошая библиотека для unsupervised извлечения тем.

BigARTM хорошая библиотека для unsupervised извлечения тем.

спасибо) как раз сегодня тоже посоветовали ее, значит действительно хорошая)

так он же векторное представление просто даёт. интерпретировать такой результат автоматически, в виде названия темы будет тяжело

можно именовать кластеры вручную, а можно и автоматизировать, но для этого нужна одна хитрость

можно именовать кластеры вручную, а можно и автоматизировать, но для этого нужна одна хитрость

какая?

я сам еще её не пробовал, но идея в том чтобы доставать из содержаний документов наиболее определяющие кластер токены

важность токенов в кластере можно попробовать через PCA взять

Ребят, всем привет. Такой вопрос: я интересовался вычислительной сложностью методов извлечения тем из текстов (lsa, plsa, lda). Понял так, что алгоритмов быстрее полиномиального времени для этой задачи ещё не придумали. Верно я понимаю? Или есть ещё какие-то разработки, более совершенные в этом плане ?

основной алгоритм BigARTM - PLSA, только есть множество регуляризаторов, которые подгоняют модель под реальную жизнь

Ну смотрите, ребят, я пытаюсь ещё вот что понять. как в итоге в продакшене-то это всё делается? Надо мне для документа получить уже интерпретированный результат

например, документ Х, темы: "питон", "бигдата"

чтобы конечный юзер мог это понять

ERROR: S client not available

а какие есть подходы для оценки игры команды? в команде N человек, они между собой общаются, в игре набирается дискретное количество очков, игры независимы между собой, игра идет "против судьи" оценивать, допустим, надо профит от замены одного человека, или там сколько такой-то состав наберет очков на такой-то игре

Ну смотрите, ребят, я пытаюсь ещё вот что понять. как в итоге в продакшене-то это всё делается? Надо мне для документа получить уже интерпретированный результат

бери BigARTM или VW и дальше ручками размечай темы

https://github.com/bigartm/bigartm-book/tree/master/applications/habrahabr

бери BigARTM или VW и дальше ручками размечай темы

У меня 20к документов с неизвестными темами (

ну по токенам, которые попадают в топик, ты можешь понять темы

vw точно может выдавать текст аля топик [токен1, токен2, ...]

ну по токенам, которые попадают в топик, ты можешь понять темы

Конечно. Но если я хочу автоматически понять и не хочу этот вопрос выяснять для 20к документов?

ну сколько у тебя тем?

Я не знаю даже, в каждом документе своё число скорее всего

ну все эти алгоритмы требуют всегда одной вещи: четко зафиксированного количества топиков

В этом и соль)

Всмысле, что у тебя всего тем должно быть конечное количество

У каждого дока может быть сколько угодно тем, неизвестно даже заранее, например

Но тебе еще надо разметить обучающую выборку тогда

Охапка дров и продакшен готов

Ну их конечное кол-во, но мы же это число фиксируем

А в каждом документе оно своё. Тогда как проверить?

Ты учишь сеть предсказывать топики. Проверять через заранее размеченный датасет

Вопрос только как определить объем выборки

Тут нужен реальный эксперт

Не, погоди... Почему объём выборки? А если у меня нет этого знания на счёт числа тем, тогда как быть?

Алгоритм же будет ошибаться тогда на разных докмуентах