можешь пройтись по датасету и выбрать тексты с максимальной вероятностью для класса, но one-hot тут это плохая идея

А вместо one hot ,что лучше использовать? Ну тогда я получу текста, а не слова

А вместо one hot ,что лучше использовать? Ну тогда я получу текста, а не слова

тренировать word-embedding или взять готоый предтренированный, glove vectors потом помжно поробовать найти общие слова для текстов

векторы для конкретного языка можно найти онлайн

активировать сетку отдельными словами и посмотреть что на выходе. Правда, при жтом допускаем, что одно слово без окружения ведет себя так же, как и целый текст.

Народ, может ли кто подсказать, у меня есть нейросеть для бинарной классификации текстов, можно ли какую-нибудь образом получить список слов,по которому сеть принимает решение к какому классу относить текст?

если используешь рнн с атеншеном можно также пройти по всему сету, выбрать слова для которых атеншн максимально активируется

но мне кажется без ворд векторов тут адекватного результата не будет

А если заменить сетку на деревья, то вообще можно просто на значимость признаков смотреть )

Народ, может ли кто подсказать, у меня есть нейросеть для бинарной классификации текстов, можно ли какую-нибудь образом получить список слов,по которому сеть принимает решение к какому классу относить текст?

можешь еще в эту сторону посмотреть https://github.com/marcotcr/lime

Коллеги, тут у Otus новые курсы открылись по deep learning

#обучение #образование #Otus Открыт набор на курс Deep Learning Engineer от OTUS. Курс рассчитан на углубление знаний в области классического машинного обучения, погружение в мир нейронных сетей и глубокого обучения. Знакомьтесь с программой, сдавайте вступительное тестирование: https://otus.pw/NLO6/ Программа курса содержит в себе самые актуальные наработки в отрасли и позволяет изучить архитектуру нейронных сетей, ее реализацию на языке Python, систему и методы построения. обучения и решения практических задач в таких областях как: — Компьютерное зрение, — Обработка естественных языков, — Анализ социальных графов, — Предиктивная аналитика. И многие другие. Преподаватель курса Артур Кадурин — признанный эксперт в области науки о больших данных, первый сотрудник в группе анализа данных департамента рекламных технологий Mailru Group, возглавивший впоследствии группу сегментирования аудитории. Руководил и участвовал в проектах, связанных с пользовательской аналитикой в рекламе, соц.сетях, играх и т.д. CEO Insilico Taiwan и Chief AI Officer Insilico Medicine. https://otus.pw/NLO6/

Всем привет. Как правильно удалить Анаконду с Манджаро, чтобы ничего другого не поломать?

http://lobe.ai/ - норм тема?

http://lobe.ai/ - норм тема?

Все без кода - игрушки, имхо

как я понимаю это инфраструктура, которая дает апишки для обучения по заранее заданным алгоритмам и с визуализацией

Все без кода - игрушки, имхо

+

Все без кода - игрушки, имхо

Я знаю людей, которые делают модели в Azure ML и им вроде даже нормально)

Я знаю людей, которые делают модели в Azure ML и им вроде даже нормально)

Хм. Какие например модели?

Вернее даже, для каких кейсов

классификацию страховщиков например. Кому давать, кому не давать.

Даже не знаю. Если им нормально, то чего бы и нет)

ну, я просто к тому, что иногда drag-n-drop инструменты тоже можно использовать. Хотя код, конечно, гибче. Но и порог входы выше.

срочно подскажите плз внятные примеры реинфорсмент лернинга плз

срочно подскажите плз внятные примеры реинфорсмент лернинга плз

https://towardsdatascience.com/april-edition-reinforcement-learning-e82cfba4d9c2

срочно подскажите плз внятные примеры реинфорсмент лернинга плз

https://www.analyticsvidhya.com/blog/2017/01/introduction-to-reinforcement-learning-implementation/

https://gym.openai.com/

Ребята, подскажите пожалуйста ко Керасу один момент. Есть два тензора, в них с шейпом [None, 40, 64] другой же [None, 64, 40]. Я их перемножаю с помощью keras.backend.dot(x, y) и получаю тензор с шейпом [None, 40, None, 40] Беда в том что есть аналогичный код на тензорфлоу который я пытаюсь портировать на керас, и там число батчей определено на этапе определения графа, т.е. вместо None у нас число батчей, т.е. 256, и при перемножении тензоров [256, 40, 64] и [256, 64, 40] функцией tf.matmul получается трехмерный тензор [256, 40, 40]. Как мне получить такой же результат перемножения тензоров в керасе? Т.е. трехмерные тензор [None, 40, 40] вместо четырёхмерного?

Пардон, нашел решение. Вместо keras.backend.dot нужно юзать keras.backend.batch_dot

Привет, У меня вопрос (или просьба, не знаю), я пробую keras, но мне не принципиально я хочу попробовать co-training алгоритм на двух view (текст и изображения), но немного не понимаю, как это сделать. Т.е. идея в том, что есть картинка и некое описание к ней насчёт картинок более менее понятно: мы трансформируем их в матрицы со значениями цветов (или яркостей) и на этих матрицах обучаем модель а как подготовить текст для обучения? в интернете многие советуют через tokenizer, но подойдёт ли это для классификации связных данных (кортинка+описание)?

Привет, У меня вопрос (или просьба, не знаю), я пробую keras, но мне не принципиально я хочу попробовать co-training алгоритм на двух view (текст и изображения), но немного не понимаю, как это сделать. Т.е. идея в том, что есть картинка и некое описание к ней насчёт картинок более менее понятно: мы трансформируем их в матрицы со значениями цветов (или яркостей) и на этих матрицах обучаем модель а как подготовить текст для обучения? в интернете многие советуют через tokenizer, но подойдёт ли это для классификации связных данных (кортинка+описание)?

char cnn?

спасибо, попробую

Лень уже даже легенду придумать?

Лень уже даже легенду придумать?

Если вы хотите помочь, то нажимайте Report на сообщении, а не разговаривайте со спам ботом ;)

Кстати да, действенный метод. Чем больше репортов - тем быстрее спамеров и их группы/каналы заблокируют

Лайфхак ?

Или совет от бывалого)

Коллеги, добрый день! Еще не знаком хорошо с тематикой AI / Big Data / Machine Learning. но есть вроде подходящяя по нее задача. Нужно извлечь данные из неструктурированного текста (медицинской выписки из истории болезни). Может кто сталкивался с такой задачей в этом или смежной бласти?

Там прямо вот бигдата? задача в чём — оцифровка и извлечение, только оцифровка или только извлечение?

задача разобрать неструктурированный текст - типа сочинения и извлечь конкретные данные - типа ФИО, диагноза заболевания

тут может machine learning или какие то другие методы подойдут

скорее это не bigdata, документов не миллион

Задача NLP

Смотри в Сторону библиотек для Python, например Natasha

Или есть еще вариант http://www.pullenti.ru/

Вообще, это похоже на задачу простого парсинга с виду, если честно :)

Вообще, это похоже на задачу простого парсинга с виду, если честно :)

Так и есть))

ФИО явно можно регулярными выражениями диагноз , ну может быть даже тоже

Так то да, но если тексты не структурированы, то нет простым парсингом не обойдешься.

Так то да, но если тексты не структурированы, то нет простым парсингом не обойдешься.

ФИО пишут с больших букв. Три слова подряд с больших букв = ФИО

боюсь, неструктурированный может предполагать отсутствие правильного написания.

ERROR: S client not available

Да, но спарсить ты сможешь не только ФИО с больших букв, но и начало абзаца например с большой буквы

Да, но спарсить ты сможешь не только ФИО с больших букв, но и начало абзаца например с большой буквы

Три слова подряд блэт

Иванов Иван Иванович

вообще, пару экземпляров бы кинуть, так бы был разговор предметнее

Так три слова подряд могут быть например и расшифровка какой-нибудь комании в которой работает человек.

Научный Институт Исследований

Обычно пишется так)

Здесь согласен, тогда Paul выгоднее посадить девочку за 15 тыщ рублей в месяц и пусть все это разбирает, тк решение такого уже будет стоить немалых денег. Имхо

честно вот, пока не видно данных, непонятно сложно или нет

Здесь согласен, тогда Paul выгоднее посадить девочку за 15 тыщ рублей в месяц и пусть все это разбирает, тк решение такого уже будет стоить немалых денег. Имхо

+100500 удаленно поработает

Да нет, просто нужно использовать NLP. Но если текст структурированный и под один шаблон заточен, то регулярки хватит, да

+

Я читал о подобной проблеме медицинского архива в какой то из стран латинской америки

Дешевые люди-распозновальщики рулят

?

текст к сожалению не структированный

ФИО просто можно вычленить

а вот например диагноз который может идти в разном порядке слов и окончаниях наверное уже сложнее

Тексты рукописные или уже оцифрованные? Точность какая нужна?

тескт сканы- распозование получается нужно

а вот например диагноз который может идти в разном порядке слов и окончаниях наверное уже сложнее

Так есть же мкб вроде.

не идеальные, ошибки даже в распозновании до разбора бывают

там МКБ есть , но самого кода в тексте нет

А на выходе надо мкб получить?