Врачи по МКБ норм ставят?

а вот например как в тексте идет

Ну то есть абы как или строго

... Клинический диагноз: ЦВБ. Последствия перенесенного геморрагического инсульта с образованием внутримозговой гематома в левой теменной области от 21.08.2009. ...

А сколько текстов?

Ну то есть абы как или строго

Да абы как конечно.

сколько будет обратываться системой?

Если бы нормально писали, ставили бы код мкб

сколько будет обратываться системой?

Да

Тогда можно считать, что мкб нет...

Чтд

кода мкб в самом тексте нет

И NLP

Да. Задача сводится к классификатору по коду МКБ из натурального текста

а вот диагноз надо будет поставить по мкб

текстов примерно 300-600 в месяц на первом этапе

Вам надо из текста вытащить кому, когда и что диагностировали, так?

А что мешает получать и МКБ вместе с тектом или их просто нет?

Руками, собирайте выборку.

Я с медиками работал, давно

А что мешает получать и МКБ вместе с тектом или их просто нет?

Если бы были, Артём бы тут не писал ;)

У вас будут огромные проблемы с непонятными диагнозами скорее всего.

Если бы были, Артём бы тут не писал ;)

А, ок) Тогда наверное классификатор не поможет, нужен анализатор текста.

Они не только пишут как курица лапой, но и стилистика варьируется от врача к врачу

И человеческий фактор

И ошибки

И опечатки

текст составлен на Пк но пару раз отксеренный

Банальная история: начал писать одно, отвлёкся, дописал другое. И получился несуществующий диагноз

стилистика будет индивидуальна как я думаю у каждого врача

может быть. я понимаю что не будет 100%

600 в месяц это очень мало

Вам нужно тестовый датасет собрать из нормальных эталонных текстов и на нем нейронку попробовать обучить.

если не найдет в мкб то надо обоснзать как ошибку

А потом уже подсовывать в нее какие-нибудь с опечатками и неполные например, натренить на этом и будет профит.

С такой выборкой, скорее всего очень долго не будет :)

вопрос в том что для этого использовать - как я думаю что нужен справочники + API для работы с текстами чтобы он отработаывал неточные сравнения с учетом оборотов, падежей и прочими особенностями русского неструктуированного языка

Я так понимаю вы для конкретного медучереждения это делаете?

да

А какая цель?

цель показать автоматизацию в действии решения этой задачи

нужно сэкономить время квалицированного персонала на ручном труде

но чтобы оператор смогут проверить что не уверенно распозналось и если что подкорректирвоать

но чтобы оператор смогут проверить что не уверенно распозналось и если что подкорректирвоать

А почему тексты сразу с кодом мкб не ведутся?

они присылаются из других учреждений

которые к сожалению нельзя заставить пока стандатизвоать формат

нужно сэкономить время квалицированного персонала на ручном труде

А сколько стоит сейчас ручной труд, примерно?

И на сколько надо сократить затраты?

И какие требования сейчас к точности?

Как часто возникают ошибки?

Какая цена ошибки?

ФИО пишут с больших букв. Три слова подряд с больших букв = ФИО

а как же Обсессивно Компульсивное Расстройство?

хувевое фио так то

?

600 в месяц, это 20 в день. Если это 2 листа А4, небольшой плотности это не больше 3 тысяч знаков или 500 слов примерно. Люди в среднем читают около 120 слов в минуту, если вдумчиво. Итого ну не больше 10 минут на прочитать, выделить, найти в мкб. Итого не больше 200 минут в день. Или 3 часа. Грубо половина ставки. Хватит практиканта-терапевта. Плюс время руководителя, на первичный контроль. Если цена ошибки высокая, то многоуровневый контроль. Но полставки практиканта терапевта плюс месячная премия руководителю, это в российских реалиях сейчас сколько?

600 в месяц, это 20 в день. Если это 2 листа А4, небольшой плотности это не больше 3 тысяч знаков или 500 слов примерно. Люди в среднем читают около 120 слов в минуту, если вдумчиво. Итого ну не больше 10 минут на прочитать, выделить, найти в мкб. Итого не больше 200 минут в день. Или 3 часа. Грубо половина ставки. Хватит практиканта-терапевта. Плюс время руководителя, на первичный контроль. Если цена ошибки высокая, то многоуровневый контроль. Но полставки практиканта терапевта плюс месячная премия руководителю, это в российских реалиях сейчас сколько?

надо вычленить не одно это поле в докумнете, а 10-ок уже других типов и может потребоваться обработать 300 документов в день.

А может и не потребоваться

вопрос про целесообразность у меня не стоит, у меня стоит вопрос как сделать

И будет у вас целый отдел чай пить

Может они государственная контора

Клиника сбера например

Им надо диджитал

вопрос про целесообразность у меня не стоит, у меня стоит вопрос как сделать

Нужно исходить из экономического эффекта

ERROR: S client not available

Вам вероятнее всего поставили задачу сократить издержки и/или увеличить пропускную способность бизнес-процесса.

Это задача оптимизации бюджета. Предположим вы сейчас на распознавание 8 тысяч документов тратите 500 тысяч в год.

Это примерно 60 рублей на документ.

Ваша текущая пропускная способность 20 в сутки, судя по вашим словам нужно иметь возможность обрабатывать до 300 в сутки. Тут возникает вопрос: это с 20 до 300 вырастет среднее число документов или это сезонные/событийные пики? И что будет, если документ не обработают в тот-же день?

Но даже если эту проблему за скобки вынести оставить вопрос только издержек. Издержку полностью сократить нельзя, потому что чужие бизнес-процессы нет возможности изменить (хотя я бы попросил заливать документы по какой-то строгой форме. Пусть соседние учреждения сами заполняют как надо) Вопрос насколько сильно можно минимизировать эту издержку? Ну предположим, мы можем заменить практиканта программным комплексом и оставить только контроль.

Но программный комплекс несёт за собой и капитальные и операционные издержки

Капитальные: разработка комплекса, создание/настройка аппаратной инфраструктуры Операционные: поддержка программного комплекса, Поддержка аппаратной инфраструктуры.

Ваша текущая пропускная способность 20 в сутки, судя по вашим словам нужно иметь возможность обрабатывать до 300 в сутки. Тут возникает вопрос: это с 20 до 300 вырастет среднее число документов или это сезонные/событийные пики? И что будет, если документ не обработают в тот-же день?

спасибо за интересный взгляд со стороны на бизнес процесс. я согласен что в любом деле должен экономический эффект. но пока хочу оценить трудность реализации с технической точки зрения - может кто то уже делал похожу задачу и скажет что это просто

я смотрел что есть например разбор текста резюме по ключевым полям

у Yandex

есть даже беслатные framework-и

естестественно трудозатраты буду сравниваться с человеческми затратами

Я вас пытаюсь навести на мысль, что у вас задача очень абстрактно поставлена

очень конкретно

не хочу просто тут много людей грузить техническими подробностями

Как мы уже тут обсудили, ваша задача сводится к классификатору мкб по тексту на естественном языке

есть неструктированный распознанный текст - надо из его вычленить 11 полей

Окей, к 11 классификаторам

Для выбора готового решения, у вас сейчас не хватает требований к результату работы этих классификаторов

а в каком виде лучше сформировать эти требования?

Ребят, подскажите, есть профиль вк, доступны все открытые данные(группы, личная информация, город, друзья). Чтобы определить интересы пользователя, это машинное обучение, сегментирование?

а в каком виде лучше сформировать эти требования?

Лучше формулировать требования не к процессу, а к результату. Лучше всего в измеримых цифрах. Как минимум надо уточнить, какой процент ошибок по каким полям допустим (вероятно не меньше чем сейчас, а значит надо знать какая сейчас точность)

Теоретически ваша задача скорее всего имеет решение. Но на практике, достижение конкретных показателей точности может быть невозможным. Например тупо из-за стоимости. Или что более вероятно вашем случае — ограниченности выборки. Т.е. у вас просто не хватит документов чтоб охватить все вариации в данных

Ну и про то, зачем эта информация собирается надо тоже понимать. Потому что ошибка классификатора по интересам, имеет ничтожную стоимость. А вот ошибка классификатора диагноза, может иметь очень суровые последствия в зависимости, если эта информация потом используется для лечения. А вот если она используется для аналитики и оптимизации, то там цена может быть тоже ничтожной

Пишу на ходу, по кускам, сорян за ошибки

Попробуйте решение гибридное: классификатор раскрашивает текст и показывает человеку на нужные места. А название МКБ предлагает, только если уверен (по словарю). Но вообще, похоже на named entity recognition

Так вы экономите время человек на поиск, но место, где критически важна точность оставляете специалистам

Гибридный подход. Спасибо за идею

лол :D

Коллеги, есть интересная информация про курс, который в пине. 5 июня состоится онлайн вебинар для всех желающих по глубокому обучению нейронок на примере фармацевтики.