Всем привет, я учусь в университете и разбираюсь сейчас с machine learning. Вопрос такой - хотелось бы сделать распознавание рукописных нот. На курсе Andrew Ng делал распознавание цифр. Можете подсказать куда копать, на какие задачи нужно разбить эту проблему. Основной инструмент питон.

1. Найти размеченные данные (картинки нот на стане, сопоставленные с их записью в привычном виде) 2. Подобрать модель и обучить.

1. Найти размеченные данные (картинки нот на стане, сопоставленные с их записью в привычном виде) 2. Подобрать модель и обучить.

Проблема в том, что ноты на стане это и есть их привычный вид записи :) Поэтому возникает вопрос, что во что хочет распознавать автор. В midi файл, может быть, или в какой-то машинный формат нот. Наверное, проще в обратную сторону нагенерировать себе синтетических данных из midi в виде скриншотов картинок с нотами (или одной нотой), а потом на этом датасете и учить

Всем привет, я учусь в университете и разбираюсь сейчас с machine learning. Вопрос такой - хотелось бы сделать распознавание рукописных нот. На курсе Andrew Ng делал распознавание цифр. Можете подсказать куда копать, на какие задачи нужно разбить эту проблему. Основной инструмент питон.

Разве под распознаванием имеется ввиду не перевод их в компьютерный формат?

Проблема в том, что ноты на стане это и есть их привычный вид записи :) Поэтому возникает вопрос, что во что хочет распознавать автор. В midi файл, может быть, или в какой-то машинный формат нот. Наверное, проще в обратную сторону нагенерировать себе синтетических данных из midi в виде скриншотов картинок с нотами (или одной нотой), а потом на этом датасете и учить

С генерацией весьма крутая идея

Проблема в том, что ноты на стане это и есть их привычный вид записи :) Поэтому возникает вопрос, что во что хочет распознавать автор. В midi файл, может быть, или в какой-то машинный формат нот. Наверное, проще в обратную сторону нагенерировать себе синтетических данных из midi в виде скриншотов картинок с нотами (или одной нотой), а потом на этом датасете и учить

Только они не рукописные будут же

Ну тогда да, без датасета не обойтись. Но для обучения ML автору, думаю, будет интересно и такую задачу решить. Может быть, можно найти псевдо-рукописный "шрифт" для нот какой-нить

Я удивлен, что файнридер ноты не распознает

Проблема в том, что ноты на стане это и есть их привычный вид записи :) Поэтому возникает вопрос, что во что хочет распознавать автор. В midi файл, может быть, или в какой-то машинный формат нот. Наверное, проще в обратную сторону нагенерировать себе синтетических данных из midi в виде скриншотов картинок с нотами (или одной нотой), а потом на этом датасете и учить

midi как вариант, для начала хотелось бы просто получить сами ноты например в виде текста, тональнось тоже в виде тескста то есть есть рукописные ноты(их у меня много) или ноты из книг

Для простоты можно рукописные образцы привести к mnist-формату, затем предобучить сеть на рукописных текстах вообще и дообучить на нотах. Пары сотен примеров каждой ноты должно хватить

Для простоты можно рукописные образцы привести к mnist-формату, затем предобучить сеть на рукописных текстах вообще и дообучить на нотах. Пары сотен примеров каждой ноты должно хватить

Мне интересна более техническая сторона, опыта в таких приложениях нет, например если я будумодель тренировать на картинках в каком то разрешений как должно происходить распознование не одной ноты а целого произведения где много нот, то есть это уже кажется другая задача(мне кажется я глупые вещи спрашиваю но надеюсь на снисходительность)

Для целой страницы нот - или сразу object detection, или сводить к задаче классификации отдельных нот путем нарезки на квадратики с нотами

Мне интересна более техническая сторона, опыта в таких приложениях нет, например если я будумодель тренировать на картинках в каком то разрешений как должно происходить распознование не одной ноты а целого произведения где много нот, то есть это уже кажется другая задача(мне кажется я глупые вещи спрашиваю но надеюсь на снисходительность)

подозреваю, что твоя задача разобьётся на множество мелких

сначало надо сегментацию провести

задетектить ноты

и потом их уже скармливать распознавателю

Но сделать end-to-end решение задачи OCR - сложно

Только они не рукописные будут же

основные признаки уже будут, дальше готовую модель уже на рукописных доучивать

Мне интересна более техническая сторона, опыта в таких приложениях нет, например если я будумодель тренировать на картинках в каком то разрешений как должно происходить распознование не одной ноты а целого произведения где много нот, то есть это уже кажется другая задача(мне кажется я глупые вещи спрашиваю но надеюсь на снисходительность)

а у тебя музыкальное образование есть? :)

Есть)

С точки зрения извлечения релевантных низкоуровневых фич лучше предобучать на любых рукописных текстах

а у тебя музыкальное образование есть? :)

По этому и решил взяться

То есть это нужно проверить, но теоретически - даже с аугментацией печатные ноты будут хуже

Еще можно предобучить модель в режиме автокодировщика

Есть)

окей, чтоб всякие лиги и тремоло и прочие штуки не стали сюрпризом :)

С точки зрения извлечения релевантных низкоуровневых фич лучше предобучать на любых рукописных текстах

у нотной записи структура совсем не похожа на глифы

банально лиги

дуга сверху и снизу

дуга сверху и снизу

Да, из за них задача мне очень сложной кажется

я бы начал итеративно

сначала отдельные ноты и знаки

потом аккорды

и так дальше

я бы действительно начал с генерированных данных, максимально простых

я бы действительно начал с генерированных данных, максимально простых

Да, начну с малого, спасибо?

Спасибо всем ?

А кто-нибудь в мире делал что-то типа deep deblure для фоточек? Не чтобы идеи посмотреть, а чтобы пользоваться, так сказать для себя. Вроде бы задача простая, а из утилит готовых ничего на остнове ML даже в виде онлайн сервисов нету вроде (правда, не все пишут технологию)

звучит как коллапсирование в ганах

Ну размытые фоточки восстанавливать

Наверное, ганы самое то, да

Всем привет! А можно супер-вакансию разместить?

Админ рьяно против обычно :)

Он вроде против агенств и хр

Пока его нет, кидай хД без указания вилки пошлют , кто куда?

Не вышло :)

Пока его нет, кидай хД без указания вилки пошлют , кто куда?

Я всегда здесь :-/

Всем привет! А можно супер-вакансию разместить?

А вакансии у нас запрещены, вы уж поймите нас

А вакансии у нас запрещены, вы уж поймите нас

Это можно в описание группы добавить, наверное, меньше вопросов будет :)

Надо написать бота, который при слове "вакансии" будет отвечать что нельзя

А кто-нибудь умеет в Octave? У меня вопрос - как прочитать файлы в gdf-формате при помощи BioSig toolbox (https://lampx.tugraz.at/~bci/database/001-2014/description.pdf)

я вижу тут есть музыканты, подскажите плиз - если есть записанная фортепианная партия (соло или , например, со скрипкой), произведение непростое, есть ли софт способный всё разложить в ноты качественно?

я вижу тут есть музыканты, подскажите плиз - если есть записанная фортепианная партия (соло или , например, со скрипкой), произведение непростое, есть ли софт способный всё разложить в ноты качественно?

Соло весьма легко. Алгоритмов море. Тот же melodyne например идеально определяет мелодию

Тут намного интереснее задача - из микса выделять ноты

Понял. Спасибо

Я попробую поднять старые архивы, я уже как-то озадачивался какое-то время назад вопросом вытаскивания мелодии и её последующий анализ. Тогда я делал абсолютно в тупую, т.к. известна высота тона любой ноты - можно просто снять с stdin значения тонов, и перевести в ноты. Но я точно помню что видел намного более изящный вариант

Не то готовая либа на C++, не то какой-то чудной алгоритм

Ребята, а кто-нибудь надумывал создать нейронку, которой можно скармливать тексты для копирайтеров?))

Ребята, а кто-нибудь надумывал создать нейронку, которой можно скармливать тексты для копирайтеров?))

Крупные издания уже пользуются для генерации шаблонных новостей

Резкие изменения курсов валют, прогнозы погоды и вот это всё. В гугле по запросу AI content generation будет много интересного.