видимо, неверно сформулировал. l1/l2 регуляризация работает как надо, но гарантии понижения variance она не дает и не может дать, предельный случай-пример - домножение всех весов на константу. А так-то это, конечно, весьма маловероятный случай

ну так-то домножение всех весов на константу не дает того же результата

вообще говоря

зависит от активизационных функций, верно

Каких еще активизационных функций? Еще раз: регуляризация не делает константного преобразования со всеми весами, каждый вес штрафуется по-своему

я говорю про гипотетический случай, можно же хоть немного вникнуть в обсуждение.

хм, для сети с инициализацией одинаковыми весами это единственно возможное поведение.

Пиши статью на arXiv о своем открытии

Привет всем! Кто нибудь в курсе (какие-нибудь статьи), относительно попыток практической реализации модели семантики слова естественного языка: например, к каждому объекту привязываются свойства, которые он может иметь, действия которые он может производить, действия, которые могут производиться над ним? Причем, по возможности независимая от естественного языка.

А чему обучаться то?

Бот — это всего лишь интерфейс

А чему обучаться то?

майнить биткоины

извините, не удержался

Ахаха все понятно как раз

С тобой

А в чем проблема?

разве можно требовать от бота того, чего не умеешь сам? )

разве можно требовать от бота того, чего не умеешь сам? )

конечно

для этого они и нужны

ну тогда понятно, для чего он ему )

А чему обучался то? "Хочу чтоб обучался" это не задача. Конкретика нужна.

Привет всем! Кто нибудь в курсе (какие-нибудь статьи), относительно попыток практической реализации модели семантики слова естественного языка: например, к каждому объекту привязываются свойства, которые он может иметь, действия которые он может производить, действия, которые могут производиться над ним? Причем, по возможности независимая от естественного языка.

сложно это всё, людям проще засунуть текст в нейронку и пущай перемалывает

Привет всем! Кто нибудь в курсе (какие-нибудь статьи), относительно попыток практической реализации модели семантики слова естественного языка: например, к каждому объекту привязываются свойства, которые он может иметь, действия которые он может производить, действия, которые могут производиться над ним? Причем, по возможности независимая от естественного языка.

когда то, уже довольно давно, я помню восторги по поводу перспективы подобного анализа у преподов у которых я учился (а это на минутку было даже не в этом тысячелетии), строили что то, кажется на LISP, лингвистические деревья. И затухло. Потом пришло время нейронок Brainmaker,Brainshell - с ним было много надежд (тогда было в моде слово Data Mining и очень любили карты Кохонена) - все бросились анализировать... и опять затухло, наступило время деревьев-SVM- регрессий с регуляризациями, и так до Deep Learning. Я не летописец, может что и пропустил, но как то так. К чему это я - то ли действительно идея семантического нализа в Лиспе была фигней (или слишком неподъёмной задачей) или же её просто смыло волной новой моды. А с тех пор много волн было....

когда то, уже довольно давно, я помню восторги по поводу перспективы подобного анализа у преподов у которых я учился (а это на минутку было даже не в этом тысячелетии), строили что то, кажется на LISP, лингвистические деревья. И затухло. Потом пришло время нейронок Brainmaker,Brainshell - с ним было много надежд (тогда было в моде слово Data Mining и очень любили карты Кохонена) - все бросились анализировать... и опять затухло, наступило время деревьев-SVM- регрессий с регуляризациями, и так до Deep Learning. Я не летописец, может что и пропустил, но как то так. К чему это я - то ли действительно идея семантического нализа в Лиспе была фигней (или слишком неподъёмной задачей) или же её просто смыло волной новой моды. А с тех пор много волн было....

Быстро пробежался по нагугленному, и кажется начал понимать в чем тут проблемы: количество категорий потенциально бесконечно, возможность использования слов в переносных смыслах, опять же фразеологизмы непонятно куда сувать, и т.д. и т.п.

Да, титаническая задача

я бы взялся и решил, но нужны инвестиции, время, команда... и я бы взялся только за русский язык

русский язык - в этом отношении, пожалуй один из самых сложных, особенно в отношении формализуемости грамматики и словообразования

в каком то смысле туже задачу решил Dr. Робер Форд в West World по задумке сценаристов, и это и есть часть нашего мышления, мы же не лингвистическими правилами думаем, а сетью лингвистических смыслов (и образов)

по сути это задача хака части способа мышления, т.е. фундаментальная задача

русский язык - в этом отношении, пожалуй один из самых сложных, особенно в отношении формализуемости грамматики и словообразования

тут нужен гибкий подход имхо, делать так как делают дети - сначала брать готовые предложения as is, и добавить немножко правил (суффиксы, окончания...) , но только немножко, т.к. мы (люди) думаем готовыми кусками предложений, о суффиксах и предлогах задумываемся очень редко, и лишь для того, что бы запомнить что то готовое

Но к сожалению, машины вовсе не умеют думать: предложение "Миша моет машину" - имеет в составе слова, в базовой форме имеющие вид: "Михаил", "мыть", "машина"/"автомобиль", никакого иного способа, кроме прямого перечисления в словарной статье всех словоформ базового слова я придумать не смог.

я думаю мы запоминаем готовыми кусками

"моет машину" для нас единое слово-образ

если мы впервые сталкиваемся с фразой - мы её разбираем (вот она - интеллектуальная работа, креатив, высшая функция), но далее она "хранится у нас" в виде готовых пирожков, типа "{username} моет машину"

Кажется, такая БД будет огромной, хотя дисковое пространство ныне дешево. Может ее всю запроектировать в виде: <Subject> <action> <object>?

Миша моет машину это готовый образ, он довольно цельный и семантически (рёбра графа) связан с другими образами (в т.ч. с отдельными словами в той "части мозга"* куда мы лезем, что бы разобрать предложение-смысл если готового образа нет).

* - эта "часть мозга" можно выкинуть из исскуственного алгоритма или заменить чем то примитивным, просто команда должна насытить "базу" множеством готовых пирожков-образов. И вот тут возникает проблема - это миллиард образов, т.е. команда" оцифровщиков" должна быть большая и самое прикольное, каждый будет вносить своё индивидуальное видение, так что получившаяся семантическая сеть будет какой то неиндивидуальной, а местами м.б. и противоречивой (в области особо двусмысленных значений). И она а будет привязана к эпохе - люди то определённого возраста строить будут эту базу. Ну в общенм есть над чем подумать.

* - эта "часть мозга" можно выкинуть из исскуственного алгоритма или заменить чем то примитивным, просто команда должна насытить "базу" множеством готовых пирожков-образов. И вот тут возникает проблема - это миллиард образов, т.е. команда" оцифровщиков" должна быть большая и самое прикольное, каждый будет вносить своё индивидуальное видение, так что получившаяся семантическая сеть будет какой то неиндивидуальной, а местами м.б. и противоречивой (в области особо двусмысленных значений). И она а будет привязана к эпохе - люди то определённого возраста строить будут эту базу. Ну в общенм есть над чем подумать.

В принципе, если для каждого из таких пирожков будет несколько вариантов от разных оцифровщиков, и результат будет каким-либо образом усредняться, то влияние отдельных персоналий будет минимизировано. Проблемы будут только с какими-нибудь стереотипными образами, тогда они наоборот могут укрепиться от усреднения.

Влияние эпохи, в этом случае, мне кажется неустранимым.

Но к сожалению, машины вовсе не умеют думать: предложение "Миша моет машину" - имеет в составе слова, в базовой форме имеющие вид: "Михаил", "мыть", "машина"/"автомобиль", никакого иного способа, кроме прямого перечисления в словарной статье всех словоформ базового слова я придумать не смог.

это вопрос сильного ии

ну это всё в целом

т.е. тебе такое не сделать

в продожение - может кто-то встречал размеченые словари где бы давалась оценка стилистики слова? Например - умница - разговроная лексика, дебел - обсценная лексика, конгруэнтный - научная и т.д.?

в продожение - может кто-то встречал размеченые словари где бы давалась оценка стилистики слова? Например - умница - разговроная лексика, дебел - обсценная лексика, конгруэнтный - научная и т.д.?

Да в любом толковом словаре такое обычно есть

ну круто... рассширю вопрос - в электронном виде.

А вы думаете, толковые словари только на бумаге?

к стыду своему - ничего не нашел. Может вы сможете дать пару ссылок?

Нкря ruscorpora.ru

Попробуйте скачать отсюда http://www.speakrus.ru/dict/

Есть НКРЯ и opencorpora из больших, но я там не встречал подобной разметки

Правда, необходимо будет парсить )

Народ, всем привет. Может кто-нибудь по numpy подсказать? Делаю матрицу array = 3х3 (стандартными питоновскими листами). Затем применяю np.matrix(array), и в принте она выводится нормально (так же, 3 на 3). Но вот shape у неё получается [1,3]. Почему? Как исправить? Спасибо.

Если np.matrix использовать, такой же результат

Показывай код, что ли

Там немного дичь на самом деле. Именно этот кусок прям очень не нравится, но пока что так. Другого варианта создать аппроксимирующую матрицу я не нашел. Ну и нампай опять подводит, хотя в целом все вроде правильно сделно.

так это, а если сделать np.array(matrix) без всяких for?

все равно (1,17)

С этими размерностями у numpy вечно проблемы... Может кто-нибудь знает еще аналоги, которые могут считать обратную матрицу? scipy может, не?