просто числа разные получаются

Нет же, два вектора могут быть близки друг другу по косиносному расстоянию, но далеки по эвклидову

манхэттеновское расстояние тоже мера?

да, но ещё и метрика, ведь соблюдаются все три аксиомы

т.е. точки лежат на одном векторе

но находятся на разном расстоянии от центра

Угу

для многомерного случая когда у нас нет tf-idf

а просто многомерная единичная сфера

отличий значительных не может же получиться

В частных случаях может не получится

но если аксиома тождества не выполняется, то уже выбирать надо

Зависит от задачи, очевидно.

кинь ссылкой на почитать про аксиомы

я вот слушаю Вас диалог тут и ни слова не понимаю, метрики, меры, tf-idf... но кажется всё это очень интересным :) в связи с этим очевидный вопрос - подскажите пожалуйста самую-самую начальную литературу с дальнейшим вектором развития?

кинь ссылкой на почитать про аксиомы

да даже на википедии

ну же, аксиома тождества, треугольника и симметрия

спасибо

пните в правильную сторону есть какая-нибудь метрика из NLP чтобы сравнить допустим "красная рубашка" и "рубашка красная" и сказать что это примерно одно и тоже

да, смотреть в сторогу деревьев разбора (parse trees)

tf/idf -- ненадежный костыль :)

tf/idf -- ненадежный костыль :)

Смотря для чего. Ну и да, наверное скорее bm25 нежели tfidf, но не суть

просто в scikit есть http://scikit-learn.org/stable/modules/generated/sklearn.feature_extraction.text.TfidfVectorizer.html

который всё за тебя сделает

ну и из него можно выдрать кучу инфы

и метрики посчитать

Посоветуйте библиотеки для Python для классификации звуков, пожалуйста. Знаю пока только librosa

Смотря для чего. Ну и да, наверное скорее bm25 нежели tfidf, но не суть

сформулирую иначе -- это неплохая эвристика, которую саму по себе, тем не менее, юзать не стоит

который всё за тебя сделает

вот не надо так думать, магия -- плохо

причем это самый tfidf отключается в параметрах

там нет магии

он объединяет два этапа

countvectorizer

и tfidf

Посоветуйте библиотеки для Python для классификации звуков, пожалуйста. Знаю пока только librosa

Какие-нибудь гайды-доки-книги тоже подойдут.

Цитата "Equivalent to CountVectorizer followed by TfidfTransformer"

насчет деревьев разбора -- у меня положительный опыт с http://nlp.stanford.edu/software/stanford-dependencies.shtml , рекомендую

https://arxiv.org/abs/1702.07825 Baidu’s artificial intelligence lab has revealed its work on speech synthesis.

https://www.meetup.com/Coding-with-AppsFlyer/events/238293054/

Здравствуйте, кто-нибудь пробовал классифицировать time series с помощью k-nn и Dynamic Time Warping?

Всем привет! Если есть кто, моогу предложить след вакансию: Мы используем следующий стек технологий: ClickHouse — храним все метаданные, основная база с ценной информацией для BigData вычислений Percona Server (MySQL) — для справочников, прокинутых в ClickHouse, где пароли пользователей, другие перс. Данные и настройки системы PHP 7 — основной язык программирования всей бизнесс логики Фреймворки на PHP: Symfony 3, Silex, AnagularJS с LazyLoad, m3u8 и другими вкусностями (webpack, gulp, bulk.... Система контроля версий: Git Вся работа в системе контроля версий ведется по Git Flow Для деплоя используем Deployer как для php так и для разворачивания новых нод на физических серверах На текущий момент около 20-ти серверов обеспечивают облако обработки и хранения данных, за 2 месяца планируется нарастить до 120-ти. Все серверы обьеденены в PrivateCloud В основе бекенда используется микросервисная архитектура с полным REST-API между сервисами и он же (REST-API) используется для выдачи данных в морду. Методология разработки: SCRUM С какими блоками работать придется: Backend: Развитие бизнесс-логики для хранения и распределения данных в Private Cloud, работа на стыке низкого уровня работы ОС Linux с отдельным ПО. Разработка сервисов логики обработки и аналитики данных для распределения по API и базе данных. Передача и организация данных внутри архитектуры. Все пишется на Silex Backend: Бизнесс-логика работы системы вцелом основного API, которое коммуницирует с API сервисов и распределяет задачи. Работа с выдачей данных в морду. Логика сбора данных с разных источников и их анализ. Все пишется на Symfony 3. Frontend: Разработка основного интерфейса системы. Все работа ведется на Anagular JS.

php ?

Пхп няшный язык)

Особенно для бигдаты

да уж

возможно проблема только в параллелизации - но не такая уж и проблема. я готовлю данные на php сотни миллионов строк - выходит оч быстро и если что легко спеца найти в помощь, а потом отправляю на модели на питоне.

А почему не готовить сразу в петоне?

Зачем нужна промежуточная сущность

@ssergy1234

питон разрабов грамотных в сотни раз меньше чем php

питон разрабов грамотных в сотни раз меньше чем php

дайте грамотного плиз php

С одной стороны питон - язык оч простой, но как туда-сюда тыкнешься и опачки - ни кого нет)

Вот даж уже и с php-никами проблемы(

питон разрабов грамотных в сотни раз меньше чем php

Мне кажется, примерно одинаково. Как минимум, не в сотни раз

Мне кажется, примерно одинаково. Как минимум, не в сотни раз

Тут вопрос спорный ИМХО многие начинают писать на php со всяких вордпрессов и прочих ужасов -и постепенно дорастают до HL и учатся делать норм вещи. А в питоне непонятно с чего начинать - с джаного или flask или еще с чего - по факту распростанненности все это крайне "не очень".

Хотя статистику распространнености языков давно не видел.

> php, scrum, вкусности из ангулярного дерьма пожалуй, дневную порцию мерзотности за день получил, теперь можно перестать писать говнокод

ERROR: S client not available

Тут вопрос спорный ИМХО многие начинают писать на php со всяких вордпрессов и прочих ужасов -и постепенно дорастают до HL и учатся делать норм вещи. А в питоне непонятно с чего начинать - с джаного или flask или еще с чего - по факту распростанненности все это крайне "не очень".

Как ни странно, по индексу tiobe питон выше пыхи. Просто мне кажется, что каким бы ни было общее количество разработчиков, грамотных среди них будет примерно поровну

а в чём измеряется по вашему мнению критерий грамотности?

а в чём измеряется по вашему мнению критерий грамотности?

В умении решить проблему клиента, в установленный срок и с высоким качеством реализации (возможностями дальнейшей поддержки/разработки/нагрузки и тп).

В умении решить проблему клиента, в установленный срок и с высоким качеством реализации (возможностями дальнейшей поддержки/разработки/нагрузки и тп).

для этого даже программистом быть не нужно :-/ достаточно быть очень хорошим ПМ, и тогда можно решать любые проблемы любых клиентов, привлекая исключительно высококлассных, да хоть звёздных кодеров. а критерий грамотности всё-таки это нечто другое, скорее из области отличного знания семантики и синтаксиса + роскошного уровня владения инструментом разработки.

так вот, большинство кодеров сейчас это гуглокодеры или стэковерфлоу кодеры. и нет, это не плохо, потому что если кодер точно не знает реализации чего-то, это всегда можно подсмотреть и скопипастить откуда-нибудь.

но, есть предложение завершить бессмысленный спор о языках программирования ?

для этого даже программистом быть не нужно :-/ достаточно быть очень хорошим ПМ, и тогда можно решать любые проблемы любых клиентов, привлекая исключительно высококлассных, да хоть звёздных кодеров. а критерий грамотности всё-таки это нечто другое, скорее из области отличного знания семантики и синтаксиса + роскошного уровня владения инструментом разработки.

Согласен - стоит прекратить- по-сути язык чисто инструмент. Сегодня пишешь на php/ завтра питон/послезавтра go - главное чтоб платили)))))

Согласен - стоит прекратить- по-сути язык чисто инструмент. Сегодня пишешь на php/ завтра питон/послезавтра go - главное чтоб платили)))))

или пишешь на перле и становишься незаменимым сотрудником компании

Доброго времени суток всем! Друзья, как вы думаете какую область(имееться ввиду изображения, текст, мед данные) или задачу лучше было бы осветить на конференции? Какая, на ваш взляд, самая актуальная тема в ИИ?

Тема зарабатывания денег, вестимо!

Доброго времени суток всем! Друзья, как вы думаете какую область(имееться ввиду изображения, текст, мед данные) или задачу лучше было бы осветить на конференции? Какая, на ваш взляд, самая актуальная тема в ИИ?

тема: тагретированная рассылка приглашений на платную конференцию с целью влёгкую срубить бабла

тема: тагретированная рассылка приглашений на платную конференцию с целью влёгкую срубить бабла

Силы светлые не деньги любят)

Дык конференция то платная?

Дык конференция то платная?

Это да)

Тогда он прав, отличная тема=)

Вот канал в телеграме куда мы собираем интересные вещи на такую тематику (Data Science, Machine Learning, данные, аналитика, философия) - https://goo.gl/Ubw4fB И обновляемая провалидированная таблица с лучшими источниками и статьями по ML и DS - https://goo.gl/5VGU5A . Дополняйте, если есть полезные примеры / статьи / источники...

http://cooldatasets.com/

найс ник

пните в правильную сторону есть какая-нибудь метрика из NLP чтобы сравнить допустим "красная рубашка" и "рубашка красная" и сказать что это примерно одно и тоже

я делал так: фразу на слова, вычисляем количество совпадающих. дальше делил кол-во совпадений на длину меньшей/большей строки (не помню какой, могу поискать) в моем случае еще отбрасывал стоп-слова, шум типа ООО ОАО. подобрал treshhold: >71% совпадающих почти всегда были ок >50% небольшая ошибка, вцелом хорошие совпадения

пните в правильную сторону есть какая-нибудь метрика из NLP чтобы сравнить допустим "красная рубашка" и "рубашка красная" и сказать что это примерно одно и тоже

длина строки в смысле количества слов

ну да как-то так и сделали в итоге

+ расстояние еще добавили от опечаток

пните в правильную сторону есть какая-нибудь метрика из NLP чтобы сравнить допустим "красная рубашка" и "рубашка красная" и сказать что это примерно одно и тоже

Tf-idf скажет, что красная рубашка и розовая рубашка - сильно разные вещи. word2vec лучше подойдет для таких случаев. Извините, если уже не актуально :)

решаю задачу прогнозирования победителя в спортивном матче. начал с модели TrueSkill, идея с помощью разных выборок построить много рейтингов и затем смешать, подав как фичи для логистической регрессии. вопросы такие: как прикинуть, в какой момент стоит прекратить улучшать конкретный рейтинг (по сути фичу для классификатора) и переходить к построению следующего признака? корректно ли мерить log-loss по каждому рейтингу отдельно, или лучше сразу смотреть на различные их объединения в логистической регрессии? может ли возникнуть синергия между рейтингами, кажущимися не очень сильными по отдельности?

решаю задачу прогнозирования победителя в спортивном матче. начал с модели TrueSkill, идея с помощью разных выборок построить много рейтингов и затем смешать, подав как фичи для логистической регрессии. вопросы такие: как прикинуть, в какой момент стоит прекратить улучшать конкретный рейтинг (по сути фичу для классификатора) и переходить к построению следующего признака? корректно ли мерить log-loss по каждому рейтингу отдельно, или лучше сразу смотреть на различные их объединения в логистической регрессии? может ли возникнуть синергия между рейтингами, кажущимися не очень сильными по отдельности?

Беггинг что ли логрегрессией взвешиваешь? А что тогда мешает независимо обучать подмодели?

https://www.instagram.com/p/kR_HpnHkvR9J_p3ifvZgBo5wCsv0PD2MAFY8Y0/?taken-by=rustohero