DeepMind -- да, но будет кто-то другой) Это событие очень наглядно продемонстрировало нынешний уровень развития ИИ.

Кто-нибудь может подсказать, какие есть методы поиска скрытых взаимосвязей в данных?

Именно скрытых?

Кто-нибудь может подсказать, какие есть методы поиска скрытых взаимосвязей в данных?

вводишь модель с латентными переменными, настраиваешь их более конкретные ответы требуют более конкретных условий

Именно скрытых?

Явные искать не нужно)

Даже PCA в какой-то степени решает указанную задачу

https://geektimes.ru/post/290005/

Господа, а кто использует hue для спарка?

Господа, а кто использует hue для спарка?

джобы отслеживать?

Не, запросы писать

а, не, тогда -

Здравствуйте! ИИ подходит к тому, чтобы распознавать сложные действия по видео?

Здравствуйте! ИИ подходит к тому, чтобы распознавать сложные действия по видео?

нет, следующий

как ето нет?

например есть спорт.состязание, там много тактико-технических действий, в том числе сложных, где несколько игроков делают осмысленную комбинацию и т.д.

например есть спорт.состязание, там много тактико-технических действий, в том числе сложных, где несколько игроков делают осмысленную комбинацию и т.д.

В будущем...

ну наверное если вы это научитесь распознавать действия эти

ну у вас видео. там какая-то последовательность кадров. нужно выделить человека, нужно сопоставить кадры разные по времени и понять что он какое-то действие выполняет

Здравствуйте! ИИ подходит к тому, чтобы распознавать сложные действия по видео?

за бесплатно даже ИИ не работает

например есть спорт.состязание, там много тактико-технических действий, в том числе сложных, где несколько игроков делают осмысленную комбинацию и т.д.

Машинное обучение подходит, вот только надо обучить, а для этого нужно много примеров.

Здравствуйте! ИИ подходит к тому, чтобы распознавать сложные действия по видео?

ИИ подходит для всего, но качество пока плохое https://m.geektimes.ru/post/290029/

друзья, столкнулся с интересной проблемой. обучающий датасет - 2млн данных. обучается достаточно хорошо, loss падает, accuracy доходит до 70-80%. однако на тесте всегда 50% и не больше. и не важно какого размера датасет... и даже если разделить обучающий датасет вновь на train и test - результат такой же. неужели данные совсем никак не коррелируют?

переобучается же, нет?

друзья, столкнулся с интересной проблемой. обучающий датасет - 2млн данных. обучается достаточно хорошо, loss падает, accuracy доходит до 70-80%. однако на тесте всегда 50% и не больше. и не важно какого размера датасет... и даже если разделить обучающий датасет вновь на train и test - результат такой же. неужели данные совсем никак не коррелируют?

Переобучение

да, логично. как избавиться?

датасет побольше, модель попроще, регуляризацию побольше

что-нибудь из этого

прост данных почти 3 млн... куда еще больше ?

да, логично. как избавиться?

Прочитать хотя бы одну книжку по теме, потренироваться на ирисах и Титанике

прост данных почти 3 млн... куда еще больше ?

ну значит регуляризацию подкручивай

друзья, столкнулся с интересной проблемой. обучающий датасет - 2млн данных. обучается достаточно хорошо, loss падает, accuracy доходит до 70-80%. однако на тесте всегда 50% и не больше. и не важно какого размера датасет... и даже если разделить обучающий датасет вновь на train и test - результат такой же. неужели данные совсем никак не коррелируют?

у меня был такой косяк. проверь соответствие индексов на X и на Y

иначе странно выходит, что в трэйне есть взаимосвязь, хоть и переобученная, а на валидэйте пусто

мне вот это самому интересно...потому что вроде как подкручено все что можно... и переобучения в явном виде, тем более на таком большом датасете не наблюдается.

у меня был такой косяк. проверь соответствие индексов на X и на Y

Частенько бывало, особенно из-за индексов в pandas)

Или, напротив, от их отсутствия х)

А классификация-то бинарная? А то, может, 50% — неплохо?

Бинарная. 50% - плохо. Рандом же :)

добро пожаловать в личку

Подскажите, пожалуйста, какие модели хорошо работают на малых выборках в задачах регрессии? Размерность выборки <100

Мелкие выборки тем и хороши, что на них быстро можно проверить кучу моделей. Начать можно с эластичной сети (l1и l2 регуляризация в некоторой пропорции)

Но хорошо зайти может и бустинг, и knn

Но xgboost'ы бездумно не постакаешь как на kaggle

Кстати, я недавно как раз с таким набором данных экспериментировал http://biostat-r.blogspot.co.ke/2017/04/pipelearner-aco2.html?m=1

Я бы в первую очередь убрал выбросы. Затем написал бы скрип который применит основные регрессоры к данным и посчитает значения функций потерь. Обычно создаю массив с регрессорами и применяю его в цикле к данным.

Убрать выбросы - круто, конечно, но как их в жизни потом убирать, при практическом использовании модели?

А ещё вопрос, кросс валидация - для классификации, а есть ли такой же аналог для регрессии?

Кросс-валидация универсальна

ERROR: S client not available

И для регрессии, и для классификации, и для ранжирования, и для автокодировщиков...

Я имею ввиду cross Val score

так ты в cross val score подсовываешь модель и функцию оценки ему вообще все равно, что это за модель, главное, чтоб у нее был метод fit и метод predict

У меня в продуктиве они отсекаются по условиям. Т.е. рассматриваю данные которые находятся в определенной области многомерного пространства. В моем случае данные имеют понятное стабильное распределение.

Вопрос по авторегрессии. Когда лучше использовать модель авторегрессии, а когда модель авторегрессии со скользящим средним? Первая для нестационарных рядов, а вторая для стационарных. У меня например очень много рядов с трендом, но тренд можно убить дифференцированием ряда.

У меня в продуктиве они отсекаются по условиям. Т.е. рассматриваю данные которые находятся в определенной области многомерного пространства. В моем случае данные имеют понятное стабильное распределение.

Так это по сути сведение более общей задачи к частной, т.е. не просто выбрасывание выбросов

Вопрос по авторегрессии. Когда лучше использовать модель авторегрессии, а когда модель авторегрессии со скользящим средним? Первая для нестационарных рядов, а вторая для стационарных. У меня например очень много рядов с трендом, но тренд можно убить дифференцированием ряда.

Что лучше работает для конкретной задачи, то и нужно использовать:)

Что лучше работает для конкретной задачи, то и нужно использовать:)

Ну, официальная имплементация АРИМЫ для спарка у меня зависает в бесконечном цикле. А простая авторегрессия нет:) это можно считать критерием ?:)

кто-то мне может объяснить какой кейс решает confluent и почему мне стоит использовать его вместо просто кафки?

кто-то мне может объяснить какой кейс решает confluent и почему мне стоит использовать его вместо просто кафки?

на сайте есть сравнение https://www.confluent.io/product/compare/

на сайте есть сравнение https://www.confluent.io/product/compare/

там сплошной marketing bullshit например вот один из неjava клиентов для кафки https://github.com/dpkp/kafka-python

впрочем я для себя решил попробовать чистую кафку в kubernetes, не знаю, что меня ожидает впереди, но посмотрим! ?

впрочем я для себя решил попробовать чистую кафку в kubernetes, не знаю, что меня ожидает впереди, но посмотрим! ?

Тут просто все заваисит какие задачи необходимо решать , к примеру conluet - по описаение - есть гарантированная доставка до подписчиков - в некоторых задачах это очень важно.. так же платная подержка ( для кого то этот факт очень важен).

в последней кафке exactly once тоже обещают, если что

в последней кафке exactly once тоже обещают, если что

ну так это только обещают.

к тому же кафка из коробки (по крайне мере по отзывам с форумов) не так хорошо работает..

RabbitMQ в этом плане лучше

хорошо Кафка работает

RabbitMQ в этом плане лучше

они просто для разных целей

хорошо Кафка работает

Франц Кафка?

Кафка багованый