Проще PCA применить и взять 20-30 главных компонент

Ок, сделаю

https://ru.wikipedia.org/wiki/%D0%9C%D1%83%D0%BB%D1%8C%D1%82%D0%B8%D0%BA%D0%BE%D0%BB%D0%BB%D0%B8%D0%BD%D0%B5%D0%B0%D1%80%D0%BD%D0%BE%D1%81%D1%82%D1%8C

Потом выбираю фолд с наименьшей погрешностью и обучаю на нём модель?

Бустингу пофиг на мультиколлинеарность

И для линейных моделей проблемы начинаются при действительно сильной корреляции

Бустингу пофиг на мультиколлинеарность

Если это бустинг над деревьями, конечно

Потом выбираю фолд с наименьшей погрешностью и обучаю на нём модель?

На ком - на ней? На погрешности?

На ком - на ней? На погрешности?

На фолде

Что значит не должно быть корреляции?

не говорите глупости. если у вас будут две фичи с корреляцией 0.9999999 то одну можно смело выбрасывать т.к информации в модель она не приносит

хоть деревья хоть что

какие PCA?у него 40 фичей и 550 семплов

1) попробуйте не корреляцией убирать а посмотреть на l1 регуляризацию - мусор сам отпадет 2) на 550 можно и LOO а не kfold 3) rmse? 4) почему именно линейные модели? попробуйте найти фичи и деревьями - можно попробовать потом комбинации фичей посмотреть

Потом выбираю фолд с наименьшей погрешностью и обучаю на нём модель?

модель нужно обучать на всех данных, k-fold или LOO это для валидации модели при отсутствии тест-сета

очень надеюсь что вы не антифрод в сбербанке делаете

Потом выбираю фолд с наименьшей погрешностью и обучаю на нём модель?

https://www.youtube.com/playlist?list=PLJOzdkh8T5kp99tGTEFjH_b9zqEQiiBtC

1) попробуйте не корреляцией убирать а посмотреть на l1 регуляризацию - мусор сам отпадет 2) на 550 можно и LOO а не kfold 3) rmse? 4) почему именно линейные модели? попробуйте найти фичи и деревьями - можно попробовать потом комбинации фичей посмотреть

Спасибо, попробую.

очень надеюсь что вы не антифрод в сбербанке делаете

Это нормально, тоже люблю самоутверждаться за счёт опускания нубов)))

Это нормально, тоже люблю самоутверждаться за счёт опускания нубов)))

как хорошо что мы на одной волне! а курс воронцова лучше посмотрите

на правах пятницы

ребят привет. делала Feature ranking и получила результаты, где показано, что переменная не шибко влияет на результат, но при том, до этого когда делала предскзания, эта самая переменная и вносила основной вклад. В чем может быть проблема ?

ребят привет. делала Feature ranking и получила результаты, где показано, что переменная не шибко влияет на результат, но при том, до этого когда делала предскзания, эта самая переменная и вносила основной вклад. В чем может быть проблема ?

нужны подробности - что за модель, какой ранкинг, что вы считаете проблемой. Мы ж не знаем над чем вы работаете

я пользовалась feature_selection.RFE

и проблема в том, что до этого, пытаясь отобрать оптимальные переменные, я поняла, что есть переменная, которая влияет на точность предсказания на 30%. А RFE показывает, что она по сути вообще ничего не делает

модель предсказания - линейная регрессия

В rfe тоже линейку подаете?

да

«пытаясь отобрать я поняла» а это как произошло?

ну просто есть один признак ['first_max_value'] и если его убрать из обучающей выбоки, то точность предсказания упадет на 30%

вот я его один раз и убрала

и поняла, что он важный

Эстиматор точно с теми же параметрами подаете? Если модель Вы строите с регуляризацией а rfe без то результаты будут отличаться

вот тут я кажется и просчиталась

вообще сейчас попробую разные типы ранкингов сделать и расчитать по ним среднее

а уже потом предсказания делать, думаю это имеет больший смысл

не говорите глупости. если у вас будут две фичи с корреляцией 0.9999999 то одну можно смело выбрасывать т.к информации в модель она не приносит

попробуйте прочитать то, что написано выше. Про 0.4, 0.9, 0.95 и 0.99

какие PCA?у него 40 фичей и 550 семплов

Почему вы метод главных компонент называете по множественном числе? И что мешает его использовать в озвученной ситуации?

а кому-нибудь вообще на практике помогал Feature Ranking?

на StackExchange вычитала информацию, что это переменных для обучащей выборки

я использую важности леса для отбора признаков, но использовать надо аккуратно, нельзя просто так взять и выкинуть маловажные переменные, об этом прочитать у Александра Дьяконова http://www.machinelearning.ru/wiki/images/c/cc/PZAD2016_09_rf.pdf потому что лес измеряет не просто важность переменной саму по себе (как например Information Value), а насколько важной является переменная в сочетании с другими переменными. то есть вы можете добавить переменную и та переменная, которая была неважной может стать важной, это я получал в экспериментах. кроме того, когда переменные коррелированы обе метрики важности дают смещенные оценки. поэтому да используем лес, но при этом включаем здравый смысл и смотрим, какие переменные могут быть полезными с т.з. бизнеса, затем если строится регрессионная модель, например, логрегрессию делаю, делаем принудительное включение переменных с учетом информации о важностях переменных с последующей регуляризацией. у меня есть в Ответах и докладе Максима Савченко, одного из ведущих аналитиков Сбербанка, можно найти в группе у нас и на ютьюбе

язык erlang, отображать graphit. scale не ясен. "много данных" понятие растяжимое.

[Forwarded from Just links] http://www.anandtech.com/show/11649/intel-launches-movidius-neural-compute-stick

[Forwarded from Just links] http://www.anandtech.com/show/11649/intel-launches-movidius-neural-compute-stick

Уже в продаже на маусере. Как дойдёт - напишу результаты тестов в связке с распбери

http://polyaxon.com

Всем привет! Я видел научные статьи на тему контентной фильтрации веб с помощью нейронных сетей, но еще не осилил. Мне интересно, кто нибудь пытался реально применить машинное обучение к данной теме?

И насколько машинное обучение, вообще, может быть пригодно к данной задаче?

http://telegra.ph/Kotiki-Kodyat-vypusk-5-07-23

у нас уже 5 выпуск. даже бота пришлось на время отключить ? ?

ERROR: S client not available

http://telegra.ph/Kotiki-Kodyat-vypusk-5-07-23

Кто этим занимается?

Кто этим занимается?

Я и Сильвер

Я и Сильвер

Сильвер?

Сильвер?

Двумя словами не объяснить. Но она из элиты. (С)

https://www.youtube.com/watch?v=o6WMr1QDNCQ

пионер машинного обучения

https://www.youtube.com/watch?v=o6WMr1QDNCQ

Как то с английским у него

пёрфект рашн аксент

а вообще зато с математикой хорошо

https://ru.wikipedia.org/wiki/%D0%92%D0%B0%D0%BF%D0%BD%D0%B8%D0%BA,_%D0%92%D0%BB%D0%B0%D0%B4%D0%B8%D0%BC%D0%B8%D1%80_%D0%9D%D0%B0%D1%83%D0%BC%D0%BE%D0%B2%D0%B8%D1%87

Привет ребят, после 11класса подзабил на матем, хотелось бы снова быть "в теме" Есть ли какие то учебники по мат, которые пригодятся для ML? Спасибо.

+++

Привет ребят, после 11класса подзабил на матем, хотелось бы снова быть "в теме" Есть ли какие то учебники по мат, которые пригодятся для ML? Спасибо.

Лесин-Лисовец "Методы оптимизации"

и от них дальше плясать, как вариант

А это включает основы по типу ( работы с матрицами )?

Лесин-Лисовец "Методы оптимизации"

Благодарю, буду копать , изучать

А это включает основы по типу ( работы с матрицами )?

работа с матрицами - это линейная алгебра

Привет ребят, после 11класса подзабил на матем, хотелось бы снова быть "в теме" Есть ли какие то учебники по мат, которые пригодятся для ML? Спасибо.

http://www.fast.ai/2017/07/17/num-lin-alg/

любой учебник по ней подойдет

Кстати давно еще, в хакере былп статья. По такому.. как найду , здесь скину ссыль)

http://www.fast.ai/2017/07/17/num-lin-alg/

Спасибо)

Доброго времени суток. А какие есть способы для предотвращения появления идентичных нейронов в сети? С одинаковыми весами, т.е делающих одно и тоже. Против этого вроде как должна рандомная инициализация спасать, но что если нейроны "слиплись" во время обучения? Есть какие-то методы по "разлеплению"? Как эта проблема называется в англоязычной литературе, что-то никак не гуглится ничего...

Доброго времени суток. А какие есть способы для предотвращения появления идентичных нейронов в сети? С одинаковыми весами, т.е делающих одно и тоже. Против этого вроде как должна рандомная инициализация спасать, но что если нейроны "слиплись" во время обучения? Есть какие-то методы по "разлеплению"? Как эта проблема называется в англоязычной литературе, что-то никак не гуглится ничего...

Brain damage