Хотя, делить всё же стоит, хоть и одно сводимо к другому.

Я говорил в контексте вашего вопроса.

Ну а если под "неметрическими" переменными подразумевается категориальные, то многие boosted trees заточены на пережёвывание датасетов именно с ними.

Причём без оцифровки (энкодинга).

+ еще может пригодиться метод Boruta (пакет borutapy в питоне)

это для отбора признаков

Насколько я помню xgboost внутри энкодит категориальные фичи и это плохо. А вот Lightgbm - пережёвывает их нативно.

Ну и совсем нативно их кушает CatBoost насколько я помню - заодно и патриотизм можно свой подкрепить.

Всем привет

Может кто нибудь подробно объяснить что означает feature importance в ransom forest

Понятно, что важность признаков, а как именно он считается

Random*

Как объяснить эти магические цифры обычному человеку

Это не веса(как в линейных моделях), это не вклад в общую целевую переменную, тогда что?

И если есть ссылка почитать - было бы круто

они характеризуют то, что мы теряем, если убираем признак. Или что приобретаем, если его добавляем. То есть к общей модели. Таким образом, если зависимость признака и результата была не линейная, а зависимость была в совокупности от нескольких признаков, то фича импотанс будет не сильно информативен. В этом плане хорошо делает встроенный функционал кэтбуста. Он умеет не только фича импотанс показывать, но и то же самое для связок из двоек/троек/четверок признаков.

Скорее мы не убираем признак, а этот признак рандомно мешаем

Скорее мы не убираем признак, а этот признак рандомно мешаем

то есть? заменяем его значения случайным шумом?

Нет, если представить обучающий набор как матрицу, то мы в колонке (фиче) случайно перемешываем значения

Я нашел документ вот такой

Но по русски бы чего нибудь)

Но по русски бы чего нибудь)

отвыкайте раз и навсегда:)

Нет, если представить обучающий набор как матрицу, то мы в колонке (фиче) случайно перемешываем значения

хм. спасибо. покопаю в эту сторону. (пы.сы. но часть про кэтбуст все верно, ее можно в комменте читать:) )

Там в этом документе, на сколько я понял, два вида рассматривается

Я говорил про второй тип

Я нашел документ вот такой

https://youtu.be/QV6hE-MY4CQ?t=16m7s

Вот тут лектор годно рассказывает про бустинговые модели, и на этом моменте говорит про информативность признаков

Спасибо

вот может полезно будет

http://lightgbm.readthedocs.io/en/latest/Parameters-Tuning.html https://www.analyticsvidhya.com/blog/2016/03/complete-guide-parameter-tuning-xgboost-with-codes-python/ https://www.analyticsvidhya.com/blog/2017/06/which-algorithm-takes-the-crown-light-gbm-vs-xgboost/ http://lightgbm.readthedocs.io/en/latest/Parameters.html

отвыкайте раз и навсегда:)

до какого то уровня nowadays можно-таки доползти без "технического" английского, но нюансы и относительно свежие тренды, конешь, можно найти в осноном только на английском. Или вот такие вещи: stats.stackexchange.com , там порой очень важные моменты подсвечивают

до какого то уровня nowadays можно-таки доползти без "технического" английского, но нюансы и относительно свежие тренды, конешь, можно найти в осноном только на английском. Или вот такие вещи: stats.stackexchange.com , там порой очень важные моменты подсвечивают

я входила с бигдаты. На тот момент найти что-то толковое и глубокое по теме на русском не было шансов. С тех пор я не вижу тенденции, чтобы в бигдате стремились что-то переводить. В датасайнсе полегче, но только в последние годы. Ну и все-таки даже переведенные статьи лучше бы сверять с оригиналом. Могут быть важные расхождения, ведущие к непониманию вопроса.

я входила с бигдаты. На тот момент найти что-то толковое и глубокое по теме на русском не было шансов. С тех пор я не вижу тенденции, чтобы в бигдате стремились что-то переводить. В датасайнсе полегче, но только в последние годы. Ну и все-таки даже переведенные статьи лучше бы сверять с оригиналом. Могут быть важные расхождения, ведущие к непониманию вопроса.

говоря бигдата вы имеете в виду хадупы-спарки?

йеп

А есть здесь любители tensorflow?

Будут ли проблемы с вычислениями, если у меня i7 со встроенной видеокартой?

Рано или поздно будут

А есть здесь любители tensorflow?

Здесь наверное все кто работает с сетками знакомы с tf)

Будут ли проблемы с вычислениями, если у меня i7 со встроенной видеокартой?

Что бы работать с видеокартой вам нужна видео-карта с поддержкой CUDA. Иначе работать не будет. У вас есть еще возможность использовать tf не для видеокарт.

Что бы работать с видеокартой вам нужна видео-карта с поддержкой CUDA. Иначе работать не будет. У вас есть еще возможность использовать tf не для видеокарт.

tf поддерживает opencl

tf поддерживает opencl

Хм.. то есть таки можно его использовать с встроенными картами по opencl. Думал, что нет.

Я просто изначально использую видеокарту от Nvidia и не заморачивался с другими вещами..

Что бы работать с видеокартой вам нужна видео-карта с поддержкой CUDA. Иначе работать не будет. У вас есть еще возможность использовать tf не для видеокарт.

кстати забавно :)

хочу купить ноут с mx150, а там только в феврале подвезли поддержку куды драйверами

хотя аппаратная уже год была

я все вычисления делаю в облаке, "дома" у меня примитивные ноуты как терминалы RDP

GPU можно точно также арендовать у того же GCE

я все вычисления делаю в облаке, "дома" у меня примитивные ноуты как терминалы RDP

а можно более подробнее?

задумывалась над этим но смущает цена

GPU можно точно также арендовать у того же GCE

кстати, а почему не амаз?

кстати, а почему не амаз?

миллион шекелей?)

и тоже интересно про цену

@hitmaker у твоего бота false positive зашкаливает /=

кстати, а почему не амаз?

это личное, был жуткий случай, регился на мазоне, какой то индус замучал верифицировать экаунт. У AZURE и GCE - "два щелчка", а у амазона то скриншот паспорта то ещё что то. Три недели переписывались. Осадочек остался.

@hitmaker у твоего бота false positive зашкаливает /=

Нет, просто ты очень часто отправляешь сообщения :) flood-protect

Нет, просто ты очень часто отправляешь сообщения :) flood-protect

было аж два сообщения за хз сколько дней

На самом деле для кластеров я использую scaleway и с недавних пор hetzner cloud

это личное, был жуткий случай, регился на мазоне, какой то индус замучал верифицировать экаунт. У AZURE и GCE - "два щелчка", а у амазона то скриншот паспорта то ещё что то. Три недели переписывались. Осадочек остался.

так а что по йене?

крайне дёшево

ERROR: S client not available

+ насчет гемора, та же ажура у нас требует что бы подписали и отправили им то ли в ирландию то ли еще куда-то договор

но у них нет GPU

крайне дёшево

лол, у всех свои понятия. сколько?

+ насчет гемора, та же ажура у нас требует что бы подписали и отправили им то ли в ирландию то ли еще куда-то договор

меня как то прошла эта участь...

задумывалась над этим но смущает цена

правило большого пальца: если платишь за электричество, облако выгоднее

лол, у всех свои понятия. сколько?

https://www.scaleway.com/pricing/

меня как то прошла эта участь...

многих тоже, наверное там от страны и времени регистрации зависит

в компании сейчас все gpu вычисления на амазоне, и мне интересно, есть ли смысл дергаться с переходом на gce

правило большого пальца: если платишь за электричество, облако выгоднее

ох чет хз хз

https://www.hetzner.com/cloud (закладка цены)

https://www.scaleway.com/pricing/

эм а где там гпу или я слепая?

ох чет хз хз

естественно есть тонкости, но в первом приближение верно

https://cloud.google.com/gpu/ это прайсинг чисто на GPU, им ещё нужны инстансы к которым можно подрубать

https://www.hetzner.com/cloud (закладка цены)

лол, мы про гпу говорим. про впску понятно что можно где угодно за копейки поднять

кстати рекомендую использовать Preemptible

https://cloud.google.com/gpu/ это прайсинг чисто на GPU, им ещё нужны инстансы к которым можно подрубать

оч дорого сори

ок

а можно более подробнее?

https://habr.com/post/348058/ например

fast.ai перевели свой курс с амазона на https://www.paperspace.com/ Цены на GPU в принципе неплохие

https://www.paperspace.com/pricing

мысли сходятся

там правда фикс платежи есть , ок 15 долл в месяц

fast.ai перевели свой курс с амазона на https://www.paperspace.com/ Цены на GPU в принципе неплохие

а ты их юзаешь? не совсем поняла их план

8 баксов в месяц оч классная цена.. но не совсем понятно что ты получаешь

8 баксов в месяц оч классная цена.. но не совсем понятно что ты получаешь

а ты на F# под gpu пишешь?

а ты на F# под gpu пишешь?

нене, я только питон для этого дела

а ты их юзаешь? не совсем поняла их план

Еще не использовал, но планирую. Последний раз нейронки обучал на floydhub.com, но они цены подняли достаточно ощутимо

Еще не использовал, но планирую. Последний раз нейронки обучал на floydhub.com, но они цены подняли достаточно ощутимо

напиши плиз если что, я не очень поняла, берут ли они фиксированную оплату а потом за часы, или за часы это на норм видюхах