не то

вот правильная ссылка https://raw.githubusercontent.com/PacktPublishing/Learning-Pandas-Second-Edition/master/data/goog.csv

https://raw.githubusercontent.com/PacktPublishing/Learning-Pandas-Second-Edition/master/data/goog.csv

а ну я уже опоздал)

понял

благодарю

да вот это и сохраняйте

Супер, спасибо)

Странный вопрос: а существуют ли Feature ranking tests, которые автоматические создают комбинированные переменные и смотрят зависимость с целовой(Y).Грубо говорая Feature Engineering

Есть

Щас поищу

воу

http://scikit-learn.org/stable/modules/generated/sklearn.preprocessing.PolynomialFeatures.html

вот вроде то что нужно

Оно ж умеет только создавать, а не тестировать?

ну блин для тестирования там тоже полно библиотек

Я не ожидал что такие решения действительно существуют

вот вроде то что нужно

Спасибо !

да там столько всего вкусного сам расстроен что всего не знаю

просто балдеж, с каждым разом диву даюсь

бле пацаны, в какой тип impala может сконвертить hbaseвский big-endian long?

да там столько всего вкусного сам расстроен что всего не знаю

теперь бы адекватно понять как это работает

Народ, кто нибудь в курсе почему может не работает нампаевский fill? почему-то None возвращает... y = np.zeros(shape=(49,)) y.fill(1)

теперь сделай print(y)

!pip3 install numpy —upgrade тоже не помог.

плак плак

y=y.fill(

замените на y.fill(

и должно получиться счастье

и должно получиться счастье

внезапно заработало. хотя до этого писал точь в точь так же[по крайней мере изначально вопрос формулировал именно так]. Наверное upgrade всё-таки помог. В любом случае, спасибо.

вероятно эффект наблюдателя)) у меня тоже такая петрушка постоянно

вероятно эффект наблюдателя)) у меня тоже такая петрушка постоянно

ну или просто затупил, ага. бывает :D

Подскажите каким алгоритмом лучше считать рекомендации на оооочень разряженой матрице. И вообще есть ли смысл такое считать

Я обычно использовала Спарк с его АЛС.

насколько ооочень большая?

ну т.е. на один комп без вариантов впихнуть?

100.000 юзеров, 7000 магазинов

Но я откинула вообще магазы где ничего не покупали и юзеров которые ничего не купили

ну вообще должна влезть и в оперативку...

Получилось не много данных но нулей многовато все равно

Ну это да, влезает

попробуйте матричные разложения

Я сгрупировала магазы в категории , что бы уменьшить рощряженость

Того 3000юзер*80категория

ну вообще если база изначально очень большая я бы по юзерам и магазам построил что то вроде графов и отобрал бы несвязанные компоненты, тогда можно работать не с большой кучей данных а с кучками поменьше, но правда скорее всего это все слипнется в одну большую компоненту

http://antoinevastel.github.io/machine%20learning/python/2016/02/14/svd-recommender-system.html

попробуйте такой подход

или у вас что то более специфическое

SVD разве не хуже на разряженых данных чем АЛС ?

честно - не сравнивал

Специфичность в том, что взаимодействий юзера с магазином ничтожное

но я бы толкался от оценки результатов на выходе

Рекомендуются магазины

попробуйте прорядить свою матрицу еще немножко и попробовать разные подходы, кто точнее и полнее восстановит то что мы прорядили - тот и молодец

100.000 юзеров, 7000 магазинов

https://www.oreilly.com/ideas/deep-matrix-factorization-using-apache-mxnet

надо будет покрутить)

ну и туда же неплохо бы стабильность спроса добавить

Пока я изучаю агрегированный спрос на группы одежды (сорочки, пиджаки и т. д.) в целом и в разных городах, чтобы «с высоты птичьего полёта» получить общее понимание - по каждой товарной группе лучше двигаться в сторону более дорогих или более дешевых товаров, и есть ли смысл в дифференцировании ценовой политики по регионам. Пока что я построил регрессию логарифма спроса на логарифм цены, и (знающие люди, спасибо им, подсказали) добавил в качестве инструмента для цены себестоимость (т. к. очевидно, что пропущенные переменные в модели есть). Вот думаю, может я чего-то ещё не учёл? Может, есть альтернативные способы учесть, что ошибки не i.i.d.? А на уровне отдельных товаров планирую отдельно поисследовать и копать в сторону discrete choice models - всяческие логиты, пробиты и т. п. Тут получается, кстати, что нужно оценивать очень много переменных с гигантской ковариационной матрицей, и если есть практические советы на эту тему - буду премного благодарен

Смысл логарифмирования цены не очень понятен. Оно было бы понятно, если б половина людей покупала обычную одежду за 100$, другая половина - исключительно от Армани по личному заказу за 10000$-5000000$

ну так юзайте QR - идеально для sparse

А так шкала выглядит вполне себе линейной

ERROR: S client not available

Есть дополнительные данные в модели?

Часть людей будет смотреть только на цену одежды, часть - только на качество. Итоговый спрос будет во многом зависеть от соотношения числа людей этих двух типов в городе

Зарплата в конкретном регионе будет влиять и объем рекламы по брендам, наличие стоковых магазинов по брендам

Бедные люди будут искать самое дешёвое, а остальные - зашёл в магазин, понравилось - купил, и на их спрос изменение цены в разумных пределах вообще никак влиять не будет, вот в чём гипотеза

Обычно люди думают не больше одноклеточных молекул в этом плане

Зарплата в конкретном регионе будет влиять и объем рекламы по брендам, наличие стоковых магазинов по брендам

Мужику в любом случае надо одни штаны, одну шапку одни сапоги и т.д., вне зависимости от зарплаты. Вот бабы другое дело

Короче у одежды для разных полов должны быть разные паттерны

Мужику в любом случае надо одни штаны, одну шапку одни сапоги и т.д., вне зависимости от зарплаты. Вот бабы другое дело

Много дорогой одежды в регионах покупают в кредит, например шубы. Процент одобрения кредитов меняется по регионам. Например Кавказ одобряют меньше чем Ханты

Много дорогой одежды в регионах покупают в кредит, например шубы. Процент одобрения кредитов меняется по регионам. Например Кавказ одобряют меньше чем Ханты

Дорогие шубы тоже только бабы покупают

Или мужик бабе

или дорогой мужик мужику

Мужику в любом случае надо одни штаны, одну шапку одни сапоги и т.д., вне зависимости от зарплаты. Вот бабы другое дело

Кек

? Это выбросы

шубы и мужские бывают

я понимаю, что в датасете это будет аномалией какой-то

но все же

Скорее ещё может влиять дата покупки. Выплаты заработных плат имеют циклы, перед началом цикла человек покупает дороже, в конце цикла сосёт , ой. Экономит

Мое почтение уважаемым экспертам. Не решал ли кто-нибудь задачу оценки эластичности спроса по цене?

Решал)

Уважаемые дать сайентисты, я понимаю, что можно расширять модель и добавлять переменные. Вы правильно все пишете, но я исхожу из того, что в любой модели всегда будут пропущенные переменные, ибо либо мы не знаем про них, либо нет соответствующих данных. И задача, таким образом - понимая, что модель неверно (неполностью) специфицирована получить, тем не менее, несмещённые оценки.

А кто-нибудь имел дело с OneClassSVM из sklearn(http://scikit-learn.org/stable/modules/generated/sklearn.svm.OneClassSVM.html)? Подскажите пожалуйста, можно ли как-то тюнинговать классификатор, чтобы с запасом сдвинуть порог срабатывания в нужную сторону? У меня задача, в которой допускаются ложные положительные срабатывания, но ложные отрицательные нужно свести к минимуму(в идеале - исключить). Пробовал подбирать nu и gamma, но только за их счёт нужного результата добиться не получается

Господа

Есть ли принципиальная разница между тем, какую библиотеку изучать первой? Типа, тензор флоу либо керас? Есть ли принципиальная разница или приоритеты?

или скайкит

А кто-нибудь имел дело с OneClassSVM из sklearn(http://scikit-learn.org/stable/modules/generated/sklearn.svm.OneClassSVM.html)? Подскажите пожалуйста, можно ли как-то тюнинговать классификатор, чтобы с запасом сдвинуть порог срабатывания в нужную сторону? У меня задача, в которой допускаются ложные положительные срабатывания, но ложные отрицательные нужно свести к минимуму(в идеале - исключить). Пробовал подбирать nu и gamma, но только за их счёт нужного результата добиться не получается

На марджины положительного класса штраф возьми с коэффициентом, нужным тебе

Искусственно это можно сделать, "размножив" положительный класс, оттуда пойдут все изменения к двойственной задаче

ну там собственно один класс и есть

то есть просто продублировать объекты многократно?

или есть смысл добавлять какой-то шум к значениям?

то есть просто продублировать объекты многократно?

Там есть sample_weight в fit, туда подать можно. Руками ничего размножать не надо

аа, вот оно что

а я в параметры самого классификатора втыкал