Ребята, подскажите, есть несбалансированная выборка 1:50, я ее делю на тестовую и обучающую, обучающую овер сеплю и андерсеплю, на ней учусь xgb, все норм, на тестовой получается ерунда, что можно предпринять по этому поводу?

Какого рода ерунда?

Если модель обучилась до точности 98%, то на тесте те же 98% можно и без модели получить

Ну я не accuracy меряю, на обучении precision recall маленького класса ~90, на тесте 50%, 7% соответственно

тестовая и обучающая выборки случайно выбираются?

пропорция между классами сохраняется?

Случайно. Сохраняется

Так, в тестовой сохраняется, в обучающей уже потом не сохраняется

может наоборот?

у тебя тестовая/обучающая какое соотношение

Тестовая обучающая 3/7. Не наоборот, потому что я же обучающую после разделения оверсемплю

раздели по отдельным классам и передай в http://scikit-learn.org/stable/modules/generated/sklearn.model_selection.train_test_split.html

потом объедини

будет 1к50 в тестовой и учебной

Ну в смысле будет и там и там такая пропорция и просто на этом попробовать его обучить без генерации minority класса?

Для начала всегда нужно так делать

Потом смотреть, помогает ли балансировка классов

что думаете? https://nplus1.ru/news/2017/02/25/take

что думаете? https://nplus1.ru/news/2017/02/25/take

что теперь ещё и за переобученными моделями баги исправлять придётся

что думаете? https://nplus1.ru/news/2017/02/25/take

А описание кто и в каком виде должен писать?

@Acapone какая связь с темой текущего чата?

тыж программист

это спам

всем привет! есть клиентская база, нужно разбить на бизнес-группы некие. зачастую используется связка kNN +pca(2компоненты) и потом из изображают на 2D графике, где цвет - кластер, а оси - главные компоненты, но как понять что за кластеры с точки зрения бизнес-смысла получаются и как связать главные компоненты с изначальным набором переменных? метод в pca о доли объясненной дисперсии каждой компонентой мне кажется недостаточно информативен

А сколько изначально переменных? Вообще-то pca по сути отображает переменные в пространство где отсутвуют коррелируемые переменные. Для нахождения кластеров - пробовали сразу визуализировать данные с помощью t-SNE?

А сколько изначально переменных? Вообще-то pca по сути отображает переменные в пространство где отсутвуют коррелируемые переменные. Для нахождения кластеров - пробовали сразу визуализировать данные с помощью t-SNE?

Denis Denis: изначально 4-5 переменных. вообще можно больше, но я рассматривал только переменные, которые являются долями и в сумме дают 1 (например доля трат клиентом в понедельник, вторник и т д по каждому дню дают в сумме 1)

У вас классно, но похоже я еще не готов осилить BD/ML ?

Всем привет! Я в поисках data scientist, горящего этим направлением, ничего против не имеющего банковского сектора, рассматривающего (вполне серьезно!) карьерные возможности, ожидающего хороший (!) уровнь финансовой компенсации! Отзовись! Резюме можно направлять в лс. Всем хорошего вечера!☺

Началось...

можно ли стать дата саентистом, имея образование 11 классов средней школы?

HR расчухали тему с телеграмом штоль

Всем привет! Я в поисках data scientist, горящего этим направлением, ничего против не имеющего банковского сектора, рассматривающего (вполне серьезно!) карьерные возможности, ожидающего хороший (!) уровнь финансовой компенсации! Отзовись! Резюме можно направлять в лс. Всем хорошего вечера!☺

Ищем дата сатанистов @ Не называем цифры

Ищем дата сатанистов @ Не называем цифры

суммы

Расчухали))

По цифрам могу сориентировать в лс

Все очень индивидуально.

Смотрим людей только с высшим образованием.

а если у меня статьи в журналах?

Смотрим людей только с высшим образованием.

Смотрим на glassdor, ods, игнорируем всё, что меньше $4k в Москве

а если у меня статьи в журналах?

И нет высшего? :D

К сожалению, пока только с релевантным опытом

Я вот тут подумал

Надо бы обсудить с коллегами админами чатов по смежным тематикам, и может сделать канал или чат вакансий отдельно

ERROR: S client not available

И нет высшего? :D

Как Да Винчи

Надо бы обсудить с коллегами админами чатов по смежным тематикам, и может сделать канал или чат вакансий отдельно

Он есть

https://telegram.me/joinchat/ABI4pz7v7KfJhb12XIkIUA

Или не то?

блин

ссылка бита

Здорово! Спасибо большое за ссылку!

Ребята, подскажите, пожалуйста, инструмент, либу или способ решения задачи: есть 1 млн html файлов (объявления). Есть форма, которую нужно заполнить при анализе каждого файла и записать в базу, json (это пока не критично). Нужно выдернуть из описания подходящие под поле формы значения и записать. В настоящий момент не известно какие точно ключевые слова будут подходить для каждого поля, поэтому будет постанализ , чтобы делать корректировки в ключевые слова, а возможно и в стоп-слова

гугли scikit feature extraction

или nltoolkit более специализированная

Надо бы обсудить с коллегами админами чатов по смежным тематикам, и может сделать канал или чат вакансий отдельно

Хм... А потом набигать туда развлекаться

гугли scikit feature extraction

спасибо!

https://openbigdata.ru/

Регистрируйтесь ;)

Сергей, а какова тематика хакатона? Там с одной стороны написано про big data, но из "требований" можно сделать вывод, что это только чат-бот-фронт к некой внутренней системе.

Похоже что так и есть. Немного не понятно только, какое будет апи

Но вообще интересно

Добавьте к главным призам еще тысяч 500 рублей, а то не солидно как-то

В прошлом году хакатон был с музыкальным чатботом

Там приз интереснее был