Готовой нет, но вот это должно помочь https://blog.keras.io/building-powerful-image-classification-models-using-very-little-data.html

Спасибо

Привет. stemmer = SnowballStemmer("english") tags = np.zeros((len(sentences), EMB_SIZE)) for i, sentence in enumerate(sentences): for word in sentence: word_proc = stemmer.stem(word) if word_proc in en_model: tags[i] += en_model[word_proc] Осваиваю векторизацию текста. sentences - токены предложений, [[], [], ...] tags - массив векторов для обучения Подскажите, может я в вышепреведенном коде делаю что не так? До этого куска я разбивал текст на токены, использовал BOW и получал ROC-AUC ~0.8 Здесь же ROC-AUC ~0.6. Для обучения векторизованного текста использую KNeighborsClassifier()

Анастасия вероятно не очень понимает разницу между дата инженером и дата сайнтистом

Александра....

Stackoverflow приводит классный калькулятор зарплат, и по указанным выше навыками 140 гросс ну никак не получается )https://stackoverflow.com/jobs/salary?utm_source=Iterable&utm_medium=email&utm_campaign=salary-calculator-2018

?

Всем привет. Одна компания в городе устраивает курсы по big data, зовут студентов. Я заинтересован в машинном обучении, стоит ли сходить на эти курсы ?

Всем привет. Одна компания в городе устраивает курсы по big data, зовут студентов. Я заинтересован в машинном обучении, стоит ли сходить на эти курсы ?

Заинтересован - сходи. Как минимум составишь своё впечатление.

Ну а в целом это связанные вещи, как я понимаю, так? Пока за спиной лишь курсы по глубокому обучению от другой компании, и курсы на ммос платформах

Ну а в целом это связанные вещи, как я понимаю, так? Пока за спиной лишь курсы по глубокому обучению от другой компании, и курсы на ммос платформах

Всё зависит от контекста. Вполне вероятно что это хорошие годные курсы, и именно там big data и machine learning связаны друг с другом. Но я встречал курсы, где это разные плоскости.

Стоит внимания?

Стоит внимания?

Ну как сказать... попробуй, если считаешь что оно того стоит

Житейский опыт и мудрость подсказывают, что пока ты сам не составишь своего собственного мнения - ты не узнаешь, стоит оно твоего внимания или не стоит. А не попробовав - ты не составишь собственного мнения. Да и опять же, не ошибается только тот, кто ничего не делает. Попробуй, заодно и нам расскажешь :)

@Snop_off злой бот режет рекламу :-/ Но мы поверим на слово

@Snop_off злой бот режет рекламу :-/ Но мы поверим на слово

Я могу посмотреть)

Привет. Я пытаюсь обучить классификатор для распознавания типа текста, задача с Kaggle.Для этого использую FastText & KNC. Вот мой код https://github.com/ikopeykin/IBA/blob/master/knn.ipynb Проблема у меня в том, что ROC-AUC ~0.6. Возможно, кто-то может подсмотреть код и сказать, что я сделал не так?

Я могу посмотреть)

Ты можешь :)

Ну там вроде мап редьюс хадуп вот ето всё

Apache Spark и всё такое, да да

Это типичные базворды, как я понимаю, да?

Да))))

Занятно, надо будет сегодня попробовать :)

Добрый вечер, Может ли кто помочь? Я новичок в мире Big Data. так что не судите строго =) Мне нужно написать приложение которое тянет поток данных (действия пользовтеля) из Кафки и сохраняет их в hbase. Как лучше все решить это задачу? Нужно ли использвать какую то стрим библеотку (akka streams, spark streaming) или можно обойтись без этого? Заранее спасибо ?

Красиво как за ночь стало.

Добрый день, хочется поделиться нашей недавней публикацией в вашем сообществе. В статье мы рассказали подробно о том, как мы сделали проект с клиентами ДоДо пицца - чатбота в телеграме, который определяет качество продукции по фотографии. https://hackernoon.com/your-pizza-is-good-how-to-teach-ai-to-evaluate-food-quality-d835a8c12e86

@shash_kova спасибо за статью!

not bad

Вот мне тоже так показалось, очень познавательно как минимум

и не только маркетинг

Подскажите какие предобученые модели можно использовать, чтоб дообучить распознавать на картинке лого брендов представленных на СНГ и бурж.

На мобильнике?

Привет. Я пытаюсь обучить классификатор для распознавания типа текста, задача с Kaggle.Для этого использую FastText & KNC. Вот мой код https://github.com/ikopeykin/IBA/blob/master/knn.ipynb Проблема у меня в том, что ROC-AUC ~0.6. Возможно, кто-то может подсмотреть код и сказать, что я сделал не так?

А у тебя в модели фасттекст такой же препроцессинг ?

Вообще это норм аук учитывая что ты даже не тюнил кнн

И он туда в принципе не очень подходит

Туда бы что нибудь лстмное

Можкшь ради интереза замерить долю токенов которые ты выкидываешь, из-за отсутствия их в модели

Я подозреваю что их не так много, т.к. фасттекст многие из них может достраивать по нграммам, но качество таких достраиваний может быть проблемой

Модель такую тоже первый раз вижу, ты уверен что там стемминг ?

@mafiadev

Модель такую тоже первый раз вижу, ты уверен что там стемминг ?

Да) Я уже пофиксил код. Проблема была в: А) Я не считал средний вектор каждого комментария Б) Я не заметил, что некоторые вектора были NaN или 0 — они нам не нужны https://github.com/ikopeykin/IBA/blob/master/knn.ipynb Вот рабочий пофикшеный код, прошедший ревью, с нормальным ROC-AUC. На гит не загрузился посчитанный, если кому-то нужно — пожалуйста, Считайте :)

Я почему возмутился, по поводу ROC-AUC 0.7 До этого сделал реализацию через TfidVecorizer и SVM: https://github.com/ikopeykin/IBA/blob/master/FE.ipynb По итогу получил: For toxic with C = 10 ROC-AUC score is 0.8513188013845338

Хех, я тоже заметил что нет усреднения, но упустил врочледствии