@bigdata_ru
tonko31.08.2017
10:42:24
10:42:24
сообщений сколько самих
Проксимов31.08.2017
10:42:58
10:42:58
Не понимаю вопроса
GoogleПроксимов31.08.2017
10:43:15
10:43:15
Есть текст от 0 до ~350 символов
Нужно определить его соответствие заданной теме
tonko31.08.2017
10:43:44
10:43:44
Текст-то один чтоли?
tonko31.08.2017
10:45:27
10:45:27
В общем, если текст один, то лучше использовать готовый классификатор, который знает какое слово в общем к какой теме относится, типа как словарь. Но если у тебя есть 50-1к текстов, то можешь свой классификатор обучать.
Проксимов31.08.2017
10:46:10
10:46:10
Готовый классификатор этот где взять? Какая либа под питон? Я тогда пойду по ней доки курить
И ещё, если в тексте будут сокращения типа AI/ML он поймёт это?
tonko31.08.2017
10:47:23
10:47:23
Надо гуглить, я для тематического моделирования не искал, но есть, например обученные модели word2vec, их можно использовать например.
Проксимов31.08.2017
10:54:16
10:54:16
https://www.analyticsvidhya.com/blog/2016/08/beginners-guide-to-topic-modeling-in-python/
Lda тут не подойдёт?
tonko31.08.2017
11:05:38
11:05:38
Можно поискать датасет схожий с твоими текстами, чтобы тематики были общие, словарь включал AI/ML и пообучать на нем lda и другие модели. В качестве датасета подойдут логи чатиков, мне кажется.
Проксимов31.08.2017
11:08:09
11:08:09
tonko31.08.2017
11:08:51
11:08:51
Сложность по большей части в оценке качества модели
Googletonko31.08.2017
11:09:09
11:09:09
Для этого нужен размеченный датасет
Vova31.08.2017
11:09:21
11:09:21
i will learn russian language to be able to talk with you guys..
It is hardly necessary to learn russian lang. to talk with us :)tonko31.08.2017
11:09:32
11:09:32
Но можно просто собрать побольше данных, например еще с хабра и потыкать наудачу)
Можно кстати попробовать срезать
Взять предобученную модель, накидать руками небольшой словарь ml-related терминов и оценивать по нему
Еще можно автоматически достать синонимы из предобученных моделек word2vec, например с rusvectores
Vladimir31.08.2017
11:12:02
11:12:02
Ребят, доброго всем дня. Подскажите пожалуйста, с чего лучше начать в машинном обучении?
tonko31.08.2017
11:12:18
11:12:18
Но это все костыльно и неточно будет
sic transit31.08.2017
11:12:31
11:12:31
tonko31.08.2017
11:14:23
11:14:23
Насколько это сложная задача?
Твою задачу можно свести к " определить относится текст к датасаенсу или нет?" Или у тебя есть еще какие то темы, которые ты собираешься определять?
Vlad31.08.2017
11:15:21
11:15:21
Проксимов31.08.2017
11:16:24
11:16:24
Artem31.08.2017
11:16:28
11:16:28
Еще матанализ наверное надо почитать
Vladimir31.08.2017
11:17:50
11:17:50
А если все перечисленное выше изучал в универе?
tonko31.08.2017
11:18:01
11:18:01
Да, можно
тогда я бы на твоем месте пособирал хотябы 200-300 различных предложений, разметил их вручную (относится-не относитя) и пообучал бы на нём lstmsic transit31.08.2017
11:18:18
11:18:18
Google
Dmitriy31.08.2017
11:18:39
11:18:39
Начни с курса Andrew Ng
Он мне кажется ровно тот объем математики дает, который нужно вспомнить, чтобы начать что-то делать
Vladimir31.08.2017
11:21:59
11:21:59
Всем спасибо)
Vova31.08.2017
11:28:57
11:28:57
Ребят, доброго всем дня. Подскажите пожалуйста, с чего лучше начать в машинном обучении?
Со статистики. Выборки, распределения, доверительные интервалы, правила трёх сигма, оценки (смещённые и проч.), дисперсии, меры разброса. Потом перейти к регрессиям - линейным. Потом к факторному анализу, методу анализа главных компонент, дискриминантному анализу, корреляциям и тп. Потом уже заходить на ML Начиная с логистической регрессии (на самом деле список очень стандартный).Ivan31.08.2017
13:11:38
13:11:38
Ребят, доброго всем дня. Подскажите пожалуйста, с чего лучше начать в машинном обучении?
линейная алгебра (до жордановых форм), высшая математика (до тфкп), щепотка комбинаторики и 20 лет программированияах да, еще теория вероятности, что бы от зубов отскакивала
Vyaches31.08.2017
13:32:17
13:32:17
Всем привет! Может ктонибудь подсказать, реально ли обучить нейронную сеть на интерполяцию поля значений из нерегулярных узлов сетки в узлы регулярной сетки?
Может кто-нибудь в ЛС проконсультировать? Спасибо! :)
EvgenyTechnology31.08.2017
14:27:16
14:27:16
можно тут от чайников вопросы? anaconda-project add-packages python виснет, это из-за того что скорость интернета низкая? или я что то не так делаю?
Maksym31.08.2017
14:28:35
14:28:35
Technology31.08.2017
14:29:20
14:29:20
Maksym31.08.2017
14:34:35
14:34:35
поставить пакеты в только что инициализированный проект
Я все пакеты ставил через conda, никаких проблем не было. А про этот вот ваш способ никогда не слышал.
Andrey31.08.2017
14:35:17
14:35:17
В анаконде окружения надо юзать
Technology31.08.2017
14:35:45
14:35:45
Google
Максим31.08.2017
14:53:31
14:53:31
Начал читать - невозможно, пдф печать качество не очень
I31.08.2017
14:55:41
14:55:41
#вопрос
всем привет) ситуация следующая - мне 28,5 лет. Работаю SEOшником. Образование инженер строитель - голова на месте(вродебы)?? В старших классах кое-что программировал, и вроде получалось + несколько лет назад + программировал на примитивном языке(встроенном) тесты стратегий на форексе. То есть для меня это не то что бы совсем дремучий лес. Самообучаем. Цифры текут по венам. Хочу ввязатся в Data Science и ей подобные сферы, и ввяжусь) Чувствую что это мое. Но немного давит то что на изучение тематики до уровня Джуна (или типа этого) в лучшем случае уйдет пол года - а вообще на год примерно расчитываю =То есть грубо говоря мне будет 30 когда до минимального уровня свои скилы доведу. Мне уже в 28 говорили "тебе жжжжжжжжжжжжж ажжжжж 28 лет" - представляю что будет в 30.
На что мне расчитывать а на что нет? к чему готовится а к чему нет? короче ваши мысли?
План обучения себе накидал - но предложения по этому поводу тоже приветствуются. Спасибо)
Займись обучением, если чувствуешь, что это твоё, то всё будет ок. А чтобы было легче могу сказать, что мне 34 и я только планирую изучать)
Николай31.08.2017
14:56:21
14:56:21
Займись обучением, если чувствуешь, что это твоё, то всё будет ок. А чтобы было легче могу сказать, что мне 34 и я только планирую изучать)
спасибо за поддержку)Начал читать - невозможно, пдф печать качество не очень
поидее качество должно быть норм если у тебя такая жеI31.08.2017
14:57:32
14:57:32
у меня на этот счёт мнение полярное - в России рынок Data Science узкий и потенциал (capacity) его будет даже сужаться (вертикаль власти и тп). Всё сваливается обратно в типа-совок, постепенно превратится всё в одну госкорпорацию (утрирую). DS нужен где подвижный розничный рынок. Где много сторон и много игроков. В россии потенциал DS разве что в ФСБ - для поиска инакомыслящих в блогах, плюс несколько ещё пока не приятнутых к гос-ву больших частных розничных компаний (банки - тоже розница). Так что тут без особого потенциала, ну и не надо вестись на хайп-моду. Вам в копилку такое мнение.
Очень точно и правильно сказано, но это если ты планируешь продавать свой скил дяде в россии, а если нет, то возможностей разных много
I31.08.2017
15:00:34
15:00:34
Кстати, на курсере видел курсы по машиному обучению и анализу данных от Яндекс, кто-нибудь их проходил? Хотелось бы услышать отзывы?
Максим31.08.2017
15:01:17
15:01:17
Проходи, с чувством с толком с расстановкой
I31.08.2017
15:02:30
15:02:30
Проходи, с чувством с толком с расстановкой
Да посмотрел список, мне понравилось, всё структурировано и чёткоAnton31.08.2017
15:02:34
15:02:34
там на картинках самая боль начинается
Arthur31.08.2017
15:13:22
15:13:22
Кстати, на курсере видел курсы по машиному обучению и анализу данных от Яндекс, кто-нибудь их проходил? Хотелось бы услышать отзывы?
Проходи, замечательные курсы. Сам заканчиваю специализацию их.I31.08.2017
15:14:23
15:14:23
Проходи, замечательные курсы. Сам заканчиваю специализацию их.
Спасибо, сколько времени заняло прохождение курсов?Arthur31.08.2017
15:16:35
15:16:35
Спасибо, сколько времени заняло прохождение курсов?
Все зависит от тебя) если проходить четко по их плану, то около 7 месяцев. В остальном, все зависит от того, насколько легко материал будет "заходить"GoogleI31.08.2017
15:17:37
15:17:37
Все зависит от тебя) если проходить четко по их плану, то около 7 месяцев. В остальном, все зависит от того, насколько легко материал будет "заходить"
Это фул таим или когда время позволяло?Arthur31.08.2017
15:18:20
15:18:20
Также я очень въедливый
Поэтому очень много времени тратил на изучение данного материала и в других источниках
Чтобы подробней изучить вопрос
I31.08.2017
15:20:15
15:20:15
Я в своё свободное от работы время все изучал.
Ну по времени так и планирую, а вникать в детали это хорошо. Там кто-то на вопромы отвечает или всё сам? Там вообще есть взаимодействие с менторами?Arthur31.08.2017
15:20:34
15:20:34
Через slack
Там группа у них есть
Но мне, например, не приходилось
Вникал до "соплей", чтобы самому разобраться с задачами или спорными вопросами
Тут все от личностного подхода зависит
Открыть в Telegram