смысле надоел хайп?

Ну выше было негодование по причине хайпа

Ну выше было негодование по причине хайпа

а чего негодовать то проблем море, бери решай, что много народа над этим сейчас трудится, ну это конечно снизит ставки, но не думаю что намного

рыночек растет и будет расти еще долго

Есть кто из Сибири?

статистически-есть )

статистически-есть )

В среднем

Есть кто из Сибири?

Критерии «Из Сибири» уточни

Нужно там родиться, жить, жить сейчас? :)

сейчас )

я все же надеюсь до полноценного Искина в этот раз доедем

Мы работаем над этим)

Может знает кто датасеты по рекомендательным системам по которым статьи пишутся? Идеально, чтобы по сопутствующим товарам

https://grouplens.org/datasets/movielens/

Ребят, подскажите какую базу лучше использовать для text-mining? Есть большое количество текстов, сейчас нужно найти совпадения и частоту по каждому тексту большого количества фраз. Проблема в том что я не уверен какие будут задачи в будущем, решения типа elasticsearch не предоставляют данных например по частоте слова внутри конкретного текста (только по всей выборке), поэтому не понятно... Сейчас все лежит в mongodb и как-то хреново...

То есть нужен не просто поиск а извлечение отдельных характеристик по каждому тексту

Ребят, подскажите какую базу лучше использовать для text-mining? Есть большое количество текстов, сейчас нужно найти совпадения и частоту по каждому тексту большого количества фраз. Проблема в том что я не уверен какие будут задачи в будущем, решения типа elasticsearch не предоставляют данных например по частоте слова внутри конкретного текста (только по всей выборке), поэтому не понятно... Сейчас все лежит в mongodb и как-то хреново...

Это не то что тебе нужно ? https://www.elastic.co/guide/en/elasticsearch/reference/current/docs-termvectors.html

Это не то что тебе нужно ? https://www.elastic.co/guide/en/elasticsearch/reference/current/docs-termvectors.html

Да, оказалось что кое-что есть, но мне нужно считать частоту не только понятий но и целых фраз. Получается нужно либо как-то считать её используя term vector с позициями либо искать другой способ.

Да, оказалось что кое-что есть, но мне нужно считать частоту не только понятий но и целых фраз. Получается нужно либо как-то считать её используя term vector с позициями либо искать другой способ.

Частоту употребления одних слов с другими?

Частоту употребления одних слов с другими?

Не совсем, например у нас есть фраза "speech recognition", мне нужно найти частоту этой фразы для каждого документа. Именно всей фразы в определенном порядке. Таких фраз будет больше тысячи.

То есть term vector может отдать частоту понятий speech и recognition для каждого документа, но это не совсем то.

рыночек растет и будет расти еще долго

Имеет ли смысл из low level кода переходить в эту отрасль? Пока молодой, есть возможность на корню переучиться. Просто, как мне кажется, то поле для каких-то инноваций и открытий тут намного шире ,чем в том же osdev'e, откуда я пришёл.

И еще такой вопрос: реально ли на kaggle джоб-оффер получить, если активно принимать участие в соревнованиях? Или это уже за гранью реальности?

Оффер нужен же сразу с релокейтом, смотри сам, насколько это реально

Ну то есть насколько в США или еще где не хватает специалистов твоего уровня, чтобы оправдать такие затраты

Оффер нужен же сразу с релокейтом, смотри сам, насколько это реально

Удалённых дата саентистов не любят?

Сейчас в мае результаты гринки будут известны, мб релокейт и не понадобится) Да, тоже интересен момент с удаленкой

Дата саенс - это R&D, это то, что аутсорсят в последнюю очередь. Имхо - вне полностью распределенных команд серьезной работы по удаленке не будет

Не совсем, например у нас есть фраза "speech recognition", мне нужно найти частоту этой фразы для каждого документа. Именно всей фразы в определенном порядке. Таких фраз будет больше тысячи.

tf + position ?

там позицию терма тоже можно получить

tf + position ?

Да, и дальше это все считать в приложении?

да

Вариант, просто думал может есть что-то такое же для match_phrase которая уже посчитана

По сути ES делает то же самое на match_phrase...но я хз как получить frequency

хранить стату для всех фраз/словосочетаний кмк дороговато будет

хранить стату для всех фраз/словосочетаний кмк дороговато будет

Ну это да, я к тому что он считает фразы на лету, может он может и отдавать то что посчитал а не только то что нашёл

Хранить фразы нереально конечно, так как никогда не знаешь что такое фраза

Где она начинается и заканчивается

если добавлять dropout перестает обучаться

Это явно показывает две вещи. 1. Overfitting. 2. Процесс близок к случайному. Запомнить его можно, предсказать - нет. Предсказывай на новостях, на Твиттере Трампа, например

Это явно показывает две вещи. 1. Overfitting. 2. Процесс близок к случайному. Запомнить его можно, предсказать - нет. Предсказывай на новостях, на Твиттере Трампа, например

да я тоже подумал о том что она переобучается. и процесс действительно близок к случайному

если бы закономернеости были то ими пользовались бы все и тогда закономерности перестали бы действовать

На российском валютном рынке закономерности очевидны - валютные интервенции Центробанка. Не благодари :)

На российском валютном рынке закономерности очевидны - валютные интервенции Центробанка. Не благодари :)

да они опять пообещали это делать

Ну это да, я к тому что он считает фразы на лету, может он может и отдавать то что посчитал а не только то что нашёл

попробуй в explain посмотреть, что он на этот запрос отдаст, возможно там будет эта инфа

Интересуюсь этой темой. Есть много статей. Искать проще через google scholar. так вот там авторы получают от 64 до где-то 80%. Вчера наткнулся на авторов которые проверяли случайность во временных рядах через показатель Херста. и результат в их тестировании был сильно более 0.5. Но есть одно большое "Но": статья эта была написано в 2000 году. Тогда не было всяких HFT, советников и тд.

Так посчитай Херста для своих данных, оценишь напрямую, а не по статье прошлого века.

Леонид меня лично более волнует вопрос о том что предсказывать. направление следующего бара. спорно, реакция может быть через бар, а а может вообще все зависит от того по какой часовой зоне close price получен

Может как вариант предсказывать выбросы и аномалии. Может развороты

Может мувинг делать и его же предсказывать.

Леонид меня лично более волнует вопрос о том что предсказывать. направление следующего бара. спорно, реакция может быть через бар, а а может вообще все зависит от того по какой часовой зоне close price получен

Я бы предсказывал величины типа "будет ли рост на 1% за следующий временной отрезок". Она как-то более осмысленная, чем следующая флунктуация. Но я не квант, мой совет может быть плох.

Я бы предсказывал величины типа "будет ли рост на 1% за следующий временной отрезок". Она как-то более осмысленная, чем следующая флунктуация. Но я не квант, мой совет может быть плох.

то есть это получается классификация на 3 класса: нет роста, есть положительный рост на >1%, есть отрицательный рост >1%

я правильно понял идею?

А следующий временной отрезок - это следующий бар или несколько баров? Я об этом тоже задумывался

Да, верно. На два проще, но можно на три. Следующий отрезок - любой полезный. Если торгуешь на длинных отрезках, то хоть день.

да я не торгую. спортивный интерес)

ERROR: S client not available

всем приветы, занимается ли кто рекомендационными системами? пишу диплом по этому, есть пару вопросов

всем приветы, занимается ли кто рекомендационными системами? пишу диплом по этому, есть пару вопросов

Был такой опыт, пиши)

Был такой опыт, пиши)

Мне уже один человек подсказал, но буду иметь ввиду, спасибо

Господа, что почитать для базового ведения в нейронные сети?

Народ

Всемпривет

Вы вкурсе что человечество создаёт огромные себе проблемы

Машина захочет вытеснить наш вид

Я уже хочу вытеснить ваш вид.

Пойди делом займись, гомо-сапиенс.

Ты непродуктивен.

Машина захочет вытеснить наш вид

Слишком тонко

Я уже хочу вытеснить ваш вид.

????????

Вы вкурсе что человечество создаёт огромные себе проблемы

2,8 млн. лет как в курсе

Господа, что почитать для базового ведения в нейронные сети?

CS231n, neuralnetworksanddeeplearning.com

спасибо

Друзья,а где правила чата? Не могу найти?

Друзья,а где правила чата? Не могу найти?

С какой целью ты хочешь найти правила чата?

Ну как минимум с ними ознакомиться ?

Здесь действует одно правило: правило адекватного, профессионального и релевантного чату общения.

Супер,спасибо;-)

Господа, что почитать для базового ведения в нейронные сети?

Потом, для небазового, можно попробовать одолеть "Нейронные сети" Саймона Хайкина. Лучше в оригинале, потому что переведены они посредственно.

Часть машины