Can someone share the content for data science .?

Pirate!!! Get him!!

Всем привет. Кто нибудь работал с NER ( Named-entity recognition ) ?

Всем привет. Кто нибудь работал с NER ( Named-entity recognition ) ?

Посмотрите тут: https://www.kaggle.com/c/text-normalization-challenge-russian-language Насколько я помню у них в датасете уже были размечены некоторые типы слов

Привет! Кто-нибудь знает, как можно сделать кросс-валидацию в sklearn так, чтобы получить метрику качества для каждого класса при многоклассовой классификации?

@ninkovskiy , возможно вы ищете http://scikit-learn.org/stable/modules/generated/sklearn.metrics.classification_report.html только оно ни как не связанно с кросс-валидацией и поступить так, как рекомендуют вот в этом ответе: https://stackoverflow.com/a/42564796

@ninkovskiy , возможно вы ищете http://scikit-learn.org/stable/modules/generated/sklearn.metrics.classification_report.html только оно ни как не связанно с кросс-валидацией и поступить так, как рекомендуют вот в этом ответе: https://stackoverflow.com/a/42564796

но это метрики для всей выборки, а хотелось бы увидеть то же самое для нескольких фолдов. Вручную через StratifedKFold нет желания разбивать, есть ли готовое решение?

но это метрики для всей выборки, а хотелось бы увидеть то же самое для нескольких фолдов. Вручную через StratifedKFold нет желания разбивать, есть ли готовое решение?

За это время можно было уже разбить ?

За это время можно было уже разбить ?

А как же оптимизация?)

но это метрики для всей выборки, а хотелось бы увидеть то же самое для нескольких фолдов. Вручную через StratifedKFold нет желания разбивать, есть ли готовое решение?

готового решения, лично я, не видел. но думается что не так уж сложно это написать for i, (train, test) in enumerate(k_fold.split(X, y)): model.fit(X[train], y[train]) print("[fold {}] , score: {}". format(i, model.score(X[test], y[test]))) print (classification_report(model.predict(X[test]), y[test]) ) возможно с ошибками написал, но главное идея

Здравствуйте! Появилась необходимость вычленить коэффициенты, которые использует random forest в поставленной задаче. Нужно предоставить их разработчику для его нужд. Язык R. Буду благодарна любой подсказке.

готового решения, лично я, не видел. но думается что не так уж сложно это написать for i, (train, test) in enumerate(k_fold.split(X, y)): model.fit(X[train], y[train]) print("[fold {}] , score: {}". format(i, model.score(X[test], y[test]))) print (classification_report(model.predict(X[test]), y[test]) ) возможно с ошибками написал, но главное идея

Спасибо) Я понимаю, что можно написать вручную, но так хотелось, чтобы было красиво.. Поэтому я и пытаюсь найти стандартный метод, без написания велосипеда, но, кажется, его нет

Здравствуйте! Появилась необходимость вычленить коэффициенты, которые использует random forest в поставленной задаче. Нужно предоставить их разработчику для его нужд. Язык R. Буду благодарна любой подсказке.

В лесу нету коэффициентов

В лесу нету коэффициентов

Не подскажете, как в таком случае стоит действовать? Random Forest давал лучшие результаты, поэтому остановились именно на нем.

Пишите в личку полное описание задачи. За мелкий прайс расскажу, если буду знать

Посмотрите тут: https://www.kaggle.com/c/text-normalization-challenge-russian-language Насколько я помню у них в датасете уже были размечены некоторые типы слов

Спасибо

Коллеги

Есть чат по вакансиям бигдата?

Возможно где-то и есть. Нужно искать

информации нет, короче?

информации нет, короче?

Все вакансии на hh или суперджобе

ну, мне в обратную сторону )

В личку присылай, запустим по каналам

Всем привет! Ребят, у вас нет набора данных рекламных сообщения для обучения ML?

Посоветуйте какой-нибудь практический гайд по GRU/LSTM, пожалуйста.

Есть чат по вакансиям бигдата?

у нас хадупостек чатик есть, там можно запостить, если вакансия соотвествует

Соответствует

у нас хадупостек чатик есть, там можно запостить, если вакансия соотвествует

Он есть в github.com/goq/telegram-list ?

Напиши в личку, плз, куда постить

Он есть в github.com/goq/telegram-list ?

есть

* Data Engineers — Чат про Apache Hadoop

?

Подскажите материал по Big Data с нуля, который, как вам кажется, является исчерпывающим

Том Уайт - Hadoop подробное руководство

Спасиб, а есть на плюсах?

В книге есть примеры кода на плюсах, но вообще для хадуп родная ява, а не плюсы

смотри спарк как интро, хадуп потом посмотришь

Подскажите материал по Big Data с нуля, который, как вам кажется, является исчерпывающим

Есть очень качественный курс на stepic. Называется Hadoop. Важно: проходить степы, читая все комменты. Там в комментах ещё столько же инфы, сколько в материалах степа.

Спасиб, начнём-с)

ключевые слова: aws ec2 Deep Learning AMI Вопрос про конфигурирование предустановленных venv Где можно почитать как и что из конфигов правится, или где. Нашёл только что сами конфиги складываются в /tmp/

нужно изменить переменную KERAS_BACKEND

Добрый вечер! Не знаете, есть ли в свободном доступе датасет с русскими рекламными сообщениями или спамом?

Это уже второй такой вопрос за сегодня

Есть, но дорого. Сдаётся в аренду

Добрый вечер! Не знаете, есть ли в свободном доступе датасет с русскими рекламными сообщениями или спамом?

Могу насобирать с моего чатика))

Есть, но дорого. Сдаётся в аренду

Датасет? пример текстов можете показать?

Датасет? пример текстов можете показать?

Я спрошу по поводу примера. А вы пока скажите для чего, и в каком объёме вам это интересно. Потому что там ~миллиард записей точно, но возможно их намного больше

Я спрошу по поводу примера. А вы пока скажите для чего, и в каком объёме вам это интересно. Потому что там ~миллиард записей точно, но возможно их намного больше

Упал со стула*

порядка миллиона.

Я уточню. База не моя. Но знаю что парни дают в аренду данные. Дорого, но охренительно эффективно

Доброго утра. Посоветуйте интересный ресурс по Spark на русском. :)

Доброго утра. Посоветуйте интересный ресурс по Spark на русском. :)

http://www.spark-interfax.ru/

ERROR: S client not available

а кроме шуток? )

а кроме шуток? )

Хабр тег spark

Хабр тег spark

я даже не знаю что больше пользы принесет первая ссылка или тег на хабре

Привет всем! Что лучше использовать для кластеризации пользователей по гео инфе (масштаб "страна"). Есть идея на счет центров кластеров как "больших городов". Так же интересует, если кто соприкасался с визуализацией - подскажите либки (d3.js, etc)

Привет всем! Что лучше использовать для кластеризации пользователей по гео инфе (масштаб "страна"). Есть идея на счет центров кластеров как "больших городов". Так же интересует, если кто соприкасался с визуализацией - подскажите либки (d3.js, etc)

А какие цели?

А какие цели?

Хоть как-то использовать инфу пользователя по гео. просто подставлять (лат,лон) не очень подходит и слишком просто :)

Хоть как-то использовать инфу пользователя по гео. просто подставлять (лат,лон) не очень подходит и слишком просто :)

Ну если так, то можно использовать погоду. Она очень логично определяет кластеры

кто-нибудь tflearn ставил в анаконду?

Пробовал немного

попроще keras'а

Я делаю библиотеку для создания нейронных сетей на js

попроще keras'а

Импоссибль!

Я делаю библиотеку для создания нейронных сетей на js

Трамвай из буханки хлеба, короче

За то красиво и вкусно

Трамвай из буханки хлеба, короче

...тролейбус...

Но есть же MXNetJS

Но есть же MXNetJS

есть wasm

С такими методами далеко пойдёшь

А в 149 строк вряд ли поместилось что-то сопоставимое

...тролейбус...

Асинхронный!

С такими методами далеко пойдёшь

Ты про шаманизм?)

Ты про шаманизм?)

Да

Импоссибль!

Тф сложнее сильно