https://www.dropbox.com/s/px7qv8zm328ltca/ ребят где можно скачать все части данного курса?

https://github.com/demidovakatya/mashinnoye-obucheniye

Спасибо, но не подошло, через цикл сделал

посмотрите на функцию pivot в пандас

Всем привет! Подскажите, а здесь есть те кто, занимается цифровизацией бигдата? То есть переводит какие-то аналоговые большие данные в цифру?

Ты имеешь в виду Scan -> OCR -> Sort ?

Ты имеешь в виду Scan -> OCR -> Sort ?

не совсем оусиа, а допустим 1000+ показаний(датчики) и связки их в датасет, так скажем

Знакомый занимался какими-то исследованиями для энергосбывающей компании (которая электричество продаёт). Что-то переводили в цифровой вид, много считали, много думали.

А в чём вопрос-то?

Всем привет! Подскажите, а здесь есть те кто, занимается цифровизацией бигдата? То есть переводит какие-то аналоговые большие данные в цифру?

вот буквльно сейчас проект. И там правда OCR

А в чём вопрос-то?

Конкретики мало, хотел узнать, занимается ли кто-то, чем-то другим кроме OCR :)

opencv ?

Opencv либа для обработки видеопотока, насколько помню, есть "запрос" на обработку различных данных с датчиков, но много непонятного :)

вот решил спросить в чате, не могу похвастаться большим опытом в BD

у Абби есть FlaxyCapture помогает из бумаги выдерать данные и на них вешать проверки

у нас тут сельское хозяйство)

Opencv либа для обработки видеопотока, насколько помню, есть "запрос" на обработку различных данных с датчиков, но много непонятного :)

ааа

я думал про бумагу

Нет, к сожалению)

кстати, есть ли здесь люди кто проходил скиллфактори по дата сайнс?

Если с датчиков по серийному порту снимать - то мы тоже такое вроде делали с ребятами. Правда речи о действительно больших данных там не было, так, всё в пределах 1500-2000 записей в сутки

Насчёт тех кто проходил или проходит курсы - не уверен, но точно знаю что здесь есть те, кто интересовался ими и общался со skillfactory

Если с датчиков по серийному порту снимать - то мы тоже такое вроде делали с ребятами. Правда речи о действительно больших данных там не было, так, всё в пределах 1500-2000 записей в сутки

А бигдата это какие пределы записей в сутки?

А бигдата это какие пределы записей в сутки?

Ох, это же самый популярный вопрос. Второй по популярности в индустрии. И на него нет ответа ? Для кого-то и 1000 записей уже бигдата, а кому-то террабайта в монге пошарденой мало.

А первый популярный вопрос - как стать дата сайнтистом ?

А первый популярный вопрос - как стать дата сайнтистом ?

видел видео с парнем из сбера, он отвечал на вопрос, так вот он говорил что мат анализ нужно "хорошо" знать, конечно логично, но получается высокий порог входа, верно?

Всем привет! Подскажите, а здесь есть те кто, занимается цифровизацией бигдата? То есть переводит какие-то аналоговые большие данные в цифру?

Я был архитектором аналитического фронтенда для SCADA систем.

А бигдата это какие пределы записей в сутки?

Когда хранить становится сложно. У каждого свой предел :)

Что ты узнать то хочешь?

Были у нас разные инсталляции. Вода, газ, нефть, водное навигационное оборудование, железнодорожные сигнальные системы. Данных было не очень много, до нескольких десятков тысяч исторических точек в секунду на одной крупной инсталляции.

Система представляла из себя дешборд для визуализации данных и построения отчётов и API для обработки данных. Были примеры интеграции с различными оптимизиационными системами, которые через наш фронтенд получали данные и на из основании генерировали новые данные (расписания работы оборудования например), которые опять же через наш фроентенд уходили назад в SCADA

Шалом, комрады. Никто данные по ТН ВЭД не майнил? Есть там тема как по кодам контрагентов подтягивать? Я так понял, основной источник это сайтина WTO?

Что ты узнать то хочешь?

Я пока формирую, тот вопрос который был, решил сам.

За внимание благодарю

#образование #обучение #Otus Очередной курс "Разработчик BigData" начался — успешно прошло вводное занятие. Но пока еще можно плавно влиться в ряды слушателей этого набора https://otus.pw/Da7h/ Вас научат основам анализа данных: расскажут о предобработке данных, типичных задачах и основных алгоритмах машинного обучения, а также научат обрабатывать объемы данных, для обработки которых недостаточно одной машины. Все задачи будут проработаны на практике как на учебных, так и на реальных данных. Также будут рассмотрены типичные задачи, встречающиеся в разных видах компаний. Лекции читает Ксения Стройкова — математик, преподаватель проекта Технопарк MailRu, разработчик и аналитик проектов по обработке больших данных в рекламных системах, выпускница МГТУ им. Н. Э. Баумана. Читайте программу и особые условия от Avito для лучших выпускников, проходите вступительное тестирование для оценки своих знаний — и присоединяйтесь к слушателям группы "Разработчик BigData" https://otus.pw/Da7h/

От себя добавлю, что данный курс НЕ для совсем новичков. Требуется некоторый опыт в питоне. Впрочем, подробнее смотрите в тестировании

Привет. Нужен инструмент для data quality чтоб с sas дружил. Порекомендуйте, пожалуйста.

SAS DQ

Он стоит конских денег. Не оправдано

https://github.com/demidovakatya/mashinnoye-obucheniye

Спасибо вам)

Всем привет. Есть банковские данные по клиентам: рейтинг кредитной истории, баллы клиента, статус платежа, штрафной срок, пол, сумма займа, дата рождения. В общем довольно разнородные. Нужно найти положительные/отрицательные характеристики. Я так понимаю можно при помощи логистической регрессии это сделать.. Может кто знает где можно посмотреть реализацию похожих задач или как лучше/проще сделать можно. Буду рад любым советам.

Всем привет. Есть банковские данные по клиентам: рейтинг кредитной истории, баллы клиента, статус платежа, штрафной срок, пол, сумма займа, дата рождения. В общем довольно разнородные. Нужно найти положительные/отрицательные характеристики. Я так понимаю можно при помощи логистической регрессии это сделать.. Может кто знает где можно посмотреть реализацию похожих задач или как лучше/проще сделать можно. Буду рад любым советам.

https://basegroup.ru/community/articles/logistic

https://habrahabr.ru/company/ods/blog/322534/

ERROR: S client not available

Спасибо большое)

Всем привет. Есть банковские данные по клиентам: рейтинг кредитной истории, баллы клиента, статус платежа, штрафной срок, пол, сумма займа, дата рождения. В общем довольно разнородные. Нужно найти положительные/отрицательные характеристики. Я так понимаю можно при помощи логистической регрессии это сделать.. Может кто знает где можно посмотреть реализацию похожих задач или как лучше/проще сделать можно. Буду рад любым советам.

Характеристики чего/кого? От чего зависит положительность/отрицательность?

Данные клиентов которым дали выплаты, из них 25% просрочили платеж(это одна из известных характеристик). А в тз написано так: На основании анализа характеристик определить: 1) Какие характеристики являются положительными 2) Какие характеристики являются отрицательными Я так понял надо просто найти в характеристиках что то типо допустимых значений.

Вы нашли друг друга: клиент нанимает исполнителя без малейшего понимания предметной области - исполнитель пытается что-то исполнить по советам из чатика.

На самом деле я не исполнитель, мне за это никто не платит)

И я только учусь.

Учеба подразумевает изучение учебных материалов. Например, того же курса, на который ссыль выше

Jace: Здравствуйте, я недавно начал изучения rnn,пытаюсь реализовать классифика тор текста.Подскажите пожалуйста в чем может быть причина того,что сеть обучается на 100%,но предсказания делает весьма ошибочные? Может это быть из-за маленького датасета?

В том что сетка как плохой студент просто зазубрила датасет

100% это не есть хорошо(

Вот и я так думаю(

Что показывает на валидационном множестве?

Это из-за маленького набора данных происходит ?

И из за него и из за количества эпох (мое мнение)

Всем привет

Ребята, нубские вопросы можно задавать тут?)

Хз. Думаю это к авторам чата. Тут мы многие неучи(

Jace: Здравствуйте, я недавно начал изучения rnn,пытаюсь реализовать классифика тор текста.Подскажите пожалуйста в чем может быть причина того,что сеть обучается на 100%,но предсказания делает весьма ошибочные? Может это быть из-за маленького датасета?

Это типичный признак переобучения. С ней можно бороться методами регуляризации. Самое простое - dropout, копайте туда

Jace: Здравствуйте, я недавно начал изучения rnn,пытаюсь реализовать классифика тор текста.Подскажите пожалуйста в чем может быть причина того,что сеть обучается на 100%,но предсказания делает весьма ошибочные? Может это быть из-за маленького датасета?

http://cs231n.github.io/neural-networks-3/ параграф Train/Val accuracy

твоя ошибка в том что ты тренируешь до упора и потом тестируешь, а нужно тестировать в процессе тренировки (например каждую эпоху) и как только точность на train и validation множествах начинает достоверно расходиться, можно останавливать обучения и думать что с этим делать - скорее всего добавлять регуляризацию как тут пишут, или увеличивать датасет как честно путем создания новых данных или с помощью data augmentation. Затем если точность на training множестве из-за добавления регуляризации упала, нужно увеличивать сложность модели, и так до победного