и экономика , и кодинг

Этим меня она и задела

ну как сказать... у меня есть один знакомый, который с многосотенмегабайтном экселевском файле умеет такое, что программист на питоне задумается и не сможет повторить такое же даже за месяц.

Вот только это предел экселя и еще хорошо бы иметь на клиентской машине проц от i7 и лучше

И еще, мало кому нужен такой человек, который в экселе может такое...

Вот только это предел экселя и еще хорошо бы иметь на клиентской машине проц от i7 и лучше

Ну скорее всего там уже не просто эксель, а тупо VBA.

Даже с VBA, у меня опыт его почти 15 лет

ну как сказать... у меня есть один знакомый, который с многосотенмегабайтном экселевском файле умеет такое, что программист на питоне задумается и не сможет повторить такое же даже за месяц.

много писал на VBA и было большое желание переделать на java например (потому что хорошо интегрируется). IDE-шка застряла в 90-х, крайне неудобно

Всем привет, с AI, ML не знаком. Но есть желание научиться и есть подходящая, как я думаю, задача. Сфера ЖКХ. Абоненты передают показания ИПУ, по разным каналам - email, сайт, телефон, смс, excel. В половине случаев эта информация не соответствует ожидаемому шаблону. Мы парсим входные данные regexp, стараемся вытянуть то, что нам нужно. И, конечно, получается так себе. Много приходится перепроверять вручную. Причем в подавляющем большинстве случаев человек сразу понимает, куда нужно загрузить показания. Уже накоплена статистика вида - пришли такие-то данные, загружены туда-то. Т.е. есть образец правильных действий. Вопросы к сообществу такие 1 Подходит ли ML-AI для решения такой задачи? У меня сомнения, т.к. если будет ошибка, абоненту будет начислена не та сумма. А я такой руками развожу - ну, извини, тут искусственный интеллект :) 2 С чего конкретно лучше начать, чтобы эту задачу сделать? Какой метод выбрать? Есть ли best practice для такой задачи? Хочу делать на python Спасибо!

Извините за длинную портянку

как я вижу, тут необходим просто парсинг. для ML тут задач нет)

а задача то какая: с помощью ML парсить данные или что?

я так понял, человек хочет ML определять что в шаблоне его data, а что просто строки

вам бы ML, AI, Bigdata тут юзать с целью анализа работы систем по данным счетчиков + анализ поломок и тд и тп

Задача для NER вроде

+

Entity extraction

Для телефонных разговоров предварительно распознавалку речи

Задача для NER вроде

мне что-то подсказывает, что шаблон там проще.

Про какой шаблон речь?

Ребята, как я понял, и так с regex не справляются

Ребята, как я понял, и так с regex не справляются

Regex

Я тутачки

Какой regex, где regex?

я так понимаю у человека есть куча даты типа: "горячая вода - 125, холодная вода - 85" "14 - гв 18 - хв" ... ему нужно вычленить значения

я так понимаю у человека есть куча даты типа: "горячая вода - 125, холодная вода - 85" "14 - гв 18 - хв" ... ему нужно вычленить значения

Изи пизи лемон сквизи

Какой формат данных?

я так понимаю у человека есть куча даты типа: "горячая вода - 125, холодная вода - 85" "14 - гв 18 - хв" ... ему нужно вычленить значения

Только такой?

Какой формат данных?

там выше бриф) я не заказчик))

я так понимаю у человека есть куча даты типа: "горячая вода - 125, холодная вода - 85" "14 - гв 18 - хв" ... ему нужно вычленить значения

Да, так

в том то и дело, что формат не определен и скажем 10000 показаний удается загрузить, а еще 10 с какими-то проблемами, которые потом регулярками парсятся. Но остается часть, которую перепроверяют и заносят сотрудники. Они понимают, что Г1 10, это ГВС1 10 кубов.

Ну с regex тяжело да. Показаний не то что-бы много. Тысяч 20-25 ежемесячно. Но у людей фантазия хорошая, регекспами не очень получается.

я так понял, человек хочет ML определять что в шаблоне его data, а что просто строки

Да!

Друзья, одно время здесь в шапке была закреплена ссылка на гит хаб с литературой по AI/ML etc. поделитесь у кого осталась, пожалуйста)

https://github.com/demidovakatya/vvedenie-mashinnoe-obuchenie

Спасибо)

Друзья, одно время здесь в шапке была закреплена ссылка на гит хаб с литературой по AI/ML etc. поделитесь у кого осталась, пожалуйста)

Просто запомните: Демидова Катя. demidovakatya. Machine Learning в России это Демидова Катя

Да, определенно сложно пройти мимо

Просто запомните: Демидова Катя. demidovakatya. Machine Learning в России это Демидова Катя

Тогда Я Сomputer Vision Татарии

а кто в Украине machine learning заведует?

Тогда Я Сomputer Vision Татарии

Покажи свой репозиторий

а кто в Украине machine learning заведует?

Я могу

Покажи свой репозиторий

В личке

А вот Демидова Катя не постеснялась бы показать свой репозиторий всем! (сорри за оффтопик)

А вот Демидова Катя не постеснялась бы показать свой репозиторий всем! (сорри за оффтопик)

http://gogolgrind.github.io/

Ну теперь ставьте тогда звездочки

Хорошо

А есть видео с Екатериной Демидовой?

А есть видео с Екатериной Демидовой?

Разумеется. В интернете есть вообще всё.

rule34?

Чета я на ютубе искал, не нашёл ?

Чета я на ютубе искал, не нашёл ?

на ютубе такое трут

Чета я на ютубе искал, не нашёл ?

Рутуб

https://m.youtube.com/watch?v=dCf9qyDHzeI

почему?

ERROR: S client not available

комменты под видео огонь

мда, почему-то комменты прохладные

"у меня аж нейронная сеть зависла" это пять

?

А у меня нейронная сеть поднялась

она же старая

Milf

http://www.rea.ru/ru/org/employees/Pages/Efremova-Natalija-Alekseevna.aspx

я восхищён

женюсь

она же старая

нууу

Не старая, а опытная.

чего-то ребят мы не туда побрели

может, лучше доклад обсудить

Коллеги, попрошу минуточку вашего внимания.

У меня небольшая просьба. Мы (группа исследователей из ИТМО) тут наваяли небольшую анкету на тему того, что нужно знать специалисту по открытым данным (http://tiny.cc/ODSpec). Эта тема довольно щекотливая, тк непонятно, стоит ли вообще выделять такого специалиста в отдельную категорию. Уже есть дата-саинтисты, статистики и так далее. Нужен ли отдельный спец по ОД? Как мы уже выяснили, во-первых, есть спрос на комплект компетенций (умений и навыков) по работе с открытыми данными от не-IT-студентов и исследователей, а во-вторых, есть такая вакансия на западном рынке труда (мы пишем на эту тему статью, чуть позже с ней можно будет ознакомиться). В общем, мы с коллегами решили составить опросник с общими вопросами о том, что же нужно знать и уметь специалисту по открытым данным? Отдельно интересует вопрос знания английского языка (поэтому в анкете есть и вопросы по поводу английского языка). В дальнейшем мы планируем сделать набор учебных курсов по работе с открытыми данными (планируется охватить все стадии работы с открытыми данными и управления данными, введение в программирование и тд). Курсы будут на двух языках (на русском и на английском). И ответы в этой анкете будут учитываться при разработке этих курсов. Если вы также заинтересованы в разработке этих курсов, я готова обсудить сотрудничество (с большой радостью!). А пока я прошу вас ответить на нашу анкету (http://tiny.cc/ODSpec). Она небольшая, на пару-тройку минут.

а вы работаете в ИТМО?

Лично я нет, но мои очень близкие знакомые люди там представлены весьма широко

Dan, здесь написано о курсах, а какие-то курсы уже есть (по data science, machine learning)?

Честно, говоря, кажется, что для работы с машинным обучением, биг дата программисты не сильно нужны, а нужны больше математики или люди, которые специалисты в этой области

Учитывая, как много инструментов для этого дела есть

нааачинается

только недавно эту тему мусолили

для работы с ML нужно желание

а не позиции и роли

Dan, здесь написано о курсах, а какие-то курсы уже есть (по data science, machine learning)?

о курсах в рамках ИТМО лучше спросить @demeliorator

нааачинается

я ньюфаг