why not

Что-то мне подсказывает, что такое уже реализовали. И на месте разработчиков я вряд ли стал алгоритм такой технологии отдавать в общий чат, т.к. такая технология позволит точно прогнозировать доходы, и следовательно получать очень высокую прибыль. К чему тогда конкуренты? )

Технология предсказания на сложная, в целом. Входит в класс задач "рекомендательные системы". Бери, да делай, будешь новым конкурентом. Вот только сделать точность выше, чем у ручного арбитража трафа не так-то просто.

ну это значит, что каналы периодически переделываются и поэтому данные не очень конгруентные, кроме этого всё запутанно очень хранится и не сведено к единым размерностям

м.б., прежде чем угорать по разного рода нейросетям и прочему рокет сайенсу, надо запилить нормальный ETL?

Доброй ночи! Есть тут у кого нибудь опыт работы с elastic? Вопрос по конфигурации индекса с несколькими связанными между собой типами

м.б., прежде чем угорать по разного рода нейросетям и прочему рокет сайенсу, надо запилить нормальный ETL?

Ну вот есть надежда, что может быть с T стадией всё будет проще с помощью нейросети, так как очень много даты и каналы не супер стабильные, поэтому хочется что-то, что умеет быстро адаптироваться и не жрёт human workforce

Это так не работает. Мусор на входе - мусор на выходе - самый базовый принцип машинного обучения.

Так никто же с этим не спорит

но уже обученная сеть, может же разбираться лучше с тем как относится к изменениям и что важно, а что нет

но опять же, это вопрос до какого состояния надо довести данные и я слышал, тут опять же, я скорее вопрос задаю, чем утверждаю что-то, что сейчас некоторые фреймворки умеют сами выделять значимые сигналы и умеют их отслеживать даже в изменяющихся данных, что есть автокоррекция ошибок разных и т.д.

но уже обученная сеть, может же разбираться лучше с тем как относится к изменениям и что важно, а что нет

Обученная сеть работает тем хуже, чем сильнее новые данные отличаются от обучающей выборки.

Данные нужно довести до того формата, в котором была обучающая выборка. Если сеть ожидает на вход 10 числовых признаков, она не будет работать, если признаков подать всего 5, из которых 2 она видит впервые, а еще 2 - текстовые вместо числовых. Или если признак "цена" вместо $ кто-то задаст в рублях, сеть тоже к этому не "адаптируется".

Доброй ночи! Есть тут у кого нибудь опыт работы с elastic? Вопрос по конфигурации индекса с несколькими связанными между собой типами

Есть небольшой опыт. По джойнам есть презентации обзорные, можно поискать.

Ну вот есть надежда, что может быть с T стадией всё будет проще с помощью нейросети, так как очень много даты и каналы не супер стабильные, поэтому хочется что-то, что умеет быстро адаптироваться и не жрёт human workforce

боюсь, что Вы переоцениваете возможности нейросетей.

но опять же, это вопрос до какого состояния надо довести данные и я слышал, тут опять же, я скорее вопрос задаю, чем утверждаю что-то, что сейчас некоторые фреймворки умеют сами выделять значимые сигналы и умеют их отслеживать даже в изменяющихся данных, что есть автокоррекция ошибок разных и т.д.

Выкинуть автоматически незначимые признаки не сложно. Это будет равно тому, что вы эти признаки вообще не собираете. То есть, собрать все, а потом отсеять - подход нормальный. Но если у вас все - мусор, то все и придется отсеять с таким подходом )

Вообще, подготовка данных - больше половины работы. И чем дальше, тем хуже. :) Выровнять размерность, заполнить пробелы, перевести строки в числа - это все не так уж сложно, но первоначальную настройку требует, конечно. Алгоритм то можно по мануалу за полчаса запустить, а вот мануала для формата ваших данных нигде нет - наверняка ваша ситуация уникальна.

Леонид, вот есть подозрение, что значимые данные есть :) Но так как сигналов очень много, то хочется какой-нибудь магии :))) разумеется базово подготовить данные мы можем, чтобы числами было, чтобы без null и т.д., но вот размерности и прочее уже сложнее.

Сижу на лекции о ассмеблеру и понимаю, что биг датой может быть и 1мб.

Леонид, вот есть подозрение, что значимые данные есть :) Но так как сигналов очень много, то хочется какой-нибудь магии :))) разумеется базово подготовить данные мы можем, чтобы числами было, чтобы без null и т.д., но вот размерности и прочее уже сложнее.

А в чем конкретно сложность? Магия для обработки данных уже написана - пользоваться ей не сложно. Выровнять, заполнить пробелы, уменьшить размерность (при желании), нормализовать. Или сложность в том, что просто не знаете, какие шаги делать?

Есть небольшой опыт. По джойнам есть презентации обзорные, можно поискать.

Дело в том что речь о parent-child в размерах сотен гиг. Есть проблема что весь heap забивается fielddata, интересует был ли опыт в решении этой проблемы. PS. индекс один большой, не в формате logstash

Здравствуйте, кто-нибудь может подсказать достойную литературу по big data?

А в чем конкретно сложность? Магия для обработки данных уже написана - пользоваться ей не сложно. Выровнять, заполнить пробелы, уменьшить размерность (при желании), нормализовать. Или сложность в том, что просто не знаете, какие шаги делать?

Сложность в том, что нужно много человеко-часов которых нет, на то чтобы каждый источник причесать, а с ходу не про весе ясно полезны ли они

Всем привет. Для адекватной работы ML на большом портфеле акций необходимо убрать влияние общерыночных факторов. Например, предиктором является разность между текущей ценой и скользящей средней. Соответственно, в один месяц среднее значение предиктора будет одним, в другой месяц – будет другим. Т.е. само среднее значение будет так или иначе коррелировать на рынок. Собственно, вопрос в том, как от этого влияния избавиться и убрать корреляцию по значениям внутри выборки. Самый простой вариант – это, конечно, просто нормировать на среднее значение. Но может есть более удачные варианты?

Есть много текстов (тексты новостей с местных новостных порталов). В этих текстах есть адреса, но они все в совершенно разных форматах ("на ул. Буденого", "возле десятого дома Черниговского пр-та", "в доме номер 10 на Великолукской ул." и т.п.) Так вот, как мне эти адреса доставать с достаточно высокой точностью (хотя бы процентов 80 адресов)? Есть у кого опыт подобных задач? Может, накидаете ссылок на подробные маны? Я думаю в сторону нейронных сетей (на вход подавать справочник существующих адресов и тексты новостей, есть возможность пару тысяч новостеек обработать вручную для обучения), но опыта у меня с ними нет, если не считать синтетических обучающих примеров. Может, есть готовые предобученные конфигурации для распознавания русского текста?

Полученные адреса планирую прогонять через геокодер и размещать на карте.

Всем привет. Для адекватной работы ML на большом портфеле акций необходимо убрать влияние общерыночных факторов. Например, предиктором является разность между текущей ценой и скользящей средней. Соответственно, в один месяц среднее значение предиктора будет одним, в другой месяц – будет другим. Т.е. само среднее значение будет так или иначе коррелировать на рынок. Собственно, вопрос в том, как от этого влияния избавиться и убрать корреляцию по значениям внутри выборки. Самый простой вариант – это, конечно, просто нормировать на среднее значение. Но может есть более удачные варианты?

Нормировать на соответствующий фондовый индекс пробовали? Улучшает предсказательную силу модели?

Есть много текстов (тексты новостей с местных новостных порталов). В этих текстах есть адреса, но они все в совершенно разных форматах ("на ул. Буденого", "возле десятого дома Черниговского пр-та", "в доме номер 10 на Великолукской ул." и т.п.) Так вот, как мне эти адреса доставать с достаточно высокой точностью (хотя бы процентов 80 адресов)? Есть у кого опыт подобных задач? Может, накидаете ссылок на подробные маны? Я думаю в сторону нейронных сетей (на вход подавать справочник существующих адресов и тексты новостей, есть возможность пару тысяч новостеек обработать вручную для обучения), но опыта у меня с ними нет, если не считать синтетических обучающих примеров. Может, есть готовые предобученные конфигурации для распознавания русского текста?

Магии не будет. Отличать адрес от не адреса, конечно, можно, но проще проверкой по списку названий улиц. А найти начало адреса и конец - для этого нейронка вообще очень слабо подходит.Грамматический разбор больше подходит

Полученные адреса планирую прогонять через геокодер и размещать на карте.

а зачем ?

Магии не будет. Отличать адрес от не адреса, конечно, можно, но проще проверкой по списку названий улиц. А найти начало адреса и конец - для этого нейронка вообще очень слабо подходит.Грамматический разбор больше подходит

Спасибо.

а зачем ?

Потом выявлять самые криминальные районы, районы, где больше всего ДТП, районы, которые чаще упоминалось в позитивных или негативных новостях и т.д.

Нормировать на соответствующий фондовый индекс пробовали? Улучшает предсказательную силу модели?

Были попытки. Индекс, к сожалению, тоже не всегда показателем. Но обучение все же на таких данных проходит лучше

Есть много текстов (тексты новостей с местных новостных порталов). В этих текстах есть адреса, но они все в совершенно разных форматах ("на ул. Буденого", "возле десятого дома Черниговского пр-та", "в доме номер 10 на Великолукской ул." и т.п.) Так вот, как мне эти адреса доставать с достаточно высокой точностью (хотя бы процентов 80 адресов)? Есть у кого опыт подобных задач? Может, накидаете ссылок на подробные маны? Я думаю в сторону нейронных сетей (на вход подавать справочник существующих адресов и тексты новостей, есть возможность пару тысяч новостеек обработать вручную для обучения), но опыта у меня с ними нет, если не считать синтетических обучающих примеров. Может, есть готовые предобученные конфигурации для распознавания русского текста?

А если просто скормить геокодеру того же яндекса? У меня была подобная задача но сильно попроще. Менеджеры в бд писали адреса как хотели и надо было привезти все к одному формату.

Так вот геокодер это дело нормально отработал в 90%

Там не просто адрес в непонятном формате, там куча текста, в котором может упоминаться адрес.

Ну а на входе массив текста.

Там не просто адрес в непонятном формате, там куча текста, в котором может упоминаться адрес.

Ну вообще из целой статьи выдрать это да, та еще задача.

У меня на входе было максисмум пара предложений.

Вот можно попробовать по списку улиц искать улицу, потом брать кусок текста +/- пара слов и уже это пихать в яндекс и гугл.

http://geocode.xyz

Вот тут есть геопарсинг внутри текста

http://www.cs.cmu.edu/~gelern/pdfs/GIR%202013%20upload%202.pdf Ну и какието общие принципы(правда для коротких твитов), но может поможет с идеей.

Спасибо!

Есть много текстов (тексты новостей с местных новостных порталов). В этих текстах есть адреса, но они все в совершенно разных форматах ("на ул. Буденого", "возле десятого дома Черниговского пр-та", "в доме номер 10 на Великолукской ул." и т.п.) Так вот, как мне эти адреса доставать с достаточно высокой точностью (хотя бы процентов 80 адресов)? Есть у кого опыт подобных задач? Может, накидаете ссылок на подробные маны? Я думаю в сторону нейронных сетей (на вход подавать справочник существующих адресов и тексты новостей, есть возможность пару тысяч новостеек обработать вручную для обучения), но опыта у меня с ними нет, если не считать синтетических обучающих примеров. Может, есть готовые предобученные конфигурации для распознавания русского текста?

не реклама, просто очень известная компания делает: https://dadata.ru/merging/#address

у них топовые решения на рынке для нормализации данных по адресам/ФИО/итд

у них топовые решения на рынке для нормализации данных по адресам/ФИО/итд

Хорошо знаю из сервисы, но как это поможет решить описанную задачу?

это поможет очевидно на этапе "размещать адреса на карте"

задача из трех частей. Из текста найти что-то похожее на адрес (здесь лучше побольше FP допустить), распознать/нормировать адрес + координаты, разместить на карте.

3я часть техническая и понятная, вторая через дадату или еще что-то, с первой самое мутное пока что, каким-то образом по списку улиц выглядит наиболее логично искать для начала

#book #полезное #bigdata #datascience

Спасибо

вот еще кстати по машинному обучению, но польза не проверена мной лично, поэтому только для общего развития: http://ai-news.ru/2016/08/top_100_statej_po_mashinnomu_obucheniu_i_analizu_dannyh_624071.html возможно, там что-то и будет хорошее и годное

Всем привет! кто нибудь сталкивался с dbInputFormat и oracle реализацией при создании таблиц в hive?

https://habrahabr.ru/company/oleg-bunin/blog/310418/

ммм

привет!

везде знакомые лица

я на самом деле больше за датамайнинг хочу поговорить

есть ли у ЕС штука типа ipums.org?

или я не по адресу?

или я не по адресу?

Да тут все молчат в основном. Наверное хотят что-то узнать. А профи, обсуждающие вопросы, тут появляются крайне редко )

Все работают.

Круглосуточно :)

Да, это очень хороший чатик, здесь умные люди и не шумно.