интересно, насколько же большим должен быть автосервис, чтобы бигдата принесла там профит...

Так группа не только big data, но и machine learning. Можно хоть тысячу клиентов обрабатывать, хоть сто.

big data это разве не просто статистически выделенные данные? Мне кажется, что для одного автосервиса можно и в Экселе мышкой поводить.

Big data начинается там, где данные не влазят в ОЗУ

Поэтому у каждого они свои, если есть машина с пол-ТБ ОЗУ, то фиг вы найдете так просто данные, для которых этого будет мало

Big data начинается там, где данные не влазят в ОЗУ

Да я не про определение. Про автосервис же, ну?

Про автосервис: можно предсказывать средний чек по марке авто и наличию ифона у владельца

Про автосервис: можно предсказывать средний чек по марке авто и наличию ифона у владельца

Юморно конечно, но мне кажется, выборка должна быть либо за n^x количество лет, либо это автосервис с бешеной посещаемостью и n*10 механиками. За повтор извиняюсь заранее, но - Эксель в мелких вещах рулит по-любому

Юморно конечно, но мне кажется, выборка должна быть либо за n^x количество лет, либо это автосервис с бешеной посещаемостью и n*10 механиками. За повтор извиняюсь заранее, но - Эксель в мелких вещах рулит по-любому

+ https://www.youtube.com/watch?v=0yKf8TrLUOw

Мы головой думали и составляли веса для разных параметров. Так как для БИГ даты мало данных.

А как расшарить конфу?

Ссылка на конфу

Ссылка на конфу

https://telegram.me/bigdata_ru

в профиле есть линк

Спасибр

Всем привет, есть ли среди участников чата кто-то кто работал с big data в привязке к Teradata? Они сейчас активно пытаются влезть на этот рынок, но на практике у меня таких проектов сейчас нет, потомки знания ограниченные. Может кто то работал и даст наводку где углубляться в детали?

https://m.geektimes.ru/post/280000/

как раз это читаю)

Всем привет, есть ли среди участников чата кто-то кто работал с big data в привязке к Teradata? Они сейчас активно пытаются влезть на этот рынок, но на практике у меня таких проектов сейчас нет, потомки знания ограниченные. Может кто то работал и даст наводку где углубляться в детали?

Они активно пытаются лезть на рынок- это ты про кого? Статистику Фёдор Скуратов собирает, и уже из бигдаты имеет отличную аналитику

Они активно пытаются лезть на рынок- это ты про кого? Статистику Фёдор Скуратов собирает, и уже из бигдаты имеет отличную аналитику

Это я про Teradata - узкопрофильное MPP хранилище данных для телекома и банков . В последней версии пытаются настроить интеграцию с big data. Но это слишком узкая тема - вряд ли кто то из здесь присутствующих работал с ней

Apache Spark @Scale: A 60 TB+ production use case from Facebook. https://databricks.com/blog/2016/08/31/apache-spark-scale-a-60-tb-production-use-case.html This is next to HUGE.

Thanks qosim

а кто то ловил это дерьмо https://issues.apache.org/jira/browse/HDFS-8344 ?

Реализовывал кто-нибудь inception v3 модуль для сверточных сетей? Я не могу понять, как конкатинацию разных тензоров сделать...

#job #BIGDATA Working in a stable company The prospect of a long-term development of the company The high level of official income Our client is a large Israeli company. We are looking for the Global Data Scientist, who can lead our client in the future of the full service on-demand business. First, you need to be passionate about data and scientific approaches and have relevant hard skills and experience. Second, you need to have an excellent business orientation in order to turn massive amounts of data into insightful and meaningful business information. The role is based in Moscow reporting to Head of Global Business Performance Management. In the beginning, you will be improving Supply function: develop and constantly improve a model based on machine learning approach to set optimal product settings worldwide (up to 100 settings) to drive our business at the most efficient way. At the first steps, most of the time will be devoted to routing algorithm optimization. Monitor model performance (i.e., the settings effectiveness) and solve "something went wrong" situations on a daily basis together with operational supply team. Develop the holistic and practical demand/supply model, which predicts key business indicators. Ideal candidate have Bachelor or Master degree from leading university (preferably in Applied Math, Sciences or Engineering). At least 1+ years of experience in a business area.Top places on olympiads and Kaggle competitions as a plus. Programming: R or Python. Working knowledge of libraries for geodata as a plus. Basic SQL. Svetlana Zhukova svetlana.zhukova@hays.ru

#job #BIGDATA Working in a stable company The prospect of a long-term development of the company The high level of official income Our client is a large Israeli company. We are looking for the Global Data Scientist, who can lead our client in the future of the full service on-demand business. First, you need to be passionate about data and scientific approaches and have relevant hard skills and experience. Second, you need to have an excellent business orientation in order to turn massive amounts of data into insightful and meaningful business information. The role is based in Moscow reporting to Head of Global Business Performance Management. In the beginning, you will be improving Supply function: develop and constantly improve a model based on machine learning approach to set optimal product settings worldwide (up to 100 settings) to drive our business at the most efficient way. At the first steps, most of the time will be devoted to routing algorithm optimization. Monitor model performance (i.e., the settings effectiveness) and solve "something went wrong" situations on a daily basis together with operational supply team. Develop the holistic and practical demand/supply model, which predicts key business indicators. Ideal candidate have Bachelor or Master degree from leading university (preferably in Applied Math, Sciences or Engineering). At least 1+ years of experience in a business area.Top places on olympiads and Kaggle competitions as a plus. Programming: R or Python. Working knowledge of libraries for geodata as a plus. Basic SQL. Svetlana Zhukova svetlana.zhukova@hays.ru

опять ты? :)

опять ты? :)

Я вижу, Костя, ты рад ;)

конечно рад!

как дела?

как дела?

За флуд могу в бан ;( а так норм. Биг даты ннннада;))

а ETL считается бигдатой?

Нужен аналитик заточенный на big data /data science /machine learning

хотелось бы услышать мнения искушенных о excellent business orientation vs "черный ящик"

В плане машинного обучения? Простая регрессия обыгрывает экспертное мнение, есть исследования. Черный ящик + эксперт не будет хуже простого черного ящика, если эксперт используется для улучшения, а не перетягивает одеяло на себя.

Всем привет! Скажите пожалуйста, а есть тут кто нибудь, кто решал или хотя бы приближался к задаче кластеризации нескольких десятков миллионов пользователей опираясь на не очень чистые данные?

например такой есть вопрос: хочется понимать купит человек подписку на сервис или нет, учитывая что про человека есть какая-то куча разных маректинговых данных

Я что-то понял, что не могу задать вопрос, так чтобы ничего не сказать про задачу которая на самом деле есть. Но если вдруг кто-то что-то понял из того про что я спрашиваю, то я бы в личных сообщениях пообщался и потом может NDA и тогда можно было бы уже как-то внятно поговорить :)

Что-то мне подсказывает, что такое уже реализовали. И на месте разработчиков я вряд ли стал алгоритм такой технологии отдавать в общий чат, т.к. такая технология позволит точно прогнозировать доходы, и следовательно получать очень высокую прибыль. К чему тогда конкуренты? )

На всякий случай сошлюсь на соглашение о неразглашении, во избежание детальных ответов :-)

да весь адтех так работает, это сегментация аудитории

только вот там не купит не купит, а вот это пожарник давайте покажем ему рекламу для пожарников

Одной мыслью поделиться могу. Очень сильная математика + теорвер + нейросеть.

только вот там не купит не купит, а вот это пожарник давайте покажем ему рекламу для пожарников

С купит/не купит тоже уже работает. Так-то

и дальше уже единицы процентов конверсия

ну да

да теоретически там никакой проблемы нет

есть сет на котором можно учить, есть каналы с данными, надо просто научить нейросеть и всё хорошо

проблемы возникают на практике :)))

А еще

и их много разных

Ты сказал что данные не чистые

Что это значит?

ну это значит, что каналы периодически переделываются и поэтому данные не очень конгруентные, кроме этого всё запутанно очень хранится и не сведено к единым размерностям