> Buried in a Reddit comment, Francois Chollet, author of Keras and AI researcher at Google, made an exciting announcement: Keras will be the first high-level library added to core TensorFlow at Google, which will effectively make it TensorFlow’s default API.

Ребята нужен совет. Как лучше перевести существующую БД (на MSSQL) на Hadoop? Вообще стоит ли??

Для начала самому себе надо ответить на вопрос: зачем?

MSSQL не справляется? С какими типами запросов не справляется?

Ребята нужен совет. Как лучше перевести существующую БД (на MSSQL) на Hadoop? Вообще стоит ли??

Возможно, лучше на Postgres

Возможно, лучше на Postgres

да что ж такое заведите инженера, эти решения явно не для вас

MSSQL не справляется? С какими типами запросов не справляется?

Да не справляется, для анализа данных. Количество запросов оч много, получается часто зависает

да что ж такое заведите инженера, эти решения явно не для вас

скорее всего заведем, но хотелось бы узнать у экспертов в этой области какой и путей лучше. Чтобы инженер не ошибся и не переделавать дважды одно рабоату

Да не справляется, для анализа данных. Количество запросов оч много, получается часто зависает

1. Оптимизировать запросы 2. Если не помогло, брать инженера и искать подходящие технологии

Хадуп - не панацея

если там лапша из джоинов, то станет только хуже

Хадуп - не панацея

Но объем данных большое, месяц региструются 500 000 человек

@Farruh5 Hadoop это не замена БД, это фреймворк для обработки большого объема данных. Это не серебрянная пуля и сам он не переварит много много данных. Какую бизнесс задачу вы хотите решить? А то может случиться, что вы поставить хадуп и у вас будут будут 2 проблемы: прошлая и хадуп

@Farruh5 Hadoop это не замена БД, это фреймворк для обработки большого объема данных. Это не серебрянная пуля и сам он не переварит много много данных. Какую бизнесс задачу вы хотите решить? А то может случиться, что вы поставить хадуп и у вас будут будут 2 проблемы: прошлая и хадуп

Задача создание профила клиентов

А вы определили что такое профиль клиента? из каких признаков он будет состоять?

А профиль клиента вам зачем? А какие требования ко времени составления профиля? Насколько быстро это нужно делать?

в течение часа, для интернет магазина, интернет магазин вроде как авито

500 000 записей в месяц и *SQL должен кушать без проблем, вот когда будет 500 000 записей в минуту, то можно думать о Hadoop или о другой биг дате :) Скорее всего надо оптимизировать запросы и накинуть правильные индексы.

Но объем данных большое, месяц региструются 500 000 человек

500000 должна на раз-два жевать любая база, хоть мускуль, хоть мсскл, хоть что

скажем так

бигдата инструменты будут иметь смысл хотя бы от миллиарда записей

т.е. 2000х больше

500 000 записей в месяц и *SQL должен кушать без проблем, вот когда будет 500 000 записей в минуту, то можно думать о Hadoop или о другой биг дате :) Скорее всего надо оптимизировать запросы и накинуть правильные индексы.

Странно, но система сделана таким образом, что сперва данные записывается в EDW (в ночь 1 до 2) часов, и для аналитиков доступен только через день. Может тогда в системе что нибудь поменять?

Да, вероятно что-то было неудачно спроектировано

К сожалению я в технологиях MS не разбираюсь, думаю самым правильным вариантом будет найти специалиста-консультанта по вашему стеку технологий, чтобы он проанализировал ваши процессы и выдал варианты решения проблемы. Не посмотрев на конкретные данные, запросы и стек технологий что-то советовать не совсем корректно... Но пока могу сказать что в вашем случае думать о Hadoop не надо.

К сожалению я в технологиях MS не разбираюсь, думаю самым правильным вариантом будет найти специалиста-консультанта по вашему стеку технологий, чтобы он проанализировал ваши процессы и выдал варианты решения проблемы. Не посмотрев на конкретные данные, запросы и стек технологий что-то советовать не совсем корректно... Но пока могу сказать что в вашем случае думать о Hadoop не надо.

Спасибо всем за советы. Будем искать спец по МS

https://xakep.ru/2017/01/20/loops-in-r-v2/

Хорошая статья?

Хорошая

Хорошая статья?

Вызывает чувство, что на R можно не только Research вести

Но да, как-то неоднозначно

Хорошая статья?

базовая для тех кто кроме цикла for ничего не знает для итерационного расчета чего-либо. Единственное там упоминается, что есть функции, которые можно только в один поток считать. Я с такими не встречался

А можно группу попираю по хадуп стеку?

А можно группу попираю по хадуп стеку?

Давай, если другой народ против то можно в личку.

+ мне в личку тоже

Я только сделал

https://t.me/hadoopusers

Приветствую всех

Ребята нужен совет. Как лучше перевести существующую БД (на MSSQL) на Hadoop? Вообще стоит ли??

Не стоит. Hadoop использует совсем другой подход. То есть, под-проект перевести на хадуп можно (большие обсчеты данных, например), а mssql, с сохранением подхода - нет

Да не справляется, для анализа данных. Количество запросов оч много, получается часто зависает

Одно из условий для хадупа - объем данных. Посмотрите, есть ли у вас 10 терабайт, которые вы хотите в хадуп положить? Если нет, смотрите в сторону других решений.

Одно из условий для хадупа - объем данных. Посмотрите, есть ли у вас 10 терабайт, которые вы хотите в хадуп положить? Если нет, смотрите в сторону других решений.

а что на счет спарка?

Со спарком я не работал, но если данных мало, их всегда можно обработать более простыми инструментами.

Одно из условий для хадупа - объем данных. Посмотрите, есть ли у вас 10 терабайт, которые вы хотите в хадуп положить? Если нет, смотрите в сторону других решений.

Почему именно 10т. Я так понимаю кейс - все что не умещается на одной физической машине

Почему именно 10т. Я так понимаю кейс - все что не умещается на одной физической машине

Почти любая бд умеет шардирование, так что это можно считать критерием бигдата, но не причиной для использования хадупа

Почти любая бд умеет шардирование, так что это можно считать критерием бигдата, но не причиной для использования хадупа

ну база это структурированные данные, hdfs все-таки в первую очередь хорош для неструктурированных логов

ну база это структурированные данные, hdfs все-таки в первую очередь хорош для неструктурированных логов

Если они на самом деле не структурированные, то обработать их невозможно ). Скорее структура есть, но может быть несколько вариантов логов и добавляться поля.

В любом случае нужен новый DSL для каждой новой структуры, поэтому проще сразу яп юзать

В любом случае нужен новый DSL для каждой новой структуры, поэтому проще сразу яп юзать

я не очень понимаю что DSL и яп???

domain specific language

язык программирования

Получается лучше создать с помощью языков программирование (Java, Phyton, R) приложения для обработки данных, я правильно понял?

Получается лучше создать с помощью языков программирование (Java, Phyton, R) приложения для обработки данных, я правильно понял?

Специализированные инструменты будут быстрее самописных в очень многих случаях. Так что лучше всего использовать подходящий инструмент

Специализированные инструменты будут быстрее самописных в очень многих случаях. Так что лучше всего использовать подходящий инструмент

Например? Типа Microsoft BI или ???

Есть десятки инструментов под разные задачи. В вашем случае вы можете просто поменять архитектуру или (вдруг) просто добавить индексов.

Можете выбрать колоночную базу данных (задача описана не очень четко, может не подойти)

Если я правильно понял ваши объемы (миллионы записей), то дело не в хранилище. Любая, самая популярная база данных справится с таким объемом

Оч много запросов - это сколько в секунду? Сколько джойнов в каждом?

ERROR: S client not available

Например? Типа Microsoft BI или ???

Если ваш класс задач подходит под bi, то да, нормальный инструмент. Если у вас пяток отчетов, то удобнее самим их сделать

Если ваш класс задач подходит под bi, то да, нормальный инструмент. Если у вас пяток отчетов, то удобнее самим их сделать

Количество отчетов более 100 и с каждым днем растет. Значит надо изучить инструменты под разные задачи. Можете подсказать где найти инфу про инструменты? p.s. Количество запросов и джойнов еще не знаю. Как узнаю напишу, надо посмотреть и посчитать. Здесь количество запросов надо учитывать в пик время или в среднем?

Про поиск информации по готовым инструментам не могу подсказать (кроме Гугла, конечно), я не пользователь аналитики, а разработчик. По количеству запросов - можно скинуть график.

Кстати давно хотел сказать курс от Яндекса по бигдате на курсере - днище адовое. Не ведитесь и не покупайте. В виде лекторов - подростки, дикция соответствующая, материал скомкан. Дополнительных материалов нет.

А что есть лучше?

если интересен спарк, то по нему в феврале будет курс

https://www.coursera.org/learn/big-data-analysys

Кстати давно хотел сказать курс от Яндекса по бигдате на курсере - днище адовое. Не ведитесь и не покупайте. В виде лекторов - подростки, дикция соответствующая, материал скомкан. Дополнительных материалов нет.

Имеется в виду не курс по машинному обучению от яндекса и физтеха, а другой? Конкретно по бигдате?

Просто по машинному обучению тут советовали и я хотела пройти...

Кстати давно хотел сказать курс от Яндекса по бигдате на курсере - днище адовое. Не ведитесь и не покупайте. В виде лекторов - подростки, дикция соответствующая, материал скомкан. Дополнительных материалов нет.

Солидарен с этим. Объясняют просто хуже не куда)

Имеется в виду не курс по машинному обучению от яндекса и физтеха, а другой? Конкретно по бигдате?

Именно этот, лекторы просто мрак.

Ну я так понял курс больше рассчитан на тех кто знаком очень хорошо с книгой винберг машинное обучение и неплохо владеет питоном

Ну я так понял курс больше рассчитан на тех кто знаком очень хорошо с книгой винберг машинное обучение и неплохо владеет питоном

Он рассчитан на мазохистов способных терпеть эти шепелеватые лекции

Он рассчитан на мазохистов способных терпеть эти шепелеватые лекции

Главное что не индус

Больше бесил лектор по питону

Когда он развалившись на стуле

Объяснял основы питона

Объяснял основы питона

Меня все выбесили, афродевочка например, явно никогда публично не выступала. Лекции никто не прописывал, похоже на школьную самодеятельность

?

а что вообще посоветуете для изучения новичку в бигдате?

(я имею ввиду фундаментально)

Всегда скептически относилась к русскоязычным курсам) но в дата сайнс чат ее как раз советовали, эту специализацию.

Впрочем, мне все равно надо немного хотя бы питон подучить, прежде чем ее проходить

Всегда скептически относилась к русскоязычным курсам) но в дата сайнс чат ее как раз советовали, эту специализацию.

На безрыбье и рак рыба конечно, но 100% советовал либо один из создателей, либо тот кто не пытался этот ад смотреть.

Идеальны курсы от линды и удеми - там видна работа, информация разбита на удобные кусочки, все визулизированно и разжевано, одна проблема - дорого и нужен хороший скилл листенинга.

Идеальны курсы от линды и удеми - там видна работа, информация разбита на удобные кусочки, все визулизированно и разжевано, одна проблема - дорого и нужен хороший скилл листенинга.

скинь ссылки плз, не совсем понял, о чем речь

https://www.lynda.com/Big-Data-training-tutorials/2061-0.html вот например

https://www.udemy.com/big-data-and-hadoop-essentials-free-tutorial/