Флах для начинающих не очень, хотя книга мощная

Там совсем без кода, это нормально заходит не всем

Хадуп я только начинаю, то главное изложение

Лучше сначала Введение в статистическое обучение хотя бы осилить, потом уже за Флаха браться

Книга так называется?

Да

Спасибо

Я про hadoop читал the definitive guide to hadoop. Там был приведён код, и общие принципы рассказывались.

Но вообще, по-моему, соваться в большие данные, не имея самих больших данных и мощностей для работы с ними, сложно.

Мне по работе уже нужно знание такие технологий

Так что пора соваться

По работе — хорошо. А как вы будете учиться? Вот есть у вас, скажем, cdh. Вы его запускаете. На своей машине. Одной. В режиме псевдораспределения. И одна ваша машина делает вид, что она — каждая машина в стойке. Вся прелесть использования методов работы с большими данными пропадает.

Я же не знаю как точно устроен хадуп, и как это тестировать.

Но не начав, хоть что то учить, так и дальше не буду понимать. Может кто то с работы подскажет, надеюсь, но сомневаюсь

Это понятно. Вкратце: хадуп устроен так, что он гораздо лучше работает на куче машин. И тестировать его лучше на ней)

Спасибо за совет.

Это понятно. Вкратце: хадуп устроен так, что он гораздо лучше работает на куче машин. И тестировать его лучше на ней)

И абсолютно бесполезен на одной-пяти.

Почему

Почему

Оверхед на оверхеде.

Всем привет! Кто имеет опыт по настройке big data для интернет магазина ? https://habrahabr.ru/company/google/blog/194950/ https://habrahabr.ru/company/google/blog/194950/ https://habrahabr.ru/post/230243/ стукните в лс!

Это понятно. Вкратце: хадуп устроен так, что он гораздо лучше работает на куче машин. И тестировать его лучше на ней)

смотрел на хадуп и на цеф на виртуалках за 2,5$/мес. Поднял 10шт.

И абсолютно бесполезен на одной-пяти.

Тем более. В общем, хадуп разрабатывался для работы с таки большими данными. Большие данные хранятся стойками) И обрабатываются кластерами их хотя бы десятков машин.

Мне по работе уже нужно знание такие технологий

https://stepik.org/course/Hadoop-%D0%A1%D0%B8%D1%81%D1%82%D0%B5%D0%BC%D0%B0-%D0%B4%D0%BB%D1%8F-%D0%BE%D0%B1%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%BA%D0%B8-%D0%B1%D0%BE%D0%BB%D1%8C%D1%88%D0%B8%D1%85-%D0%BE%D0%B1%D1%8A%D0%B5%D0%BC%D0%BE%D0%B2-%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85-150

https://stepik.org/course/Hadoop-%D0%A1%D0%B8%D1%81%D1%82%D0%B5%D0%BC%D0%B0-%D0%B4%D0%BB%D1%8F-%D0%BE%D0%B1%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%BA%D0%B8-%D0%B1%D0%BE%D0%BB%D1%8C%D1%88%D0%B8%D1%85-%D0%BE%D0%B1%D1%8A%D0%B5%D0%BC%D0%BE%D0%B2-%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85-150

Проходила данный курс

Основы даёт, что как устроено.

Но вообще, по-моему, соваться в большие данные, не имея самих больших данных и мощностей для работы с ними, сложно.

Вах! Золотые слова!

Оверхед на оверхеде.

может просто не умеете готовить?

может просто не умеете готовить?

Может, я умею готовить одну машину лучше хадупов?

Может, я умею готовить одну машину лучше хадупов?

если данные помещаются на одной или вычислительные мощности не требуются, то неудивительно, а если не влезут, то что делать?

может просто не умеете готовить?

Идеология map-reduce в принципе крайне оверхедная. Тот, кто умеет ее готовить в курсе. Если есть возможность задачу решить другим способом - лучше другим и решать. Как ни готовь, а десятком машин на хадупе одну на кликхаусе обогнать не выйдет.

Возможно кому-то это будет интересно

Наш список часто пополняется и активно развивается. Появляется много новых интересных сообществ, групп, информационных каналов. За всем, конечно уследить сложно, но мы все пытаемся это сделать. Мы рады представить новую группу, посвящённую великолепному функциональному и выразительному языку программирования Elm https://t.me/elm_ru

Наш список часто пополняется и активно развивается. Появляется много новых интересных сообществ, групп, информационных каналов. За всем, конечно уследить сложно, но мы все пытаемся это сделать. Мы рады представить новую группу, посвящённую великолепному функциональному и выразительному языку программирования Elm https://t.me/elm_ru

Воу-воу, фронтенд же, я чуть штаны не подвернул

привет всем, а кто нибудь работал с фреймворком tf-seq2seq в тензорфлоу?

https://google.github.io/seq2seq/

Народ, привет. Мне ваш чатик один знакомый подсказал Может поможете ответить на один вопрос: Сколько может стоить и занимать по времени разработка приложухи типа Призмы, только с одним определенным фильтром?

Народ, привет. Мне ваш чатик один знакомый подсказал Может поможете ответить на один вопрос: Сколько может стоить и занимать по времени разработка приложухи типа Призмы, только с одним определенным фильтром?

Снять фичи с одной фотографии, стиль с другой и совместить их по известным уже всем алгоритмам — задача на вечер. Разработать два клиента под мобильные платформы существенно дольше. Призма запускалась с обработкой данных на серверах, поэтому у них ещё неслабый бекенд и инфраструктура были. После появлились алгоритмы, которые могут сделать всё на устройстве.

Спасибо за инфу, а бюджет хотя бы примерный какой должен у этого быть?

Кстати, непонятно, зачем им был нужен бэкенд. Это обучить нейронку нетривиально, просто заюзать же должно быть процессорно несложно

Всем привет! Кто имеет опыт по настройке big data для интернет магазина ? https://habrahabr.ru/company/google/blog/194950/ https://habrahabr.ru/company/google/blog/194950/ https://habrahabr.ru/post/230243/ стукните в лс!

Кстати, непонятно, зачем им был нужен бэкенд. Это обучить нейронку нетривиально, просто заюзать же должно быть процессорно несложно

К ним в код не смотрел, свечку не держал, но предполагаю, что в первых версиях использовали vgg, строили матрицы Грама и logloss'или на серверах по довольно простой причине. Модель vgg, как правило, очень большая, а скачивать приложение в 450 мегабайт хотят/могут/готовы ждать не все пользователи.

Привет. Спамить будешь? ?

Привет

?

Нет

Интересуешься машинным обучением?

Ага

Подскажите пожалуйста по elasticsearch: есть много текстов в одном индексе. У каждого есть "родитель" - компания. Нужно посчитать score не для каждого отдельного документа а для компаний, то есть такой себе агрегированный score. То есть как бы конкатенировать все статьи по компаниям и посчитать score для каждой. Есть ли вариант без конкатенации? Смотрел в сторону бакетов и вроде не то. Сейчас думаю может просто потом суммировать отдельные score или найти среднее арифметическое, но что-то говорит что будет очень криво.

Да, поиск будет через match_phrase и таких фраз будет много....

выглядит как tf idf с группировкой по компании

выглядит как tf idf с группировкой по компании

Это можно сделать в elasticsearch?

а как ты вообще индекс строишь?

Загружаю статьи, одно поле - текст, второе - компания

Все тексты(статьи) лежат как отдельные документы

В общем да, нужен match_phrase с группировкой по компании но я не знаю как его можно сделать

ERROR: S client not available

через какую то внешнюю программу обрабатываешь свои сущности и индекс в еластик шлёшь?

через какую то внешнюю программу обрабатываешь свои сущности и индекс в еластик шлёшь?

данные лежат в монге, ES для индекса и поиска

в монгу попадают через скрипт в общем

софт на питоне

но я надеялся что score по компании можно будет посчитать на стороне ES

а в запросе всегда компания будет указана?

а в запросе всегда компания будет указана?

нет, она вообще не будет указана так как их неопределенное количество

ну то есть нужно сначала сделать какой-то аналог group by

типа group by company_id, match_phrase "bla bla bla"

и на выходе получить: company_id: 1, score: 1.23 company_id: 2, score: 2.34 ...

я понял наконец что ты хочешь

я понял наконец что ты хочешь

это реально сделать с ES?

ну или может есть другие варианты получше, или страктура у меня хреновая

не знаю точно про ES, но в solr/lucene это можно сделать засчёт фасетов, типа получаешь выдачу на запрос и потом группируешь по признаку и по желанию аггрегируешь

не знаю точно про ES, но в solr/lucene это можно сделать засчёт фасетов, типа получаешь выдачу на запрос и потом группируешь по признаку и по желанию аггрегируешь

ну в ES это я так понял бакеты, но как можно сагрегировать score? Ну то есть score считается с учетом длины документа ,частоты внутри документа и частоты вообще во всей коллекции и так далее. А агрегация просто что-то может посчитать типа поделить/умножить...

мне кажется сойдёт за вопрос для stackoverflow, не так много людей с этим работает

ясно, спасибо за помощь

hi to all

Hey there

Hi! Here is mostly russian, so probably you should search another one :)

что-то мне подсказывает...

Не, не может быть ;)

у кого нибудь есть опыт работы с яндекс-толокой в качестве заказчика?

C...кем?

скорее вопрос почему в качестве заказчика?

яндекс-толока

Юзали амазоновскую турку