Всем привет, подскажите, актуально ли еще книга https://www.amazon.com/Learning-Spark-Lightning-Fast-Data-Analysis/dp/1449358624?

Код - нет

Но для новичков сойдет

Они выпустили / почти выпустили 2 издание или книгу с другим названием, но по сути являющейся "освежением" этой книги

Они выпустили / почти выпустили 2 издание или книгу с другим названием, но по сути являющейся "освежением" этой книги

Я сейчас берусь за http://shop.oreilly.com/product/0636920046967.do. Думаю чем заполнить разница между начальным уровнем и уровнем этой книги

Spark the definitive guide

Она, как бы, будет доступна 25.02.2018 по инфо с амазона. Как вы можете её рекомендовать?

Она уже доступна

В safaribooks online

В принципе для опытных спарководов там ничего нового, просто как review

То есть это обнавленная версия Learning Spark?

Я бы сказал что да

Я бы сказал что да

Стоит прочитать, если только стартуешь со Spark, или можно попробовать обойтись менее объемными ресурсами?

Я бы ее просмотрел по диагонали раза 2

А потом углубился бы в то что нужно

А как насчет High Perfomance Spark?

Она даёт некую широту кругозора

Щас гляну на high performance spark

Вторая книга про более низкоуровневые вещи, некий сборник best practices

Если вам Спарк нужен как дата сциентисту - то сначала definitive guide, потом high performance по желанию

Если вы - программер, то наоборот

Но это мое имхо

Но это мое имхо

Спасибо за мнение

Можете коротко рассказать для чего хорош Спарк и для чего не очень?

Здраствуйте, в гугле наше что самые точные OCR у leadtool и у ABBYY, может кто посоветует еще что, оказывается у них там чтото вроде апи,а не оффлайн тулзы

Можете коротко рассказать для чего хорош Спарк и для чего не очень?

В спарке много багов, много начатых и заброшенных фич, многие алгоритмы они тупо не позволяют вмержить в спарк

Они - датабрикс, клаудера и т.д.

По сути он превратился в коммерческий продукт

Он он самый проработанный по сравнению с другими, банки, фарма, страховые компании (по крайней мере не в России) перешли / переходят на него

Но по сути мало проектов где действительно биг дата, даже стриминг редко нужен

Поэтому для прокачки скиллов по ДС сайкита достаточно

В спарке много багов, много начатых и заброшенных фич, многие алгоритмы они тупо не позволяют вмержить в спарк

а что именно не позволяют вмерджить ?

Новые алгоритмы если они идут вразрез с роадмапами и желаниями датабрикс

Пример: была некая реализация нейронных сетей для спарка. Ее не мержили, потом сказали типа не нужны нн в спарке

Когда появился бигдл и некоторые другие продукты

Сразу появился аналог от датабрикс

Deeplearning4j есть и bigdl

Ну потому что датабрикс выгоднее самим пилить

Эта реализация была до бигдл и дл4г

Да, они не пускают никого на свою поляну, хотят единолично собирать урожай

?

Пример: была некая реализация нейронных сетей для спарка. Ее не мержили, потом сказали типа не нужны нн в спарке

а тикет можно?

звучит как-то малореалистично

Допустим, у меня есть 40гб посекундных time series в CSV формате. Я хочу их сгруппировать по часам. В пандас с минимальными оптимизациями и разбиением на меньшие блоки группировка занимает 12 часов на Core i7 Kaby Lake 32Gb RAM. Спарк мне может как-то помочь в этом случае?

Попробуй dask сначала

http://dask.pydata.org/en/latest/dataframe-overview.html

Даск пробовал, делаю им часть первичных сортировок. Дальше тупо не хватает памяти, пандас медленно группирует.

для 40 гб — несерьезно

Сейчас скрипт юзает даск + пандас

Настрой даску норм шедулер с воркерами

И грамотно распредели память воркерам, что бы хватало

ну на спарке такую группировку локально написать — пара часов, почему бы не проверить?

На одном компе выигрыша нет или он очень небольшой.

Думал на амазоне запустить или поставить рядом ещё машину и на ней воркеры запускать

Даск все ядра сейчас юзает?

Да

ERROR: S client not available

Кста, в что мешает выровнять по чанкам 60*60*24 и быстро над ними проводить необходимые операции?

Ну, это не просто группировка, а ещё и вычисление всяких полей, суммы, средние всякие и т.п.

То есть, препроцессинг + группировка + постпроцессинг

Вот для всего этого Спарк подойдёт?

Здраствуйте. А Вы не могли бы помочь новичку в нейроных сетях? Необходимо классифицировать тексты с помощью нейросети, тест представляю в векторном виде с помощью word2vec, нейросеть пишу с помощью keras, для реккуретной сети там есть спец класс LSTM, но ему на вход подается двумерный массив, а у меня вектор текста. Как решить эту проблему? Как вообще создать нейросеть на питоне для классификации текста с использованием Keras + word2Vec?

Здраствуйте. А Вы не могли бы помочь новичку в нейроных сетях? Необходимо классифицировать тексты с помощью нейросети, тест представляю в векторном виде с помощью word2vec, нейросеть пишу с помощью keras, для реккуретной сети там есть спец класс LSTM, но ему на вход подается двумерный массив, а у меня вектор текста. Как решить эту проблему? Как вообще создать нейросеть на питоне для классификации текста с использованием Keras + word2Vec?

Двумерный массив = уложенные подряд векторы текста, ЕМНИП

То есть если вектора слов размерности 1024, то на вход подаётся размер 1024 x N, где N - количество слов в предложении

*или N x 1024

У меня корпус из большого кол-во текста, я прогоняю каждый через word2vec и усредняю, в резудьтате получается что-то вроде вектора текста т.е мне нужно преобразовать его например в 100 x N, где N кол-во слов в теесте. Я правильно понял?

В lstm пихают последовательность. Если уже все слова в векторной форме усреднили, то зачем lstm?

Возьми какой-то простой пример, хотя бы резенции imdb. Там все пошагово показано

У меня корпус из большого кол-во текста, я прогоняю каждый через word2vec и усредняю, в резудьтате получается что-то вроде вектора текста т.е мне нужно преобразовать его например в 100 x N, где N кол-во слов в теесте. Я правильно понял?

Зачем при таком раслкаде LSTM? Тут уже можно линейный классификатор учить.

Thanks

I understand

Извините, еще один, для вас элементарный вопрос, но каким образом увеличивать точность сети ?

Извините, еще один, для вас элементарный вопрос, но каким образом увеличивать точность сети ?

универсального рецепта нет

оч пространный вопрос

техник же куча

Например)

Например)

отбор параметров(X)+Feature Engineering(что на мой взгляд уже отдельная стезя, где можно долго копать)

мое мнение, может не прав

отбор параметров(X)+Feature Engineering(что на мой взгляд уже отдельная стезя, где можно долго копать)

для нейронок явно не лучший вариант

для нейронок явно не лучший вариант

+, я про более простые вещи

Извините, еще один, для вас элементарный вопрос, но каким образом увеличивать точность сети ?

Сделать word2vec эмбединг обучаемым, например.

Чтобы он дообучался под конкретную задачу

@Christypro нет, эту информацию мы здесь публиковать не станем.

@Christypro нет, эту информацию мы здесь публиковать не станем.

Окей)