не ты не понял

смотри есть железная нода

Да понял да

с dcos

когда она стартует

хорошо бы сделать mount

ноhdfs где-то на другой ноде может еще не стартануть

мало того, он может стартовать на той же ноде)

cyclic dependency)

мде;

ну гластер тоже рабочий вариант, и очень хороший

да я думаю nfs на мастере сделаю

а хдфс юзать уже для бизнес тем

но я на старом месте выкинул его, потому что и гластер и хдфс +- одно и тоже

Ну гластер пользовался для синха тбов

ну не, хдфс всеж по круче в плане не проебать данные

да мне кажется мы все пробовали, но остановились на фьюзе; почему - точно не помню

админ долго на меня злобц держал что я убил его гластер

затаил

fuse на hdfs?

какой драйвер юзал

и был ли у него кэш там

это вопрос конечно

Толи клаудера была

У них джавовый драйвер ж

Не тру)

) ну фьюз сам по себе такой

Не

Там есть дрова нормальные

На си писанные)

Привет всем, коллеги ?

Рад узнать про такой замечательный канал.

Подскажите самый простой способ познакомиться с зоопарком Hadoop, пожалуйста.

Подскажите самый простой способ познакомиться с зоопарком Hadoop, пожалуйста.

apache hadoop defenitive guide

А нет чего-то более поверхностного, или это все таки самое то?

hortonwotks лабораторные

Пара курсов по hdfs и mapreduce есть на udacity

Курсы по Spark есть на coursera

Неплохой обзорный курс по всему стеку есть на linuxacademy

Странно, что раньше не слышал о linuxacademy. Нашел этот курс: https://linuxacademy.com/bigdata/training/course/name/big-data-essentials Действительно, рассматриваются много инструментов. Только пока не пойму, платно это все или бесплатно.

Сейчас прохожу курс на Udacity.

Но кажется много там не узнаю нового.

linuxacademy платный, но там есть триальный месяц вроде

на степике еще был курс от мейла

Он устаревший немного и там слишком глубоко рассматривается MapReduce

Углубление в сторону разработки на Java.

На linuxacademy триальные 7 дней только.

а собирал кто Спарк с поддержкой гпу и прочими радостями?

Кстати, присоединюсь к вопросу про сборку: самый годный дистрибутив это HDP ? Чтобы сразу был Hadoop, Hive, Spark ?

Кстати, присоединюсь к вопросу про сборку: самый годный дистрибутив это HDP ? Чтобы сразу был Hadoop, Hive, Spark ?

во всех есть основных

Всем привет. Может подскажете есть ли возможность использовать хайв 2.1 ллап с паркетом?

а собирал кто Спарк с поддержкой гпу и прочими радостями?

спарк нет как не очень юзерфрендли проект и заброшенный к тому же можешь использовать (хотя бы как пример)

а собирал кто Спарк с поддержкой гпу и прочими радостями?

джава ж не умеет эт все)

джава ж не умеет эт все)

но я слышал про проект, плюс был некий тензорфреймс, и там было сказано, что-то про гпу

но я слышал про проект, плюс был некий тензорфреймс, и там было сказано, что-то про гпу

https://github.com/amplab/SparkNet тут и папер есть как свое собрать

вопрос для знатоков zeppelin: может ли цеплять джарники из s3? и динамически обновлять зависимости при обновлении конкретного джарника там

чтото типа vfs класслоадера, но что бы и с с3 работал (к слову я не проверял умеет ли вфс работать с s3)

погугил, умеет вот это: https://github.com/abashev/vfs-s3 но вопрос в силе)

гыгы

а я знаю Абашева

лол

@pomadchin ты swagger юзаешь?

@pomadchin ты swagger юзаешь?

Да

не с финатрой случаем?

лол

И главное он ПОТЕР сообщение

потому что я тоже работаю

неа

@pomadchin я тут решил scalapb-json с finatra-swagger подружить, чет жопа)

ну а че делать)

сочувствую тебе)

мне западро модель переписывать и потом перекладываниями заниматься

меня дикая скука одолевает кога речь заходит о чем-то документация-подобном

поентому я сам стараюсь этим не заниматься, но раздавать советы, да

походу придется заняться этои хуиней

кому-то надо ):

что очень печально, да

поентому я сам стараюсь этим не заниматься, но раздавать советы, да

b очень хорошо писать етл для спарка, там даже тесты не нужны обычно )

b очень хорошо писать етл для спарка, там даже тесты не нужны обычно )

ну я не оч понимаю что ты понимаешь под етл в твоем случае

но у меня все в тестах)

и юнит и интеграционные есть

@pomadchin может там можно кастомные сериализаторы/десериализаторы замутить?

ну так 'етл' часто выходит за рамки etl (что ты назвал бизнес логикуой но потер)

бизнеслогика сложная , которую фиг тестами покроешь

то есть обычно сложные аналитические отчёты на спарке

@pomadchin может там можно кастомные сериализаторы/десериализаторы замутить?

не знаю ):

не ковырял финатру особо

что-то универсальное можно покрыть тестами , а вот сложную логику пользователя нет , так как пользователь и результата ожидаемого толком не знает