@hadoopusers

Страница 129 из 182
Grigory
09.08.2018
07:43:28
ну это фреймворк) его не обязательно инсталлить кудато

просто как депенся в своей либе - профит

что нужно делать это итераторы для акумуло / хбейз ставить в корень

Sergioss
09.08.2018
07:43:51
@Sergio_ss а зачем ее инсталлить?) в плане это просто либа)
нееее не прям так с азов))) в плане эт получается прослойка меж хадупом и базой?

Google
Grigory
09.08.2018
07:43:53
ну и если хочется cli то тогда надо инсталить

нееее не прям так с азов))) в плане эт получается прослойка меж хадупом и базой?
это и доп код на стороне базы (если нужно и возможно) и методолгия хранения данных и методолгия запросов

и выполнения операций после выполнения запросов

Sergioss
09.08.2018
07:44:42
ну и если хочется cli то тогда надо инсталить
просто не понимаю как именно этот фраеим работает

Grigory
09.08.2018
07:45:13
там экзампл проекты есть)

вот например: https://github.com/geomesa/geomesa-tutorials/blob/master/geomesa-examples-spark/src/main/scala/com/example/geomesa/spark/ShallowJoin.scala

Sergioss
09.08.2018
07:45:41
Grigory
09.08.2018
07:46:10
а не через cli как?
просто как зависимость в свой проект добавляешь и пользуешься функциями

Sergioss
09.08.2018
07:46:41
Grigory
09.08.2018
07:47:17
джарники в проект тащишь

Sergioss
09.08.2018
07:47:47
вы меня простите за дебильные вопросы) Закрепите за мной клише нуба, я только учусь)

Grigory
09.08.2018
07:48:32
)))

Google
Grigory
09.08.2018
07:48:47
да - это фреймворк; добавялешь зависимости в свой проект и пользуешь)

слай для типовых вещей какихто нужна

для квик старта и теста что твоя база умеет выполнять запросы которые нужны для мезы

Sergioss
09.08.2018
07:49:53
для квик старта и теста что твоя база умеет выполнять запросы которые нужны для мезы
вот вчера ставил с квик старта, там же maven все собирает, не чего не понял ну в смысле все собрал, а как оно и чего в итоге должно быть не понял оставил на сегодня)

Grigory
09.08.2018
07:50:33
мм смотри

сорцы их билдить точно не надо)

если ты у себя в приложении используешь - то просто как зависимости используй паблишеные версии

Sergioss
09.08.2018
07:50:51
записываю)

Grigory
09.08.2018
07:51:15
итераторы для хбейз / аккумуло качай из релизов - https://github.com/locationtech/geomesa/releases

итераторы тут это функции для баз; только если hbase или accumulo юзаешь суются в класспас кластера, в vfs и ребутится кластер

лучше опиши что ты хочешь делать)

Sergioss
09.08.2018
07:52:56
лучше опиши что ты хочешь делать)
сейчас напишу одним предложением

У меня есть хадуп поставленный с иходников по инструкции с https://www.edureka.co/blog/how-to-set-up-hadoop-cluster-with-hdfs-high-availability/ имею: NameActiv-node NameSecodary-node Data-node так же установлены: Spark Hbase Hive Нужно просто прилепить ко всему этому geomesa and geowave Но не понимаю что это такое и что должен получить на выходе как вообще проверить что все работает. Вчера вроде чет там навертел, все без ошибок и сижу думаю что явообще сделал)

Grigory
09.08.2018
07:57:34
а зачем (цель какая финальная)? просто тут две (вейв и меза) это две скорее клиентские либы их не надо ‘инсталлить’ (кроме как сувание доп функций хбейз в класспас хбейза)

у нас вообще есть геодокер проект; https://github.com/geodocker/geodocker-geomesa https://github.com/geodocker/geodocker-accumulo-geowave там можно глянуть хотябы что куда сувать

там конечно аккумло везде а не хбейз; но это тоже самое +-

Sergioss
09.08.2018
08:00:20
а зачем (цель какая финальная)? просто тут две (вейв и меза) это две скорее клиентские либы их не надо ‘инсталлить’ (кроме как сувание доп функций хбейз в класспас хбейза)
цель загружать больше колличество слоев итд на данном этапе просто понять как оно работает ну мне так аналитик сказал)

Grigory
09.08.2018
08:03:29
мне кажется хороший пример: https://www.geomesa.org/documentation/tutorials/geomesa-quickstart-hbase.html

из доки

оно запустит вот этот код: https://github.com/geomesa/geomesa-tutorials/blob/master/geomesa-tutorials-common/src/main/java/org/geomesa/example/quickstart/GeoMesaQuickStart.java

Google
Grigory
09.08.2018
08:03:48
тут пример как вставлять фичи

и как кверить

примитивные примеры

Sergioss
09.08.2018
08:04:03
Grigory
09.08.2018
08:04:05
немного сложно, потому что тут абстрагировано над типом бекенда

небось аут оф дейт что-то

Sergioss
09.08.2018
08:04:39
немного сложно, потому что тут абстрагировано над типом бекенда
ага + ко всему днищенские знания в hadoop делают свое дело))

Grigory
09.08.2018
08:05:14
лан) ну ты попробуй потом ошибки сюда свалить; может помогу

Sergioss
09.08.2018
08:06:57
Хорошо, я прост ошибками не кидаю часто все гуглится быстрее, в основном трудноо въехать что оно и как долно в итоге себя вести. p.s Приятно что в чатике есть помощь, спасибо

Grigory
09.08.2018
08:07:51
тяп ляп там даты всякие хмл файлы

много csv файлов, ведь других форматов нет

ну и плов готов

Sergioss
09.08.2018
08:08:06
да чо там знать
я не понимаю как раскладываются данные, не понимаю какие xml какие опции имеют и многое другое

я не понимаю как раскладываются данные, не понимаю какие xml какие опции имеют и многое другое
у меня на этот счет кстати есть книга на русском могу зашарить

Андрей
09.08.2018
08:08:58
5-е издание? :)

Sergioss
09.08.2018
08:09:06
ща скажу что)

Grigory
09.08.2018
08:09:30
искал объяснение почему поверх хдфс нужна хбейз и ей еще зукипер зачем-то?

Sergioss
09.08.2018
08:09:50


Grigory
09.08.2018
08:10:00
юзлес книга(

Google
Андрей
09.08.2018
08:10:15
Ну почему же

Sergioss
09.08.2018
08:10:16
(

Андрей
09.08.2018
08:10:24
Годное чтиво на ночь

Grigory
09.08.2018
08:10:30
попробуй кстати почитать accumulo defenitive от орейли

Sergioss
09.08.2018
08:10:35
юзлес книга(
Ну на старте же зайдет разве нет?

Андрей
09.08.2018
08:10:55
на старте туториал от Хортона зайдет тащемта

Sergioss
09.08.2018
08:11:03
попробуй кстати почитать accumulo defenitive от орейли
Хотелось бы hbase, думаю она имеет большее комьюнити

на старте туториал от Хортона зайдет тащемта
я с исходников поставил с ними и работаю

Grigory
09.08.2018
08:11:26
да оно одно и тоже (_почти_), ты же про принципы думал хотел понять

Андрей
09.08.2018
08:11:55
я с исходников поставил с ними и работаю
ну блэт, можно было как-то менее хардкорно начать :)

Grigory
09.08.2018
08:12:36
да уж собирать сорцы хадупа такое се развлечение

Sergioss
09.08.2018
08:13:06
Эт при устройстве на работу)

Андрей
09.08.2018
08:13:58
попробуй кстати почитать accumulo defenitive от орейли
А чем оно лучше тех же гайдов по HBase и Cassandra?

Grigory
09.08.2018
08:14:17
А чем оно лучше тех же гайдов по HBase и Cassandra?
а мне нравится изложение просто

Андрей
09.08.2018
08:14:19
Жеееесть

Grigory
09.08.2018
08:14:20
суть и кратко

Sergioss
09.08.2018
08:14:28
Сегодня подошел говорю типа э давай уже дистры задали пару вопросов я сказал, лааадно и ушел вас пытать)

Grigory
09.08.2018
08:14:58
А чем оно лучше тех же гайдов по HBase и Cassandra?
тож попроьуй; она просто accumulo oreilly зовется

Google
Grigory
09.08.2018
08:15:07
считаю ее одной из лучших орейли книг ):

Андрей
09.08.2018
08:15:52
Ща HBase дочитаю, сяду за Accumulo :) У нас архитектор прям любит HBase, топит на всех встречах

Grigory
09.08.2018
08:16:01
HBase лучше аккумулы)

комунити и апи

Sergioss
09.08.2018
08:16:08
+ Даже нуб эт знает)

Grigory
09.08.2018
08:16:13
а вот дизайн таблиц очень конфузный в хбейз

глупее коламн фемили хбейза ничего нету

почему это не сделать одной колонкой (?)

чтоб был второй ключ грубо говоря

изза этого в хбейз костыли про префиксам индексов)

+ Даже нуб эт знает)
акумула имеет секурность на уровне ячеек, и ячейки до экзобайта размером; и нормальный дизайн таблиц; + сапортится анб

Андрей
09.08.2018
08:18:26
HBase лучше аккумулы)
да там не про акумулу даже речь :) Мы хотим попробовать HBase для аналитических витрин с Фениксом поверху

Grigory
09.08.2018
08:18:42
адовые)

Андрей
09.08.2018
08:18:59
Даталейк такой даталейк

Grigory
09.08.2018
08:19:04
лул)

да там кстати новая хбейз обещает быть сочной

аа она уже релизнулась

Grigory
09.08.2018
08:21:32
Андрей втф где хбейз спарк? https://repository.apache.org/content/repositories/releases/org/apache/hbase/hbase-spark/

Страница 129 из 182