т.е. эта боль и говно в сорцах еще и не самое плохое?

ну код получш у акумулы

Андрей втф где хбейз спарк? https://repository.apache.org/content/repositories/releases/org/apache/hbase/hbase-spark/

не пони

я думал они свой hbase-spark релизнут с 2.0

а его нет в релизах

может конечно, они забыли запаблишить

а можно же ванила дистры качать, чтоб не билдить сорцы

ну так и есть... просто не правильный термин был изначально приявязан, а я чет им и аперировал, да именно ванильные дистры использую, а исходники у хадупа вроде тоже maven собирает? ну в общем я не чего не компилил просто юзал src

я думал они свой hbase-spark релизнут с 2.0

а, ты про эту грусть-печаль. Да, я сам страдаю без нормально коннекта в спарке

2.1.0/ Wed Jul 18 13:22:27 UTC 2018 хмм... хочу ванильный хадуп(

3.x уже давно :3

это хбейз был

а у них 3.0 снепшоты уже во всю... тоже

https://repository.apache.org/content/groups/snapshots/org/apache/hbase/hbase-spark/3.0.0-SNAPSHOT/

для квик старта и теста что твоя база умеет выполнять запросы которые нужны для мезы

Скажи пожалуйста, для него же нужен уже раскатаный hbase и zookeper а т запускаю а он ни к чему законектить не может, типаZooKeeper exists failed after 1 attempts hconnection-0x71def8f80x0, quorum=127.0.0.1:2181, baseZNode=/hbase Unable to set watcher on znode (/hbase/hbaseid) такое и на чистой ос тоже ошибок тонна

https://arxiv.org/pdf/1705.03102.pdf шикарное сравнение (по охвату деталей) планировщиков

Привет. Коллеги, кто-то разбирается в Apache Cassandra ?

Привет. Коллеги, кто-то разбирается в Apache Cassandra ?

достаточно популярная бд; многие думаю тыкали тут; пиши вопрос

Скажи пожалуйста, для него же нужен уже раскатаный hbase и zookeper а т запускаю а он ни к чему законектить не может, типаZooKeeper exists failed after 1 attempts hconnection-0x71def8f80x0, quorum=127.0.0.1:2181, baseZNode=/hbase Unable to set watcher on znode (/hbase/hbaseid) такое и на чистой ос тоже ошибок тонна

ты уверен что у тебя все завелось?)

ты уверен что у тебя все завелось?)

ага, прост этo на чистой системе пробовал, решил продолжить установку без квик старта

достаточно популярная бд; многие думаю тыкали тут; пиши вопрос

Благодарю Пишу один документ из php через драйвер DataStax (запрос с сайта) Касандра запрос принимает, не ругается Но запись в БД не создаётся При этом, бекенд барабанит касандру успешными запросами на запись и данные не пропадают Кластер Проксмокс, виртуалки Диска по 500тб, памяти по 34гб Память забита вся, периодически сбрасывается но незначительно Почему с фронта единичные запросы могут не писаться? Причём после выполнения Репейр пишется норм. Но когда память забивается - снова перестаёт писаться..

у нас вообще есть геодокер проект; https://github.com/geodocker/geodocker-geomesa https://github.com/geodocker/geodocker-accumulo-geowave там можно глянуть хотябы что куда сувать

Сроки стали поджимать, поставил geomesa, и ща поставлю geowave. а потом буду шатать дальше свое чудовище) Спасибо, очень помогли.

Traditional monitoring solutions can’t keep up with the scale and complexity of microservices running in the cloud. See how modern cloud-native companies are tackling these problems with SignalFx. - Monitoring: containers, Kubernetes, microservices, Lambda - Empowering: DevOps with smart alerts and powerful analytics - Business Value: lower MTTR and improve your SLA’s https://signalfx.com/wp-content/uploads/2018/07/SignalFx_Whitepaper_4Solutions_0605_Final.pdf

Почему Java developers не заставляют сначала самим написать себе JDK. Хотя...знаю одних таких?

Почему Java developers не заставляют сначала самим написать себе JDK. Хотя...знаю одних таких?

=) Ну тут важная деталь, я не знал хадупа когда пришел сюда, наверно решили, что я так быстрее допру, но что вы хотели сказать понял)

=) Ну тут важная деталь, я не знал хадупа когда пришел сюда, наверно решили, что я так быстрее допру, но что вы хотели сказать понял)

Нет, ну это полезное упражнение, но немного спорное?

Нет, ну это полезное упражнение, но немного спорное?

спорное особенно когда теории нет)

напоминает холивары с лора и заявлениями «труъ одмены собирают линукс руками»

напоминает холивары с лора и заявлениями «труъ одмены собирают линукс руками»

но это же правда - один раз руками собрал, бустанул экспертизу во много раз

Экспертизу порядка запуска компонентов? Написания конфигов? Что одно, что другое описано в том числе в доках к амбари у того же хортона

А вот конфиг менеджмента уже не будет. Даёшь конфижный ад в кластере

Экспертизу порядка запуска компонентов? Написания конфигов? Что одно, что другое описано в том числе в доках к амбари у того же хортона

понимание как это все работает и зачем что нужно

понимание как это все работает и зачем что нужно

или повод для батхерта если оно не нужно/сделано через пень

конечно

а иначе ты просто не поймешь что гореть надо

все инкапсулировано

а потом приходят и говорят вот я тыкнул на пару кнопок и у меня кидает JAVA NOT FOUND еррор что делать

понимание как это все работает и зачем что нужно

Оно вот прямо в амбари доках и написано. А без доков все равно далеко не уедешь. Даже в установке амбари не дефолтной или развертывании кластера. Как недавно пролетало здесь

Оно вот прямо в амбари доках и написано. А без доков все равно далеко не уедешь. Даже в установке амбари не дефолтной или развертывании кластера. Как недавно пролетало здесь

да во всех дистрах безусловно есть доки

и ванила доки отличные

и ванила доки отличные

А что ты вчера имел под ванила дистрами? Сам термин ванила мне знаком, а вот дистры ?

А что ты вчера имел под ванила дистрами? Сам термин ванила мне знаком, а вот дистры ?

дистрибутив)

дистрибутив)

)) ну я имею ввиду какие дистры ?)

ванила дистрибутив я имею ввиду http://hadoop.apache.org/releases.html

тогда все верно я понял. про них и подумал

но это же правда - один раз руками собрал, бустанул экспертизу во много раз

Подходы к обучению у всех разные. Кому то действительно проще так будет. Мне например наоборот - знакомство с новым продуктом через боль и ручную настройку всего всего никак не поспособствует повышению скилов, скорее меня это задолбает и я пойду другими делами заниматься. Но возводить этот способ в единственно верный - неправильно :)

Че когда там завезут java11?

не в этой жизни)

спарк до на 2.12 не стоит ждать скоро

Подходы к обучению у всех разные. Кому то действительно проще так будет. Мне например наоборот - знакомство с новым продуктом через боль и ручную настройку всего всего никак не поспособствует повышению скилов, скорее меня это задолбает и я пойду другими делами заниматься. Но возводить этот способ в единственно верный - неправильно :)

ну я не говорил про прыжок с нуля сразу через боль ад и страдания.

ну я не говорил про прыжок с нуля сразу через боль ад и страдания.

тут просто спич на эту тему как раз :)

посмотри выше

спарк до на 2.12 не стоит ждать скоро

Хотел было опровергнуть , но открыл ишью, а там reopened ¯\_(ツ)_/¯ https://issues.apache.org/jira/plugins/servlet/mobile#issue/SPARK-14220

письмо пришло прям перед спарк митапом

Хотел было опровергнуть , но открыл ишью, а там reopened ¯\_(ツ)_/¯ https://issues.apache.org/jira/plugins/servlet/mobile#issue/SPARK-14220

блин, когда ж я не поленюсь и сделаю тотализатор

похоже в этот раз багуля в жанино у них

а зачем им "супер-быстрый" альтертнативный джава компайлер?

а зачем им "супер-быстрый" альтертнативный джава компайлер?

умные тип, выпендриваются

генерят каталист выражения им

ээ

ну я даже не знаю, наверное, у них были какие-то причины, но звучит как целое поле граблей

https://github.com/apache/spark/blob/master/sql/catalyst/src/main/scala/org/apache/spark/sql/catalyst/expressions/codegen/CodeGenerator.scala

супер-быстрых граблей

а чем ты предлагаешь?

джаваком

как-то прогреть и держать включенным

ну это первое, что пришло в голову, явно они это рассматривали и откинули

я думал ты скжаешь про скаловый тулбокс. квазиквотами генерить

а это даже не грабля, это целенаправленная стрельба в ногу из гранатомета

у тя какието проблемы)

все прагматично; в 1.3 насколько я помню ввели каталист тогда выражения генерились макрсоами скаловыми

не знаю где там стрельба в ногу - все работало

недостаточная была скорость всего этого барахла

стрельба в ногу в том месте, где идет переход на скала3

поэтому они и заюзали джанино потому что он предназначен для этого и заручились поддержкой команды жанино

ну знаешь; в овремена спарка 1.3 все только и горвили о скале 3 да о дотти

а кто не пробовал дотти - тот был просто умственно отсталым в то время

ну и я не думаю что ToolProvider или как оно там зовется (не помню как генерят код жаисты без либ) будет быстрее скалового тулбокса; спецом для этих целей жанино делали

а чем ты предлагаешь?

Грааль

hi all

здарова

Azure has seen several iterations during its existence, and now it supports cloud-native distributed application development using containers and tools like Kubernetes. Brendan Burns, one of the original founders of the Kubernetes Project, is now on the Azure team working on a set of intriguing design patterns for K8s-based applications. https://www.infoworld.com/article/3294791/containers/a-peek-into-azures-kubernetes-container-pattern-future.html?utm_medium=email&utm_source=topic+optin&utm_campaign=awareness&utm_content=20180811+prog+nl&mkt_tok=eyJpIjoiWlRjM01qZGlZbUZoTW1ZNCIsInQiOiI5RGVnSmxxTXlLQ3lROEd6bVhOd1lpckxXRnBVaXdhcDlKWVBFdU9OeWRXSWp0TFI5UWp4aldiSjUzbEtpeG1hbjduTE1XK1dxbVl0U2ZrMjd3eWw4UmJ2Z1NvR01lUjJwOUwydXQwTkoyM1l1U3RxVk05STZBMEV0M0M2WVdVRyJ9

What are testers to do when they can't build their own testing systems to be as complete as the production systems? Alex Handy, writing for The New Stack, got together with Alex Martins of CA Technologies to discuss an interesting solution called "service virtualization". https://thenewstack.io/how-to-do-microservices-integration-testing-in-the-cloud/?utm_medium=email&utm_source=topic+optin&utm_campaign=awareness&utm_content=20180811+prog+nl&mkt_tok=eyJpIjoiWlRjM01qZGlZbUZoTW1ZNCIsInQiOiI5RGVnSmxxTXlLQ3lROEd6bVhOd1lpckxXRnBVaXdhcDlKWVBFdU9OeWRXSWp0TFI5UWp4aldiSjUzbEtpeG1hbjduTE1XK1dxbVl0U2ZrMjd3eWw4UmJ2Z1NvR01lUjJwOUwydXQwTkoyM1l1U3RxVk05STZBMEV0M0M2WVdVRyJ9

Привет всем) Может быть кто-нибудь знает и может помочь У меня есть структура папок в hdfs и таблицы на hive Нужно каким-то образом визуализировать представленную там информацию (выводить записи, сортировать по дате и т.д.) При этом нужно иметь возможность смотреть вложенные папки / связанные таблицы Из hdfs или из hive брать информацию - непринципиально Я хотел узнать - есть ли возможность реализовать такую функциональность средствами hue Не могу пока ничего похожего найти

а хьюевый файл-менеджер не подходит?

Плюсую, google Hue File Browser