а можшь залогиниться и посмотреть что на кластере?

те просто над найти гдето там джарки

microsoft-log4j-*.jar, WindowsAzureETWSink-*.jar, WindowsAzureTableSink-*.jar

$HADOOP_HOME/share/hadoop/common/lib/WindowsAzureETWSink-* что-то такое

те просто над найти гдето там джарки

угу, но мен их надо в свою апликуху добавить, у нас один fatjar со всем внутри. Т.е. оптимально если оно в maven где-то есть я я его просто в депенденси добавлю. иначе придется доставать из кластера либу и колхозить еще больше

оч странно конечно что его нету)

оч странно конечно что его нету)

ну так у нас свой classpath и все что надо нужно ручками туда добавлять (

а почему свой класспас?

почему не использовать дефолтный?

если свой класспас то тогда почему лог4ж проперти подхватываются не те?

а наверн они не совсем в класспасе)

поидее надо дефолтный использовать а джарник собрать так чтоб не конфликтовал

иначе криво будет

а наверн они не совсем в класспасе)

они видимо дефолтные с hadoop-azure джарки. у нас пока все оченькриво, типа proof of concept т.как слишком наворотили и сейчас не можем так собрать чтоб не конфликтовало, слишком много всего ( вот и мучаюсь ? proposal сделать нормально уже в процессе но его нужно долго аппрувить а MVP делать надо уже на вчера

рекомендую разрезолвить зависимости)

это не так сложно

рано или поздно придется воевать с этим

рано или поздно придется воевать с этим

уже начали ) просто у нас по бигдате никого нету, сказали типа что теперь я бигдата инженер ))) вот и делай а про azure сказали буквально вчера

уже начали ) просто у нас по бигдате никого нету, сказали типа что теперь я бигдата инженер ))) вот и делай а про azure сказали буквально вчера

радуйся. твоё резюме стало стоить дороже в полтора раза :D

это изза ажуры?

из-за бигдаты

это была шутка, если чо

Привет

никто не сталкивался- 2018-03-20 13:10:48,999 [hiveserver2-web-38] ERROR impl.LlapZookeeperRegistryImpl - Unable to decode data for zkpath: /user-hive/llap/workers/worker-0000000098. Ignoring from current instances list.. 2018-03-20 13:10:48,999 [hiveserver2-web-38] ERROR impl.LlapZookeeperRegistryImpl - Unable to decode data for zkpath: /user-hive/llap/workers/worker-0000000100. Ignoring from current instances list..

привет всем

несколько вопросов от начинающего пользователя hadoop, подскажите плз

Есть ли принципиальная разница между дистрибутивами от Cloudera и HortoWorks? Что используете вы и почему?

Привет. На начинающем уровне все равно, не заморачивайся

Есть ли принципиальная разница между дистрибутивами от Cloudera и HortoWorks? Что используете вы и почему?

Руками подними )

Докер-компоуз ап. Там вариантов на докерхабе полно. В любых конфигурациях. Минус в том, что клаудера даёт панель управления единую. А если руками, то ее не будет

HDP Sandbox

Докер-компоуз ап. Там вариантов на докерхабе полно. В любых конфигурациях. Минус в том, что клаудера даёт панель управления единую. А если руками, то ее не будет

кстати да, интересный вариант

а Amazon EMR, Azure HDInsight, Google Dataproc кто-нибудь использует в этом чате?

а Amazon EMR, Azure HDInsight, Google Dataproc кто-нибудь использует в этом чате?

пользуются всем, лучше конкретное что-то спроси)

разница тут в тулинге и деньгах

Amazon и Azure предлагают выбрать из нескольких преднастроенных конфигураций (просто Hadoop, HBase, Spark). Какой в этом смысл? Почему нельзя сразу запускать кластер со всеми популярными компонентами?

Чтоб демона у тебя тупо бабки жрали?

более того, в Azure используется HortonWorks и через Ambari можно легко установить новые компоненты или удалить старые

Чтоб демона у тебя тупо бабки жрали?

вопрос в утилизации памяти в виртуалке?

Например

есть вот такой супер кастомный режим

кто-нибудь это юзает?

чтобы прям конкретные демона выбирать

Имхо в реальном проде никто не ставит все подряд. Это косты на конфиги, ресурсы, оркестрацию

ок, а разделение на три шаблона (Hadoop, HBase, Spark) - оно имеет смысл?

ок, а разделение на три шаблона (Hadoop, HBase, Spark) - оно имеет смысл?

Тут чат для помощи комрадам по несчастию, а не что-то еще.

ок, а разделение на три шаблона (Hadoop, HBase, Spark) - оно имеет смысл?

Да

Всем привет. Скажите есть ли специалисты с опытом Oracle Big Data Appliance и edge node на нем? Или может кто в ручную добавлял ноды через СМ а не через мамонта?

привет. упали риджины в хбейзе и даже не запуститься. Похоже что при запуске мастер начинает адово ассайнить предыдущие таски (сплиты всякие ит.п.) и риджины падают вновь. Если я дропну WALs вручную сильно ли всё сломается?

дропну из хдфс прямо

Всем привет! Никто не сталкивался с переименованием datanode? Как заставить namenode видеть под новым адресом старую датаноду?

декомиссовать старую, удалить из кластера, поменять адрес/хостнейм, завести заново самый просто вариант

а если в кластере всего 1 датанода?

лол

а если 0.5?

а если в кластере всего 1 датанода?

а данных много?

нет) можно и сложить на диск и не париться. но кажется, что должен быть ещё путь с какой-нибудь настройкой

А он что не даёт decimission делать если только одна датанода?)

Если хадупчик ванильный надо править workers (бывший slaves). Если нет, можно просто добавить вторую какую-нибудь, а первую удалить.

Так ребята и девчата. Блядский цирк начинает гастроли и у нас, скорее всего, будет новая площадка. Программа по доклалам уже почти сформирована. Ожидается новый формат со звездой из-за бугра. Но, есть ещё один слот, если кто-то созрел, пишите мне в личку поскорее!

Это про Moscow Spark если что

@pklemenkov звезда это которую мы знаем?

Гриш, молчи!

де гоуза везете ?

де гоуза везете ?

да

@pklemenkov а удаленно значит можно будет и смотреть? я просто мб не буду в мск

де гоуза везете ?

Холдена Карау. Уже охрану заказали)

@pklemenkov а удаленно значит можно будет и смотреть? я просто мб не буду в мск

Гриш, лайв обязательно сделаем. Надо уровень держать

отлично

Ребят, а когда примерно будет и когда запись откроете ?

Гриш, лайв обязательно сделаем. Надо уровень держать

А где-нибудь ссыль на описание митапа и тд. есть?

Через неделю, stay tuned