ну тесты же)) просто) а так норм, почему нет, сами данные вынести в volume

а где косяк будет? сеть мапишь на тачку, датаноды и неймнода фолдеры мапишь на фс внешнюю (если волюм коробит)

а в hdfs много изменений ?

тиеринг вроде, ребалансировка данных между дисками внутри одной ноды

ну тесты же)) просто) а так норм, почему нет, сами данные вынести в volume

тесты чего? ты там наверное на ридврайте ничего так времени теряешь)

подкатили задачку по настройке security. вот и решили заодно на новой версии это опробовать

оу

а там завезли сесурити?

её давно завезли вроде)) с 2.7 более менее все было

судя по докам

а данные энкриптит?

сесурити в 2.7 же вроде ок

шифрование в 2.7 тоже есть емнип

да

у нас все кроме шифрования включено на бою, в целом все хорошо

а чем шифрует?

охереть как много мимо меня прошло)

у нас все кроме шифрования включено на бою, в целом все хорошо

sasl между нодами тоже есть?

sasl между нодами тоже есть?

да

круто. а хадупчик ванильный?

а чем шифрует?

вот это я не подскажу, тк не крутил - но врядли что то особенное

обычное блочное шифрование наверное

круто. а хадупчик ванильный?

не, хортон)

ranger норм работает?

ranger норм работает?

да, причем удобнее сделан, чем сентри в клаудере

ну нам точнее больше нравится

о круто. вот собираюсь как раз его поднимать. только на ваниле

то гляжу, даже бинарей нет, мавеном собирать, думал сырой ещё

ну из того, с чем придется повоевать - это конфиги кербероса

по началу то тикеты не обновляются, то еще чего :)

а он в хортоне сразу идёт, или все равно надо руками собирать и ставить?

а он в хортоне сразу идёт, или все равно надо руками собирать и ставить?

идет сразу, нужно ток включить и настроить

Блин, у дцосном универсе версия старая

идет сразу, нужно ток включить и настроить

круто

А самому пр делать лень

Всем привет! Компания Propzmedia ищет опытного Spark Data Engineer. Мы создаем продукт автоматизации маркетинга в ритейле. Проект интересный и разноплановый, используем современные практики создания софта, постоянно работаем над качеством. Стек технологий: Apache Spark, Scala, Apache Zeppelin, Amazon EMR, Docker. Работа полностью удаленная, в интернациональной команде, язык общения с зарубежными коллегами - английский. Я (выступая в роли CTO) радею за максимально человеческое отношение к сотрудникам: спокойный рабочий график, оплачиваемый отпуск и национальные праздники, другая помощь в работе. Для хорошего специалиста мы с радостью сделаем интересное предложение материальной компенсации. Конечно, обсуждение конкретных условий ведется индивидуально, по результатам собеседования. Буду рад ответить на вопросы! Описание вакансии: https://goo.gl/eWh7Gb #работа #удаленка #job #remote #remoteOk

Всем привет. Может ли кто-то подсказать вменяемую тулзу для дата-профайлинга? Входные данные - json-файлы с достаточно замороченной иерархической структурой.

jq ?

Это немного не то, что хотелось)

а что хочется то?)

из описания jq отлично подходит

И по скорости работы отлично себя показывает

А, дело в том, что этим должны аналитики пользоваться

А, дело в том, что этим должны аналитики пользоваться

NiFi?

drill

sqlContext.read.json

На входе куча файлов с частично известной структурой. От файла к файлу набор полей отличается. Необходимо выяснить что же там содержится и некоторый анализ из разряда: referentail integrity, unique key check, pattern finder, standartization, value distribution и т.д. Если известна структура того, что падает на вход, то всё это реализуется за 2 шага - привести к нужному формату и скормить на вход Ataccama/Talend и им подобным. Хочется дать инструмент аналитикам, с помощью которого они смогут самостоятельно (без разработчиков) исследовать такие данные.

Нубовской такой девопс-вопрос, просветите. В клаудере, надо просто ставить дистр парселсы и все поднимается. Как все это устроено в хортоне? Или ткните на точку входа, пожалуйста. Имею в виду с чего начать разворачивать кластер.

Ambari ж

https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.6.3/index.html

амбари разверни на виртуалке и дальше сам все поймешь)

ага, спасибо, так и сделаю

еще один упреждающий вопросец)) его же достаточно на одной ноде поставить? дальше уже из него?

его на отдельную виртуалку можно

и даже нужно)

понял, спасибо)

присоединясь к коллеге

кто как диски делит

master/slave

Всем привет, сейчас над такой задачей работаю: вытаскиваю парсинг файлов в scala модуль из питончика чтобы работало побыстрее. Столкнулся с такой проблемой, что изнутри скалы не могу подключиться к уже существующему контексту pyspark, пишет ошибку ERROR XSDB6: Another instance of Derby may have already booted the database. Ок, но как создать датафрейм внутри скалы в таком случае? Сейчас делаю так: spark = SparkSession.builder.getOrCreate() // тут получаю RDD[Row] val rows = spark.sparkContext.makeRDD(lines.map(buildRow)) // пытаюсь использовать этот RDD для создания датафрейма val df = spark.createDataFrame(rows, <StructType(...)>)

кильни все процессы не нужные) где-то ты занял просто все

Запускаю потом это всё через pyspark —jars my.scala.module.jar ну и обращаюсь через spark._jvm.

Хм, может быть конечно и так

а если не в случайных процессах дело то гдето на стыке питона и жвм ?

Ломается причём на моменте createDataFrame, что-то я там упускаю

а в чем идея запуска джарника писпарком?

попробуй для начала spark.emptyDataFrame.show

>spark = SparkSession.builder.getOrCreate() ты при копировании ошибся или у тебя spark mutable ?

а в чем идея запуска джарника писпарком?

Основной код на питоне, джарник нужен чтобы избежать избыточной сериализации при парсинге файлов - т.е. базовая операция получения датафрейма из кучи файлов переносится в скалу

>spark = SparkSession.builder.getOrCreate() ты при копировании ошибся или у тебя spark mutable ?

Не ошибся, всё так

а в коде ты один раз контекст спарка создаешь?

мб в этом как раз причина?

https://spark.apache.org/docs/2.2.0/sql-programming-guide.html#starting-point-sparksession Я его вообще не создаю, просто получаю сессию как в доке

там val spark = ..

Внутри pyspark как я понимаю делается то же самое

А, сорри, у меня тоже val

Я не сразу понял о чём речь

?

попробуй емптидатафрейм

Пробую

Всё так же с ептидатафрейм

Может хайву как-то указать можно использовать уже существующий metastore?..

а ты где то включаешь поддержку хайва в коде?

Не включаю, но metastore создаётся всё равно

странно

У меня Spark 2.2.0, может имеет значение

мб во вторых версиях что то поменяли, но в 1.6 sqlContext прекрасно живет без хайва

Мне он в принципе и не нужен, но похоже что внутри где-то используется

вообще, если ты не используешь .enableHiveSupport, он не должен создаваться

в 1.6 сам контекст создается как new .. HiveContext(sc)

а где ты это все запускаешь?