Любой.

кстати какой лучше фреймворк взять если нужны ток kafka+hdfs+hbase+storm

Здесь лучше HortonWorks.

Здесь лучше HortonWorks.

а не расскажешь почему?

а не расскажешь почему?

у меня раньше была клоудера пару раз, но мож есть что получше и проще

в клаудере в CM нет версионности конфигов в комьюнити версии

это очень парой докучает

в остальном мне CM больше наравился чем Ambari

я потому и думаю что ставить, у меня не один из разрабов даже в глаза раньше не видел ничего из списка

а к декабрю уже макет надо показывать заказчику

и железо будет ток через 4 недели

а не расскажешь почему?

Как правило, CDH отстает по версиям и компонентам (не берут хорошие проекты, а втыкают свои). В плане стабильности нареканий к HDP нет. А Storm - это к HortonWorks, они его любят. В части поддержки в РФ могут быть проблемы, но конкретно для нас это не имеет значения.

Субъективно, HDP понравился больше, чем CDH. Хотя опыт проектов есть на обоих.

в общем соглашусь с Александром

Как правило, CDH отстает по версиям и компонентам (не берут хорошие проекты, а втыкают свои). В плане стабильности нареканий к HDP нет. А Storm - это к HortonWorks, они его любят. В части поддержки в РФ могут быть проблемы, но конкретно для нас это не имеет значения.

а ignite нормально встанет туда дополнением?

а ignite нормально встанет туда дополнением?

брось бяку

брось бяку

он под быстрые метаданные

он чисто типа на ssd

nvme

брось бяку

+

и в него для обработки будут переносится данные с "медленного" hbase

чтобы олапы делать

и графики показывать красивые

он чисто типа на ssd

он вроде как вообще инмемори(хотя персистенс тоже вроде как есть)

Рискованная инвестиция)

ну а какие ещё варианты, вертику я по баблу не осилю

ну а какие ещё варианты, вертику я по баблу не осилю

druid|clickhouse

druid|clickhouse

второе разрабы не хотят точно сказали, предлагал, друид гляну

мне вообще сказали найти то к чему Go коннектор\драйвер есть

мой прогноз: нихрена у вас не взлетит, причем тут Go и OLAP?

мой прогноз: нихрена у вас не взлетит, причем тут Go и OLAP?

софт на го будет

мой прогноз: нихрена у вас не взлетит, причем тут Go и OLAP?

на счёт не взлетит, взлететь то может и взлетит, вопрос как упадёт

druid|clickhouse

GreenPlum

Кто знает, в ренджере можно настроить доступ только на просмотр политик без права редактирования?

The aim of permission module is to provide flexibility of user roles.With the help of permission model, Admin can restrict access or assign permission to any module for non-admin users.The main purpose of Permission model is to assign dedicated roles to non-admin users based on services such as policy manager, audit, reporting, user management,Key Manager. В рамках модуля не получится имхо. Дока устарела на 5 мажоров, но

70% enterprise кода вообще написана людьми которые слабо понимают что есть алгоритм, про юнит тетсты и прочие полезности я вообще молчу

В самую точку

это ты не видел ещё как 15 студентов проектируют систему на пб на монге

А много в отрасли людей с опытом 3+ года?

второе разрабы не хотят точно сказали, предлагал, друид гляну

Чего не хотят?

А много в отрасли людей с опытом 3+ года?

Какой именно опыт ты учитываешь, вот вопрос?

Коммерческой разработки, коммерческой разработки рядом в команде, коммерческой разработки на одном языке

Я чет снова запутался, у меня есть такая шляпа но я не могу понять как это лучше сделать. У меня просто логика выбора файлов несколько необычна как и мои вкусы =) Есть набор дней(разных, и месяцев) для которых я должен посчитать стату, и они у меня вот в массике лежат, но как заставить спарк выдать RDD одним куском я не понимаю, докутился до такого val filePaths:Array[String] = ??? val unionFlow: RDD[Row] => Unit = ??? filePaths.foreach { iter => val parquet: DataFrame = spark.read.parquet(day) val rdd: RDD[Row] = parquet.rdd unionFlow(rdd.repartition(100)) }

parquet же варарг принимает

String*

Я не смог вспомнить, нагуглить как туда запихнуть из Array

arr: _*

*делает безпомощное лицо*, а можешь намекнуть сильнее..

spark.read.parquet(filepaths:_*)

Уф, самое интересное

Спасибо

Какой сейчас эффективный способ хранения на hdfs и доступа к данным через SQL?

Presto

Presto

Как в сравнении с Impala и Phoenix?

А в каком формате вообще вы храните архивные копии бд на hdfs?

Presto

Как он в сравнении со spark sql?

Как в сравнении с Impala и Phoenix?

не юзал их но думаю presto проигрывает в производительности но выигрывает в гибкости

Как он в сравнении со spark sql?

у них немножко разне юз кейсы, не думаю что их можно сравнивать

На Impala американские робокопы ездили

А в каком формате вообще вы храните архивные копии бд на hdfs?

ORC и Parquet в S3

hdfs тоже работет

ORC и Parquet в S3

Была ли у вас задача импорта фром оракл? Если да, как решали проблему с datetime

не было, а в чем проблема?

По импорте скупом дата берётся как стринг

ну у меня файлы с данными стряпаются spark-ом, там все преобразования какие надо делаются

presto просто читает готовые данные и делает с ними sql-магию

Всем, привет! Встала задача пассивно мониторить размер rdd, которые аналитики вытаскивают. Была мысль добавить мап фазу с аккумулятором перед выдачей рдд, но там сэмплирование все запарывает, ни у кого похожего опыта нет?

Была ли у вас задача импорта фром оракл? Если да, как решали проблему с datetime

используйте copy2hadoop вместо sqoop

ну у меня файлы с данными стряпаются spark-ом, там все преобразования какие надо делаются

+ SQOOP не особо гибко настраивается, поэтому Spark здесь лучше.

Привет! Вопрос) У нас есть много загрузок данных из кучи источников. И есть подозрения, что существенной частью из них никто не пользуется. Собственно, есть ли способы как-то мониторить обращения к таблицам? (Hive и Impala, как из web интерфейса, так и через консоль/питон). Обращения к файликам таблиц напрямую нет.

у них немножко разне юз кейсы, не думаю что их можно сравнивать

А в чем разность? Беглое гугление дало размытые ответы

spark это фреймфорк для обработки даннх а presto это СУБД

у них общего только то что они оба распределенные и поддерживают sql)

Привет! Вопрос) У нас есть много загрузок данных из кучи источников. И есть подозрения, что существенной частью из них никто не пользуется. Собственно, есть ли способы как-то мониторить обращения к таблицам? (Hive и Impala, как из web интерфейса, так и через консоль/питон). Обращения к файликам таблиц напрямую нет.

sentry audit?

только он вроде select не отслеживает

spark это фреймфорк для обработки даннх а presto это СУБД

Presto - это тоже engine для обработки данных, а не СУБД в привычном смысле.

Привет! Вопрос) У нас есть много загрузок данных из кучи источников. И есть подозрения, что существенной частью из них никто не пользуется. Собственно, есть ли способы как-то мониторить обращения к таблицам? (Hive и Impala, как из web интерфейса, так и через консоль/питон). Обращения к файликам таблиц напрямую нет.

У хайва логи есть (говорят иногда правдивые)

Presto - это тоже engine для обработки данных, а не СУБД в привычном смысле.

Я вот так же понял. Оба движка просто берут данные, которые лежат на хдфс (обычно), и применяют к ним sql. В чем разница то?

только он вроде select не отслеживает

The Sentry audit log is responsible for logging the authorization metadata change, the following operations will be logged: create role, drop role, add role to group, delete role from group, grant privilege, revoke privilege. угу пока из идей было только лезть прям на ноды, там искать логи и в них искать обращения к нужным таблицам. Но это какая-то дичь.

У хайва логи есть (говорят иногда правдивые)

а иногда не очень?)

spark это фреймфорк для обработки даннх а presto это СУБД

Орнул

а иногда не очень?)

Ога

Орнул

кек

Шмек

Ну ладно не СУБД а SQL движок)

Или СУБД для аналитики

Называй как хочешь от этого оно спарком не станет

И наоборот

используйте copy2hadoop вместо sqoop

Насколько мне известно, он платный

Называй как хочешь от этого оно спарком не станет

Но подожди. А что насчет > Оба движка просто берут данные, которые лежат на хдфс (обычно), и применяют к ним sql. В чем разница то?

то, что спарк помимо sql умеет и другие вещи - это никак не влияет на сравнение

В том что престо это в первую очередь про доступ к этим данным по jdbc

В плане обработать и положить данные обратно это вторично для него ящитаю

Плюс есть некоторые кейсы которые на presto просто не сделать

Насколько мне известно, он платный

нуууу, придумайте что-нибудь...

Не ну падажи. Вот лежат на хдфс у меня данные. Я хочу по ним sql делать. Под этот кейс подходят оба инструмента, разве нет?

Смотря какой SQL на самом деле, простые кейсы одинаково хорошо и там и там делаются

А когда начинается UDF то появляется боль