Скорее Scientist

Это ведь не Data Engineer на самом деле?

нет, именно инженер, а что смущает?

Это был вопрос к чату скорее

Господа, а кто-нибудь имел дело с Apache Kylin?

Скорее Scientist

Data Science немного другое в отличии от тематики текущего чата.

Господа, а кто-нибудь имел дело с Apache Kylin?

Имел дело год назад

Тогда был сырой для прода

Data Science немного другое в отличии от тематики текущего чата.

Вы вакансию откройте

Вы вакансию откройте

А, речь о вакансии, то да выглядит как Science больше.

Господа, а кто-нибудь имел дело с Apache Kylin?

Уже где-то выше по чатику отписывался. Да сыроват, но использовать можно, осторожно.

А вообще профит от Kylin ощутимый?

Сложный вопрос, смотря в чем. Но запросики на нем бегали шустрее, чем на MSSQL. При том, что в Kylin и данных больше примерно в 2 раза

Всем привет, нужет совет, есть граф (не нормализованный) с N уроней глубины, на каждом уровне может быть N узлов, у каждого узла есть два поля, personalScore и groupScore, необходимо обсчитать для каждого узла groupScore . Подскажите, как лучше это сохранять в БД и как лучше обсчитывать??

Всем привет. Выложил материалы сюда https://www.youtube.com/watch?v=VsfsjqDPB58 и сюда https://goo.gl/4ziXCy За качество на YouTube прощу прощения, платформа что-то небыстро перемалывает нашу запись. Думаю через несколько часов fullhd версия подтянется

>This video has been removed by the user =(

>This video has been removed by the user =(

спасибо!)

Всем привет, нужет совет, есть граф (не нормализованный) с N уроней глубины, на каждом уровне может быть N узлов, у каждого узла есть два поля, personalScore и groupScore, необходимо обсчитать для каждого узла groupScore . Подскажите, как лучше это сохранять в БД и как лучше обсчитывать??

А если те же данные положить в паркете в HDFS и бегать по ним спарком или импалой, это сильно медленнее?

спасибо!)

?

за ссылку на видео или это не то ??

видео не доступно, я скорее на это хотел обратить внимание, к сожалению не ответ на ваш вопрос

понял, значит гляну для общего развития

пробовал кто чтобы спарк по-профайлить ? https://github.com/uber-common/jvm-profiler

в рантайме постоянно?

Объясните почему импала быстрее http://blog.cloudera.com/blog/2017/04/apache-impala-leads-traditional-analytic-database/

Объясните почему импала быстрее http://blog.cloudera.com/blog/2017/04/apache-impala-leads-traditional-analytic-database/

Еще бы она у клаудеры была медленнее :)

:))

Подскажите, может кто встречал в сети детальный разбор join в спарке, от самого верха до самого low-level?

Подскажите, может кто встречал в сети детальный разбор join в спарке, от самого верха до самого low-level?

https://youtu.be/fp53QhSfQcI От самого верха до середины :)

Спасибо, посмотрю

Товарищи, кто с Spark Thrift Server имел дело? На HDP 2.6 он в упор не хочет подтягивать параметры воркеров и драйвера. В запущенном трифт сервере в переменных окружениях эти параметры корректно отображаются, но по факту воркеры и драйвер работают со своими дефолтными параметрами. Пробовал добавлять через spark_thrift_cmds_opts и через custom spark-thrift-sparkconf

https://youtu.be/fp53QhSfQcI От самого верха до середины :)

Оч хорошее видео. Жаль, когда я подумал: "о вот самая интересная часть началась", она сказала: "А теперь перейдём к вопросам" :)

Реально до середины, то есть я думал она каждый случай ещё более детально разберёт)

Ребят, а как можно понять в мониторинге тасков спарка (конкретно тасков в UI), что это за таск сейчас выполняется?

Вот здесь имею в виду

В джобе выводится номер строки и класс

Привет всем, а какие варианты есть оптимизации джоинов? у нас сейчас весь дата пайплайн заключен в подготовке данных и джоину всего этого на основную таблицу, получается к основной таблице надо заджоинить 200-300 фич. Сейчас это решается броадкастом всех таблиц с фичами чтобы предотвратить шафлы, но я понимаю что вечно все в память влезать не будет. так как джоин каждый раз происходит по разным филдам, то отсортировать все красиво по одному полю я не могу, попытка как то уменьшить количество джоинов все равно приводит к их появлению просто в другом месте, я немного в растерянности что можно сделать?

вот так примерно выглядит физический план запроса https://gist.github.com/pilgrimkst/cbb4fcc45c4682eb700afa45e7dbdef6

Реально до середины, то есть я думал она каждый случай ещё более детально разберёт)

Доклад Павла послушай про каталист

https://amplab.cs.berkeley.edu/jenkins/view/Spark%20QA%20Test/job/spark-master-test-maven-hadoop-2.7-ubuntu-scala-2.12/229/

^ первый зеелный билд спарка на 2.12

https://amplab.cs.berkeley.edu/jenkins/view/Spark%20QA%20Test/job/spark-master-test-maven-hadoop-2.7-ubuntu-scala-2.12/

кто когда в прод покатит ?

учитывая что пара дней гринбилды

В джобе выводится номер строки и класс

Там только очень высокоуровнего, для action-а.

Доклад Павла послушай про каталист

На курсере? Это я вроде смотрел. Вот хотелось бы по типа джойнов которые он описал, конкретный разбор со ссылками на код. Ну видимо надо самому не полениться и поискать по коду.

На курсере? Это я вроде смотрел. Вот хотелось бы по типа джойнов которые он описал, конкретный разбор со ссылками на код. Ну видимо надо самому не полениться и поискать по коду.

Вроде 2 или 3 спарк москоу

доклад я вот тут нашла. и спасибо за наводку https://www.facebook.com/afishamansarda/videos/1648050321885680/

Ну да, на курсере почти то же самое, даже чуть более системно: https://www.coursera.org/lecture/big-data-analysis/catalyst-NrDEC

оу . спасибо тоже гляну

Hello anyone helps with streaming call api json url to hive?

Hello anyone helps with streaming call api json url to hive?

InvokeHTTP + puthiveql. And some processors between

with nifi?

thanks @barloc

with nifi?

Yep. It's simple with nifi.

simple :)

like node-red concept

:D

i only in user interface overview :)

For a man, who will work with your code in future, it'll be more hard :) remember, nifi is slow :( if you have some skills in python, try airflow.

but i think it's a better way

to other teams work with

it's more simple i think

i have a lot of api calls

url calls and the returns are in json or csv or xml

Xml + nifi = ?‍♂ there are patterns for typical etl operations on nifi site or hortonworks site. Csv is very simple in work, json is ok too. But xml with transformation from tree to table is pain with slow speed of standart processors in nifi. In the end, you write scripts outside and use nifi only for scheduling and some operatons (puthdfs etc)

yap

i'm reading about

but i need to start a docker container with nifi to test

@barloc https://github.com/hortonworks-gallery/nifi-templates/tree/master/templates

some templates :))

2 years old ) some processors are removed or marked as deprecared. Be carefull )

:S

ssl http :S

the call api https /

Данный колумбиец пишет, что node-red прям мегакрут как средство етля. Кто-нибудь его пробовал? А то пугает: написано айбиэм, да ещё на ноде. По сравнению с другими гуй подделками?

Португалец

Я юзаю нифи

Для етл хороший продукт, легко расширить если надо

XML + avro коллега настроил, потоково десятки гигов гоняет быстро

А вы про node red, сори, не юзал

XML + avro коллега настроил, потоково десятки гигов гоняет быстро

На чем настраивал?

В найфай, на каких процессорах интересует?

В найфай, на каких процессорах интересует?

Да. Из коробки там печаль. Парсеры, построенные на груви совсем не быстрые

Это да,и много чего нет. На нашем проекте тоже много дописали. Посмотрю что там он настроил потом скажу.