вы когда деплоите аппликуху на спарк, как зависимости передаете ?

вы когда деплоите аппликуху на спарк, как зависимости передаете ?

lib директория есть ж

lib директория есть ж

ну есть преимущества перед ассембли?

ну есть преимущества перед ассембли?

Нету

Хотя если тебе критично количество классов )

Хотя если тебе критично количество классов )

не понимаю, экзекьютор все равно запустит библиотеку со своим экземпляром в памяти

не понимаю, экзекьютор все равно запустит библиотеку со своим экземпляром в памяти

Ну там ж обычный джаркласслоадер

я просто не понимаю применимости папки либ, для чего она

вынести общие либы просто

вынести общие либы просто

ну теперь менеджим либы руками , правильно я понимаю?

Либ не всегда удобно

Джарс еще аргумент

Но тоже не всегда удобно

ну все способы) и жирный джарник и все способы выше

С жирным джарниеом проще тестировать, все депы в нем должны правильно сложены быть

Ну это и доп сложность, конечно, не все умеют / любят это делать

Ну это и доп сложность, конечно, не все умеют / любят это делать

ассемблю ?

Да

я просто всегда ассемблей пользовался и проблем не знал, даже не понятно, зачем теперь либ нужен ( ну кроме просто для того, чтобы был на всякий) , по факту же , если интернет не медленный ассембля выгодней

я с тобой согласен)

но любители либ есть и они ворвутся

я просто всегда ассемблей пользовался и проблем не знал, даже не понятно, зачем теперь либ нужен ( ну кроме просто для того, чтобы был на всякий) , по факту же , если интернет не медленный ассембля выгодней

Ну вот тебе пример, у меня есть кароч либо, от которой все зависят( хочется написать нетти, но нет) пусть будет гуава. Чтобы ее обновить нужно заменить один Джарник, а не менять все жирные джарники

Ну вот тебе пример, у меня есть кароч либо, от которой все зависят( хочется написать нетти, но нет) пусть будет гуава. Чтобы ее обновить нужно заменить один Джарник, а не менять все жирные джарники

и потом тестировать, что ничего не отвалилось?

Кто в Спарке что тестирует то

Я тебя умоляю)

я тестировал (((

Это ж бигдата

Там никто ничего не тестирует)

а в хайве есть поддержка lineage из коробки? он умеет по тексту квери показать dataflow?

Там никто ничего не тестирует)

- Как вы разрабатываете ПО? - Тяп-ляп и в продакшн - Вы приняты на работу

а в хайве есть поддержка lineage из коробки? он умеет по тексту квери показать dataflow?

что есть lineage? есть explain plan https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Explain

что есть lineage? есть explain plan https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Explain

то что нужно, спасибо. теперь только java api для него найти

имеется ввиду через jdbc?

либо через jdbc либо напрямую из хайвишных либ вызывать методы. пишу java приложение для анализа кверей и отображения откуда данные (табличка, колонка) кверя берет и куда потом они попадают. типа Cloudera Navigator или Atlas

интересная задача ) судя по исходникам Atlas, они делают свой hook для hive (модуль hive-bridge), и далее уже крутят запросы как хотят...

хук у нас уже есть, осталось распарсить квери малой кровью а тут у хайва слегка недоделано. У них есть уже заготовка LineageInfo но пока она не более чем заготовка

подскажите, пожалуйста, как без крови обновить спарк до 2.1 в клаудере 5.11? кто-нибудь пробовал аналогичное?

путь по докам https://www.cloudera.com/documentation/spark2/latest/topics/spark2_installing.html уже пройден? или кровь все равно остается? )

не пройден, спасибо, ушел туда

#вакансия#москва#devops Коллеги, привет! Отличная вакансия для тех, кто хочет поддерживать и развивать свои навыки devops инженера, но мечтает окунуться в Big Data. Требуется отличный опыт работы с *nix системами, виртуализацией и приветствуется опыт в разработке архитектурных решений. Самостоятельность — ОБЯЗАТЕЛЬНО. Опыт в BigData не обязателен, главное - желание разобраться. Если интересно, пишите на e.kikoina@youdo.ru

Живые деньги - уникальный проект, который научит тебя делать деньги в любой точке мира и в любое время, встань на путь саморазвития вместе с нами. @live_money

Живые деньги - уникальный проект, который научит тебя делать деньги в любой точке мира и в любое время, встань на путь саморазвития вместе с нами. @live_money

Иван спумер

Иван спумер

даже поспать не получается (

Запускаю спарк и он начинает сыпаться

написано же - хип)

это да

а вот насколько его поднимтаь то

а что ты пытаешься делать? может логика приложения не совсем верная?

https://github.com/jadianes/spark-movie-lens

вот этот проект пытаюсь поднять

уже лучше)

а что делать пытаешься консоль открыть или что?)

сколько ты дал спарку?

python server.py

сколько ты дал спарку?

Так, а где это посмотреть?

Просто я знаю как джавовской идее дадь больше хипу

но как в таком случае я не знаю совершено

Хотя я нашел только spark.memory.offHeap.size

Не могу посмотреть проект. У тебя там скала или питон ?(контекст спарка как создаётся )

питон*

да тоже сча полез в проект

вот

https://github.com/jadianes/spark-movie-lens/blob/master/start_server.sh

"spark.executor.memory", "10g" нужно в контекст настройку пропихнуть

где 10g это размер хипа

для кластерных машин

SpakConf().setAppName - там еще есть метод для пропихивания настроек

https://github.com/jadianes/spark-movie-lens/blob/master/start_server.sh

точно, мой косяк, забыл дописать путь до своей версии

.set в джаве / скале

сейчас заново запушу

https://github.com/jadianes/spark-movie-lens/blob/master/server.py#L8

new SparkConf() .setAppName("app") .setExecutorEnv("spark.executor.memory", "10g") -вот так у меня в скале на тесте.

так опять с хипом свалился

сейчас дам 10g

А у меня тоже вопрос есть =)) А тут кто-нибудь на спарке занимается кластеризацией временных рядов?

бля снова упал