ну, я бы так и делал. пожалуй

Наверное оптимально сделать для скрипта echo "show create table ${dbname}.${tablename};" >> query.hql И потом разово скормить файл. Как-то так, если нет других вариантов.

Всем привет! Хочу поделиться с вами некоторыми мыслями и идеями. Во-первых, у Moscow Spark появился домен MOSCOWSPARK.ORG. Там пока ничего нет, но в ближайшую неделю-две, я запилю сайт, на который можно будет выложить презентации и выкладывать новости. Кстати, о новостях, я решил перебороть свою лень и регулярно (желательно раз в день) постить сюда свежие новости, блогпосты, вкусные треды про спарк с комментариями. Если у кого-то что-то интересное появится, то присылайте мне в личку (я опубликую и прокомментирую), либо постите прямо сами.

Что касается митапа, он, конечно же будет. Скорее всего, в первой половине апреля. В связи с чем я объявляю набор докладов. Если у вас есть крутые кейсы использования спарка для решения бизнес- или академических задач, то велком в личку. Если рассказать что-то хочется, но не уверены, что будет интересно, не знаете как, тоже пишите, что-нибудь вместе придумаем

а где он это пишет?

а где он это пишет?

поправил инфу группы теперь там есть ссылка на спаркогруппу

Да, чатик дс спарк митапа: https://t.me/moscowspark

Добавляйтесь и спумьте!

Grigory moscow spark не аффилирован с конкретными компаниями ?

Grigory moscow spark не аффилирован с конкретными компаниями ?

так лучше?

?

Гайз, а в hive нельзя создавать View и Temporary Table?

Гайз, а в hive нельзя создавать View и Temporary Table?

https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-CreateView

Спарковчане, кто юзал https://typelevel.org/frameless ?

оно вообще надо?

Если вопрос ставится именно так, то не надо, конечно ))

не ну как бы придя из тайплевельной скалы, спарк бесит своими падениями на рантайме

вот и думаю обмазать или нет

выглядит неоднозначно

энкодоры выглядят очень заманчиво, а все остальное хз

ну и Job тож

не ну как бы придя из тайплевельной скалы, спарк бесит своими падениями на рантайме

история проекта началась когда не было датасетов и тогда это и правда имело большой смысл

сейчас я на самом деле не копался в чем там дело

ну типа инкапсуляция эфектов в Job, плюс энкодеры имхо более дружелюбные

ну а так да, чет хз

интересно на перф влияет или нет

тайпед мл там, полезные врапперы для рдд (кошачьи) ну и да инкапсуляйия эффектов в Job

да попробуй потом поделишься эмоциями

сначала нанесу пользу компании))

Вопрос по визуализации под spark/scala - кто чем пользуется? Bokeh еще торт?

а что там в зепелине?

@zuynew ты как продаешь зеплин компании?Ю

я не могу наших даунов уговорить)

Ну я такой типа, чуваки смотрите это лучше вашей рстудиии

на самом деле у нас сотонисты вообще не радуют

но я присматриваюсь к Apache Toree

завлекаю sparkSql

на самом деле у нас сотонисты вообще не радуют

ну мы тоже в начале пути

еще над как-то на хдфс перевести людей, а то сделали блеать гластер)

а что там в зепелине?

Имеются в виду стандарные чарты, которые можно в ячейке отрисовывать после z.show ?

Имеются в виду стандарные чарты, которые можно в ячейке отрисовывать после z.show ?

ага

я думал зеплин нынче с юпитером интегрирован

там даже на зепле вроде есть

ага

Хочется, чтоб как в seaborn можно было, но только на scala

дадааааа, ну можно эт, dataset to pandas

есть еще такая штука http://spark-notebook.io

ну Гриша рекламировал тори и юпитер

https://www.zepl.com/

пытался смотреть на тори, но не понял, родилось ли оно

судя по всему зеплин и тензерфлоу нынче умеет

цепеллин попсовый, но не сказать что доставляет радости чаще он меня бесит тупняками но здесь еще могут руки наших ответственных сказываться

цепеллин попсовый, но не сказать что доставляет радости чаще он меня бесит тупняками но здесь еще могут руки наших ответственных сказываться

а где тупит?

интерфейс в основном долго загружается

но у нас там на сервачок с ним приличное (на самом деле нет, но по энтерпрайзным меркам наверное да) количество пользователей

те кто его втащил в банк вродь даже пытаются контрибьютить

чет не видно?

с другой стороны это для меня гораздо лучше чем сранный сас

Цеппелин в основном тупит на при работе со Спарком. Нам пришлось каждому сделать свой чтобы можно было ребутить его безболезненно. Итого 10 инстансов воркают на виртуалках

там до 0.8 еще как-то долно

я вот думаю будет ли зеплин с мезос шедулером нормально рбаотать

Хз, мезоса нет

Вообще он хорош, но жутко нестабильный

Цеппелин в основном тупит на при работе со Спарком. Нам пришлось каждому сделать свой чтобы можно было ребутить его безболезненно. Итого 10 инстансов воркают на виртуалках

а у нас один на всех с коннекторами под хайв, спарк, гп, сас и еще какую то шляпу рестартится регулярно =/

мое знакомство кончилось на крайне тупой настройке лдапа

они там написали свою дичь какую-то

там есть даже pr, но будет в след версии ток

Да, некоторые инстансы я по ночам кроном перезапускаю

а у нас один на всех с коннекторами под хайв, спарк, гп, сас и еще какую то шляпу рестартится регулярно =/

весь кластер?

мое знакомство кончилось на крайне тупой настройке лдапа

у нас я не понял как привинтили, но работает из лдапа

@optician_owl а можешь конфиг дать?

)))))

весь кластер?

в смысле кластер? ты уже на мезос переключился?) Я еще про цепелин)

ааа

понял, я думал спарк целиком рестартят

я когда дебажил там лдап, мне плакать хотелось

хотя если memberOf сделать, то заработает

я пытался в цепелине по графам побегать через graphX закончилось тем что сначала ушел в идею, а потом похоронил для себя графХ

родилось

корочи наши тори в итоге вместо зепелина