Дорогие друзья! Мы строили-строили и, наконец, построили. 27 апреля собираем практиков и энтузиастов Apache Spark у себя на Мансарде! Расскажем, как перевели (почти) все наши ETL и ML пайплайны на Spark и как переехали на вторую версию. Познакомимся и пообщаемся! https://rambler-co-e-org.timepad.ru/event/470664/

Вот

Спасибо! ?

Возникали ли у кого проблемы в спарке версией <1.6 когда допустим case class Message(a:String) sealed trait Result case class Good(r:String) extends Result case class Bad(r:String) extends Result case class Exp(n:Int) extends Result stream:DStream[Result] stram.flatmap { case Bad(a) => Some(a) case _ => _ } Сваливалось бы в Some(a) в случае если Good и Bad , но не Exp

@pomadchin вы shapless у себя используете?

@pomadchin вы shapless у себя используете?

Минимально

И сирка

какой активный чатик

Нe о чeм рассказать по факту , ничeго интeрeсногл на нeм нeт; Поли функции и копродакты

задам вопрос тут, может вы знаете распределенную fs чоткую

Хдфс да гластeр

а серн

что сейчас каноничней, хайв и орк или хайв и hbase

какой активный чатик

я всё жду критическую массу

1с говорят четко работает)

а серн

Нe поьовал

говорят хорошая штука

что сейчас каноничней, хайв и орк или хайв и hbase

орк типа пушка но хз как ты сравниваeшь возможности то разныe

А с хдупим совмeстима?)

posix

наверное да)

орк типа пушка но хз как ты сравниваeшь возможности то разныe

ну вот компания выбирает , где в основном хранить

просто если начинает компания хранить где-то оно хранит только там

А для каких цeлeй хранить?

аналитика

орк типа пушка но хз как ты сравниваeшь возможности то разныe

у меня архитектор очень любил орк на предыдущем проекте

1с говорят четко работает)

четко на самом деле

просто зависит от конфигурации

@krivdathetriewe, предлагаю продолжить обсуждение биллиотек для работы с партиционированными Hive таблицами в Spark на Scala тут

@krivdathetriewe

Я понмаю, что оно работает

@krivdathetriewe, предлагаю продолжить обсуждение биллиотек для работы с партиционированными Hive таблицами в Spark на Scala тут

SO, я к сожалению с партицированием внутри хайва из спарка не скажу, у нас был кейс, его как-то решили. Но я в этом участия не принимал

мне бы удобно

чтоб абстакции были повыше

http://stackoverflow.com/questions/31341498/save-spark-dataframe-as-dynamic-partitioned-table-in-hive

http://stackoverflow.com/questions/40267953/hive-on-spark-list-all-partitions-for-specific-hive-table-and-adding-a-partition

Но, насколько помню, там были заморочки и останется только методом проб и ошибок всё разрешать

DataFrame - туповат. Полагается на порядок полей, а не на имена.

И это напрягает.

Ну да ладно. Нет, дак нет.

Будем сами писать.

тестирую Спарк. наткнулся на такой баг

https://issues.apache.org/jira/browse/SPARK-13747

у кого-то были такие проблемы? как с этим жить?)

запустил на кластере 1.6.2 - подобной ошибки нет

Со спарком всегда магия пока что

пол года гдето используем спарк - все достаточно стабильно :)

пол года гдето используем спарк - все достаточно стабильно :)

к 1.6 да, но всё равно есть некоторые подводные камни :)

вероятно поэтому 2.0 только в tech preview в HDP

вероятно поэтому 2.0 только в tech preview в HDP

ну у меня на предыдущем проекте пользуются версией 2.0 наверное с ноября-декабря из hdp

http://www.datascience.in.ua/

Попробую даунгрейднуть спарк и перетестить

не взлетело на 1.6.3, если просто по 2 запроса в секунду слать на протяжении 2 минут, то > failed 77 ( 32%)

а в каком режиме запускаете спарк?

standalone, yarn-cluster и т д?

standalone

взял снапшот 2.2.0, с ним все ок

хоть это радует )

не очень-то и ок оказалось. но все-таки понял как обойти проблему - свичнул executor диспатчера на акке с ForkJoinPool на обычный thread-pool (отправляю таски в спарк через акка-хттп приложение). но то что спарк юзает thread-local переменные для состояния и говнокодит у себя что-то чтобы их менеджить - это зашквар

попробуйте этот эксперимент на кластере провести :) мне кажется этой проблемы там не будет

прямая трансляция митапа по spark https://l.timepad.ru/stat/l/ZBXzMQzFDCwnhppjZNTYTmSBNGMpyFDvuUwebwG088q3pShb7eY1RucXzoSo1NCw2tj4tGSl1HR3Tb3xwD37Sw,,/mail/207205445/

приятно , что про работу спарка с нуля рассказывают

https://m.facebook.com/story.php?story_fbid=1537521079605272&id=497026710321386

правильная ссылка на трансляцию Pavel Klemenkov: https://m.facebook.com/story.php?story_fbid=1537521079605272&id=497026710321386

они против scala, печаль ?

Слайды (с купированым слайдом кривой рожи но с бонусными слайдами по кривые (не рожи) заполняющие пространства (и рожи)) (en) https://www.slideshare.net/GrigoryPomadchin/geotrellis-gis-on-scala-75459066 Ноутбук (ru): https://github.com/pomadchin/geotrellis-gis-on-scala

Доклад про оптимизацию решения gis поверх спарка

А подскажите, плиз, а запись митапа ведется и будет ли выложена?

Да, ведётся феймбуком)

И нами)

спасибо большое !!!

а дайте ссылку пожалуйста на телеграм чат митапа

https://t.me/ramblerapachesparkbot

они против scala, печаль ?

Мы не против Скалы. Я сам её изучаю, мне нравится. Дело в том, что у нас эксперименты в прод тащат те, кто их делает. Поэтому на Питоше и удобней и разработка быстрей.

Кроме фейсбука, еще где нибудь можно трансляцую посмотреть?

Мы не против Скалы. Я сам её изучаю, мне нравится. Дело в том, что у нас эксперименты в прод тащат те, кто их делает. Поэтому на Питоше и удобней и разработка быстрей.

Если отбросить предубеждения, то в вашем кейсе действительно питон более лучший выбор

Запись есть, выложим.

Запись есть, выложим.

https://github.com/databricks/tensorframes

Запись есть, выложим.

Будем ждать, спасибо!

думал увижу у вас в докладе рассказ про эту штуку)

Друзья, всем привет! Нам поступает много вопросов о том, где можно посмотреть запись вчерашнего митапа, отвечаем, здесь - https://www.facebook.com/afishamansarda/videos/1537521079605272/ Просмотр видео доступен и для незарегистрированных пользователей. Презентации мы тоже обязательно выложим чуть позже в общих доступ и напишем вам про это.