https://docs.databricks.com/spark/latest/training/index.html

Прям смотри

Думаю в рамках форсирования сетов

Блин, я твою аву разглядел

Я ещё не юзал , но придёте можно будет авровский коннектор в стриминге юзать

А это хорошо

еще раз скажу что хоть брайан и ходил еше с весны со своими дата сетами

никаокго профита нет от них

ток для питонопоклонников

Ну разве они не научились быстро делать джоины ?

нет

нереально медленные джойны

огромные ограничения на типы джойна

Пока hive наше все

Тогда

рдд быстро джойнятся

если ключ партиции верно задаешь

Только если забродкастишь

никто не пошел в итоге на jug msk с Егором ?

что броадкастить?

Табличку с которой джойнить будешь

ах да

я не таблцами)

у мя кв кв кв

ну и да супер фича у дата сетов есть

нельзя джойнить по "плохим" ключам

Да можно не таблицу

джя джойна датасету нужны анкодеры и декодеры

они есть только для примитивов и продактов

Ты из дца что ли ?

по бинарному он не сумеет

ну и в операциях на датасетах все должно быть cериализуемо

если у тебя бианрные форматы то это почти фатально значит kryo

ну и изза крайо он у тебя не сджойнит по бинарному ключу

тогда как рдд джойнятся

Ну я так посмотрел, народ вокруг меня старается крио использовать

да крайо быстрее конечно

да и кстате делать ds -> rdd join rdd -> ds быстрее чем ds join ds

что еще из минусов) :D продакты тоже не понятно сериализует; может это у меня баг какой словленый; ds join ds сработает а ds join ds join ds уже пишет продакт тайп мисметч

если ключ это продакт, разумеется

ну может для текстовых данных дс подходят конечно

и числовых

никто не пошел в итоге на jug msk с Егором ?

а что, тут есть его адепты? )

Ты из дца что ли ?

неа, не знаю кто это)

а что, тут есть его адепты? )

Не обязательно быть адептом, чтобы послушать сходить)

А ты здесь что ли?)

А ты здесь что ли?)

м?

м?

Ну в смысле на докладе

нет ) а он щас идёт что ли? )

неа, не знаю кто это)

Делают стримминг на чистой акке

DCA типа ртб

Мне интересно, просто кто для чего использует и вообще , что кроме спарка сейчас есть

шторм, спарк, флинк, самза) (шаурма еще)

нет ) а он щас идёт что ли? )

Да

кафка стримз еще

да и кстате делать ds -> rdd join rdd -> ds быстрее чем ds join ds

а есть где почитать подробней про то, о чем ты говоришь? про то когда лучше юзать рдд и т.д?

но то по сути вариация на тему самзы

ну спарк стриминг удобный если вся инфраструктруа уже для спарка написана; и оч просто функции для рдд просто лифтануть до стримов / сетов и тп

Да

о, интересно, будут ли на этот раз холиварчики^^

Кафка стримз говорят для совсем простого чего-то

А вместо шторма сейчас херон

а есть где почитать подробней про то, о чем ты говоришь? про то когда лучше юзать рдд и т.д?

ну сам ток бенчмаркил, ну и это очевидно, если вся маркетинговая фишка по поводу дс в том что авто оптимизация того, что в сл с рдд оптимизируешь сам

о, интересно, будут ли на этот раз холиварчики^^

Уже

И скажу я вам, Егор нарвался на более трушных ООПшников

Которые ещё более упороты

Случилось невозможное!!!!

Жаль тут нету стрима

Я бы постримил вам)

ну-ка ну-ка?

И скажу я вам, Егор нарвался на более трушных ООПшников

Это как возможно?))

Возможно!

О, у Егора есть Фреймворк takes.org

Я бы постримил вам)

Пили текстовую трансляцию )

Кто это?

надо больше регэксов

regexjava?

Ну я не уверен, что там прям регЭксп

Хоть класс так и называется )

Вообще, на спрей похоже чем то

беги оттуда

Нью убрать и скобочки другие

Вообще, на спрей похоже чем то

в спрее хоть шанс опечататься ниже

в спрее хоть шанс опечататься ниже

Ну как...спорное утверждение )

неужели в той фигне нет алиасов для всяких [0-9] и [a-z]

У него вложенность почище монад в скалаз

Ну как...спорное утверждение )

рукописные экстракторы, опять же

А потом (!= null) { != null { != null { != null ....}}}}}}}}}}}}

они рекламируют отсутствие null в фреймворке

правда за XML/XSLT всё равно будут гореть в аду

они рекламируют отсутствие null в фреймворке

Они там точно были ещё в апреле )

Я после московского jpoint его смотрел, выглядит так себе на самом деле

они рекламируют отсутствие null в фреймворке

А, ну да Тогда заменить на !*.isEmpty()