ну в целом ты прав но базовое покрытие тестами делать надо)

у нас с тобой разная специфика задач просто

@pomadchin может там можно кастомные сериализаторы/десериализаторы замутить?

а вообще знаю; поидее там джексон используется => можно

да, но как

https://github.com/twitter/finatra/blob/develop/jackson/src/test/scala/com/twitter/finatra/json/tests/internal/ExampleCaseClasses.scala

и вообще мне кажется там можно зарегестрировать обджект маппер было

Resolvers.register или чтото такое @gurinderu

Во https://github.com/xiaodongw/swagger-finatra/blob/master/src/main/scala/com/github/xiaodongw/swagger/finatra/FinatraSwagger.scala

Кароч нах, возьму финч

Кароч нах, возьму финч

возьми лучше чтонить для хайлоада @krivdaallstarts

Кривду для хайлоада

У нас был хаип девелопер, теперь есть хаилоад девелопер

говорят спрей надёжней

ну чем старее тем надежнее

ты хотел сказать спринг

ты хотел сказать спринг

да , ,хотел , но коты орали под окном всю ночь и поэтому я ошибся

орали про монады?

орали про спринги

Ребята, кто сталкивался со строками в формате (данные, данные, json, данные, json)? Интересует как можно из строки извлечь данные джейсона.

val df = sqlContext.read.json("/user/john/my-home-porno.json")

неверно я поставил вопрос

00D02DBB931A 2017-07-04T12:00:00.1670000Z{"DeviceId":"01215DFDFGDF","From":"MKM","NotificationType":"Message"} "00054KDF7454"

вот пример

тут тебе нужен грамотный csv парсер

чтобы он правильно разбил поля через запятую

задача извлечь json который начинается с {"DeviceId ...}

а затем подставлять только данные, без ключей, replace частично помогает, но jsonы попадаются с разными наборами ключей/значений

тогда тебе сначала надо читать данные в rdd, потом делать магию rdd.map и потом sqlContext.read.json(rdd)

ок, спасибо

00D02DBB931A 2017-07-04T12:00:00.1670000Z{"DeviceId":"01215DFDFGDF","From":"MKM","NotificationType":"Message"} "00054KDF7454"

Regex?

summon @krivdaallstarts

Коллеги, подскажите плз. Есть a.join(b, условие, "left). Условие - равенство трех колонок и функция над четвертой. Хочется избежать переименования колонок в втором DF с целью исключения дубликатов имен в результате. Можно как нибудь совместить Seq("col_1", "col_2", "col_3") и вторую функцию в условии? Чтобы это не выглядело ужасно в коде?

Ибо сейчас мне приходится переименовывать колонки и три равенства описывать как a("col_1") === b("col_1_") and ...

Привет, хотелось бы окунуться в данную тему, как я понял "Hadoop: Подробное руководство" переведена на русский только в 3 издании, актуальна ли она для ознакомления сейчас?

вполне

к сожалению рускоязычную литературу советовать никто не будет) // старая и ее мало

к сожалению рускоязычную литературу советовать никто не будет) // старая и ее мало

Ну это ясень пень, так и указал, что только для ознакомления)

к сожалению рускоязычную литературу советовать никто не будет) // старая и ее мало

хорошая книга же

ничего суещственно нового не произошло в с hadoop

просто нужно помнить, что хадупом как таковым никто не пользуется, но нужно знать, что есть yarn и hdfs

что хадуп это набор компонэнтов