От пайплайна к прогнозу и обратно, кажется, так доклад назывался.

В целом, PIG зависит от engine. Например, Tez vs MR2

Вот меня и смущает свинья на мр

как-то так: val udf_split = { (content: String) => content.split(";")} df.withColumn("tmp_column", udf_split('content)).select('column_1, 'column_2, explode('tmp_column))

Андрей, не понял, что с этим делать, прописал ниже и ну перестал что либо выдавать, где кнопка и статус там Error

Андрей, не понял, что с этим делать, прописал ниже и ну перестал что либо выдавать, где кнопка и статус там Error

предлагаю все таки не идти путем script kids, а почитать хотя бы базовые вещи про спарк, про udf: https://jaceklaskowski.gitbooks.io/mastering-spark-sql/spark-sql-udfs.html можно не использовать udf, а как предлагали использовать встроенные функции split

Udf я так понял со столбцами раьотает, тоесть мы разбиваем содержимое еа разные столбцы с ращлеоитеоем "; "?

Без названий колонок, просто какое-то количество?

Andrey Smirnov: как-то так: val udf_split = { (content: String) => это каждая строка выдачи перебирается?

предлагаю все таки не идти путем script kids, а почитать хотя бы базовые вещи про спарк, про udf: https://jaceklaskowski.gitbooks.io/mastering-spark-sql/spark-sql-udfs.html можно не использовать udf, а как предлагали использовать встроенные функции split

Почитать мне надо ужж как! Спасибо!

Есть что-то на прочтение где хорошо пишут о SparkSql?

Обзорно с обьяснением основных принципов построения языка

мы преобразуем текст в колонке в массив строк, т.е. в колонке уже не текст, а массив строк, потом explode расщипляет этот массив на строки в датафрайме, где одна строка в массиве будет одной строкой в датафрейме, плюс ты можешь указать колонки которые будут

можно так еще df.select(split('lala, ";").alias("lala"))

Это не пошло, так как не понятно, как в переменную вывод обработки отправить

Обзорно с обьяснением основных принципов построения языка

я уже привел тебе ссылку https://jaceklaskowski.gitbooks.io/mastering-spark-sql/spark-sql.html

Это не пошло, так как не понятно, как в переменную вывод обработки отправить

в какую переменную?

я уже привел тебе ссылку https://jaceklaskowski.gitbooks.io/mastering-spark-sql/spark-sql.html

Ок, я просто udf только увидел, подумал, что о нём статья

в какую переменную?

Ну вот у нас вывод из z.show. Вот этот вывод с нужной частью лога и надо "прошерстить" на разделитель ";"

Логично вывод присвоить сассиву

А как?

z.show это просто вывод в ноутбук

Ага. val udf_split = { (content: String) => content.split(";")} Т.е. тут мы что уже обработано попадает сюда и content: string какая-то глобальная функция в интерпретатор, которая выводит строки (каждую) и далее отправляет методом => в функцию content.split и там расщепляется на строки в колонки и отправляется в массив UDF_SPLIT ? ?

z.show это просто вывод в ноутбук

DF это датафрэйм, я так понимаю область памяти просто куда мы построчно текст вгоняем

DF это датафрэйм, я так понимаю область памяти просто куда мы построчно текст вгоняем

Выше предлагали почитать документацию, заодно про lazy evaluation можно посмотреть.

Я только не понимаю ф. select и почему там две колонки прописаны

Выше предлагали почитать документацию, заодно про lazy evaluation можно посмотреть.

Да, я завтра с неё своё утро начну ? Просто тут выполнено всё получается но почему млять еррор выдала

И ругачку не пишет

Это не пошло, так как не понятно, как в переменную вывод обработки отправить

val dfNew = df.select(...)

val dfNew = df.select(...)

А потом axplode?

select(explode(split(....

select(explode(split(....

Может, сначала сплит, потом эксплод?

а я как написал?:)

аааааааааааааааааааа

а я как написал?:)

Блин, скобочки же, сорян, с точками перепутал.

:)

Запустил.. Неа.. Ошибку не описывает, что интересно

Не в тему беседы, но все же) вдруг мы сможем найти друг друга? #job В поисках Senior Java Developer с уверенным опытом разработки приложений, используя компоненты экосистемы Hadoop. Требования · Опыт разработки на Java не менее 5 лет; · Опыт работы с высоконагруженными ETL-решениями; · Опыт работы с HDFS (HDFS Federation), HBase, Hive, Spark, Phoenix, Nifi; · Опыт работы с SQL базами данных. Позиция открыта в крупнейшем центре разработки и интеграции на российском рынке (ТОП-5). Так как поиск конфиденциален не могу озвучить название компании. ?Что касается мотивационной части: -оформление по ТК, белая ЗП, социальный пакет; -вилка широкая, но хотелось бы уложиться конечно до 300 000 gross/net; -обучение, возможность профессионального и карьерного роста. P.S Друзья! На вопросы, касаемые технологического стека, я не смогу Вам ответить (как бы не хотелось), по всем другим - welcome! Благодарю за Ваше внимание!

Адрес вакансии село Слюдянка Бурятия? ?

Там хорошо, Байкал, омуль и 300к. В России экономика процветает впереди всех стран ??

Не в тему беседы, но все же) вдруг мы сможем найти друг друга? #job В поисках Senior Java Developer с уверенным опытом разработки приложений, используя компоненты экосистемы Hadoop. Требования · Опыт разработки на Java не менее 5 лет; · Опыт работы с высоконагруженными ETL-решениями; · Опыт работы с HDFS (HDFS Federation), HBase, Hive, Spark, Phoenix, Nifi; · Опыт работы с SQL базами данных. Позиция открыта в крупнейшем центре разработки и интеграции на российском рынке (ТОП-5). Так как поиск конфиденциален не могу озвучить название компании. ?Что касается мотивационной части: -оформление по ТК, белая ЗП, социальный пакет; -вилка широкая, но хотелось бы уложиться конечно до 300 000 gross/net; -обучение, возможность профессионального и карьерного роста. P.S Друзья! На вопросы, касаемые технологического стека, я не смогу Вам ответить (как бы не хотелось), по всем другим - welcome! Благодарю за Ваше внимание!

ETL-решения на Java?

Адрес вакансии село Слюдянка Бурятия? ?

Это Иркутская область :)

Добрый вечер. Есть вопросик. Какого лешего при старте спарк джоба с использованием HiveContext я получаю sqlexception: Failed to create database '/var/lib/hive/metastore/metastore_db когда hive настроен на postgre?

Запустил.. Неа.. Ошибку не описывает, что интересно

Используемый интерпретатор (spark, livy)?

:)

В итоге: val dfNew = df.select(explode(split('lala,"; ") .alias("lala")))

Не в тему беседы, но все же) вдруг мы сможем найти друг друга? #job В поисках Senior Java Developer с уверенным опытом разработки приложений, используя компоненты экосистемы Hadoop. Требования · Опыт разработки на Java не менее 5 лет; · Опыт работы с высоконагруженными ETL-решениями; · Опыт работы с HDFS (HDFS Federation), HBase, Hive, Spark, Phoenix, Nifi; · Опыт работы с SQL базами данных. Позиция открыта в крупнейшем центре разработки и интеграции на российском рынке (ТОП-5). Так как поиск конфиденциален не могу озвучить название компании. ?Что касается мотивационной части: -оформление по ТК, белая ЗП, социальный пакет; -вилка широкая, но хотелось бы уложиться конечно до 300 000 gross/net; -обучение, возможность профессионального и карьерного роста. P.S Друзья! На вопросы, касаемые технологического стека, я не смогу Вам ответить (как бы не хотелось), по всем другим - welcome! Благодарю за Ваше внимание!

ФОРС? )

Это Иркутская область :)

По моему Бурятия так как ближе у правому краю Байкала

Используемый интерпретатор (spark, livy)?

Там ..выделены все, а так я понимаю что это SparkSql

Добрый вечер. Есть вопросик. Какого лешего при старте спарк джоба с использованием HiveContext я получаю sqlexception: Failed to create database '/var/lib/hive/metastore/metastore_db когда hive настроен на postgre?

покажите hive-site.xml, выглядит так что postgresql там не указан

ФОРС? )

А он что, ТОП-5? Давно?

Он так считает)

Это Иркутская область :)

Посмотрел по карте, да Иркутская .. Но всё рядом ?

:)

Андрей, вот это прописал и так же не хочет. val dfNew = df.select(explode(split('lala,"; ") .alias("lala")))

Посмотрел по карте, да Иркутская .. Но всё рядом ?

Там вокзал красивый.

А я там был в 2003 последний раз проездом

Меня когда первый раз на станции вышел т5тка надула ? Сказала, что омуль, потом соседи по купе оььяснили что мне селёлку впарили ?

В итоге: val dfNew = df.select(explode(split('lala,"; ") .alias("lala")))

import org.apache.spark.sql.functions._ val dfNew = df.select(explode(split('lala,"; ")).alias("lala"))

ПоменЛся с ними на омуль и обаллел. Офигитеоьно вкусный копчёный омуль, просто сказка ??

Прошу прошение за ошибки, с телефона строчу

import org.apache.spark.sql.functions._ val dfNew = df.select(explode(split('lala,"; ")).alias("lala"))

Неа.. И import не помог

Неа.. И import не помог

а у ты поменял df и lala на то, что тебе надо?

а у ты поменял df и lala на то, что тебе надо?

Я 'time прописал и не то?

Просто не знаю, что указать и в чём выборка лежит

а у ты поменял df и lala на то, что тебе надо?

Фишка то в том, что это идёт на вывод stdout И как его перехватить тут и направить на дальнейшую обработку?

Ни к какой переменной то что внутри z.show не привязано получается

z.show это вывод, если надо сохранить, то делать val newDf = и т.д. и уже окончательный результат вызывай для отображения в z.show

z.show это вывод, если надо сохранить, то делать val newDf = и т.д. и уже окончательный результат вызывай для отображения в z.show

Так вот в ч5м проблема, я чем заменб z.show?

z.select?

Всё что я не писал в место z.select zeppelin обругал

тут что вы написали уверен работает, вот только данные как направить на ваши коды? ?

а у ты поменял df и lala на то, что тебе надо?

Утро доброе. А что туда можно подставить?

Точнее что нужно, что бы заработало ?

Йоу, ребят, а кто-то структурным стриммингом из rdbms читал? В идеале было бы круто ещё интегрировать источник с триггерами на insert. Есть опыт?

Йоу, ребят, а кто-то структурным стриммингом из rdbms читал? В идеале было бы круто ещё интегрировать источник с триггерами на insert. Есть опыт?

kafka-confluent имеет несколько решений для разных БД

но тут все зависит от того, откуда читаешь - если это Oracle/Postgres - то там можно читать из потока апдейтов БД

Вот для Postgres - https://www.confluent.io/connector/debezium-postgresql-cdc-connector/ А для Oracle это будет GoldenGate за чемодан денег)

Вот для Postgres - https://www.confluent.io/connector/debezium-postgresql-cdc-connector/ А для Oracle это будет GoldenGate за чемодан денег)

там все очень не очень месяц назад баги с утечками висели все еще

у кого-то реально потоковая репликация с Оракла в Хадуп/кафку работает? голден гейт? ;)

у кого-то реально потоковая репликация с Оракла в Хадуп/кафку работает? голден гейт? ;)

коллеги такое пробовали, жалоб не слышал, но и не распрашивал

Да не, мне спарком надо

коллеги такое пробовали, жалоб не слышал, но и не распрашивал

ГГ? в кафку, потом в hbase?

в кафку, а куда из кафки это уже пофиг (в частности это не хбейз был)

Йоу, ребят, а кто-то структурным стриммингом из rdbms читал? В идеале было бы круто ещё интегрировать источник с триггерами на insert. Есть опыт?

можно в poll режиме - kafka connector jdbc-source через sql интеграция будет

коллеги, а подскажите, что сейчас модно использовать в качестве key-value storage. чтобы нормально работало на объёмах в пару миллиардов ключей, и позволяло делать пару сотен запросов в секунду продолжительное время. и желательно не стоило бешеных денег.

коллеги, а подскажите, что сейчас модно использовать в качестве key-value storage. чтобы нормально работало на объёмах в пару миллиардов ключей, и позволяло делать пару сотен запросов в секунду продолжительное время. и желательно не стоило бешеных денег.

Любое KV : price < beshenye dengi

ну, амазоновское DynamoDB например обойдётся в нехилую копеечку монгу придётся загонять в кластер, одной ноды будет явно мало а чё ещё есть, чтобы взять и юзать?

Кассандру глянь

Aerospike

Don't touch blind oracle

ну, амазоновское DynamoDB например обойдётся в нехилую копеечку монгу придётся загонять в кластер, одной ноды будет явно мало а чё ещё есть, чтобы взять и юзать?

Какие гарантии ещё нужны

коллеги, а подскажите, что сейчас модно использовать в качестве key-value storage. чтобы нормально работало на объёмах в пару миллиардов ключей, и позволяло делать пару сотен запросов в секунду продолжительное время. и желательно не стоило бешеных денег.

Так объемы то вроде небольшие

Да там все в описании небольшое, поэтому ответ любое недорогое.

ну ок, тогда вопрос какое удобнее всего будет завести в авсе чтобы без геморроя

а то динамо реально стоит конских денег

одна госпожа?