http://parquet.apache.org/documentation/latest/ один лист а4 + исходники проектов

а тебе как нужно с ним работать? потому что обычно через спарк все ломятся читать а он умеет из коробки это делать

и по началу никто о партицировании не парится

Доброго времени суток ! Есть задача взять данные в формате паркет(parquet), и научиться с ними работать(читай - парсить) Гугл скинул пару вариантов невнятных, и не очень говорящую доку. Это действительно мало информации по формату или я просто мало читаю ?

spark.read.parquet("file:///path/to/file_or_dir").show(10, false)

у меня есть 10005000 данных для спарка, которые нужно будет обработать но первоначально хоть понять что там есть и какие данные написать пару юнитов что я входные данные нормально читаю

spark.read.parquet("file:///path/to/file_or_dir").show(10, false)

хм, попробую - спасибо, видимо сам себе сложность выдумал

Можно просто printSchema, если она слишком здоровая)

Вместо show

Хотя и то, и то надо обычно

Если очень не повезёт, у паркетов окажется разная схема)

Но на это есть параметр)

теперь, второй важный вопрос - spark как получить из SparkContext() =)

https://spark.apache.org/docs/2.3.0/api/java/org/apache/spark/sql/SparkSession.Builder.html

Нужно сессию поднимать вместо контекста

Спасибо, буду читать

А, можно конфиг от контекста подать на вход в сессию

Так уже и сделал, что почитать лучше для быстрого входа ?

быстрый вход в спарк? есть орейли книги

мне они не нравятся но для старта мб норм

доки это небольшая проблема большой экосистемы

Большая проблема)

Когда большая часть функционала описана исключительно в блогах датабриксов)

Доки - просто звездец в спарке, надо постоянно смотреть в исходники

И не верить дата бриксам и перепроверять все

Когда большая часть функционала описана исключительно в блогах датабриксов)

датабриксы больше о маркетинге лучше не особо им верить

хотя вот про гарбедж коллекторы было интересно

У них норм про оконные функции расписано

но в целом они ниоч их либы на гитхабе похожи по удобству на либы 41градус

Это что из основного для почитать) https://databricks.com/blog/2015/07/15/introducing-window-functions-in-spark-sql.html

Это что из основного для почитать) https://databricks.com/blog/2015/07/15/introducing-window-functions-in-spark-sql.html

пасибо

да начни с орейли мож если вообще не тыкал никогда

Надо начинать сразу в продакшен)

По бразильской системе)

на петонах

примерно так и есть

да тогда прост делай там походу дела конкретные вопросы будут и сюда набросишь тогда

В общем - самое быстрое - просто гуглить по дороге всё, что не понимаешь, как сделать сам

а потом спрашивают чо эт спарк такой медленный

и с оомами валится

Это тоже гуглится)

ну конечн да

В общем - самое быстрое - просто гуглить по дороге всё, что не понимаешь, как сделать сам

я чет 2 дня гуглил а оказалось что быстрее в чате спросить)

Ну это тоже своеобразный гугл)

Кеш гугла)

Распределённый и агрегированнный)

Чат тоже иногда полон вредных советов что тот датабрикс :)

Приветствую. Наведите пожалуйста на мысль. Добавил 4 ноду в клаудера кластере. Количество цпу изменилось, память изменил. Но когда spark запускаю, новая нода не разу не подхватывает экзекьюторов. Как будто кластер ее не видит. Количество экзекьютор увеличивали.

Приветствую. Наведите пожалуйста на мысль. Добавил 4 ноду в клаудера кластере. Количество цпу изменилось, память изменил. Но когда spark запускаю, новая нода не разу не подхватывает экзекьюторов. Как будто кластер ее не видит. Количество экзекьютор увеличивали.

Может data locality мешает? Типа пока есть возможность поднимать экзекуторы там, где есть данные, они поднимаются там. Или пробовали взять все ядра кластера, и всё равно на этой ноде ничего не запустилось?

Всем привет, кто-то сталкивался с ошибкой при выполнении input.write().mode(SaveMode.Append).orc(path) ?? java.io.IOException: File already exists:s3://---------.snappy.orc at com.amazon.ws.emr.hadoop.fs.s3n.S3NativeFileSystem.create(S3NativeFileSystem.java:507)

сохранение в s3 из EMR

Пока что нагуглилось вот это https://stackoverflow.com/questions/38218853/spark-append-mode-for-partitioned-text-file-fails-with-savemode-append-ioexcep?utm_medium=organic&utm_source=google_rich_qa&utm_campaign=google_rich_qa

Может data locality мешает? Типа пока есть возможность поднимать экзекуторы там, где есть данные, они поднимаются там. Или пробовали взять все ядра кластера, и всё равно на этой ноде ничего не запустилось?

Да, увеличивали ядра, не запускалось, а задача падала через какое то время

Да, увеличивали ядра, не запускалось, а задача падала через какое то время

форсани колво ехекуторов руками если они будут проставивать даже в этом случае значит твоя джоба не способна их занять

посмотри колво партиций и всякое такое

форсани колво ехекуторов руками если они будут проставивать даже в этом случае значит твоя джоба не способна их занять

В файле конфигурации меняли количечтво реакторов, задача тоже отваливалается черкз какое то время

а чо по екзекуторам в юае?

а чо по екзекуторам в юае?

Посмотрю. Понял.

Григорий, Евгений спасибо. Сейчас пока запустили так задачу. Чуть позже посмотрю, что вы реуомендовали и вернусь с комментариями

Боже после понва здесь как на званом балу

и правда

Привет! Мне сказали,что сюда можно вакансию закинуть. #вакансия #Америка #Штаты #SeniorDataEngineer #Data Engineer #удаленная работа в калифорнийской компании #полная занятость #Россия #Москва #Санкт- Петербург ЗП от 180 000 р. до плюс бесконечности. Английский язык нужен обязательно. Компания является создателями мощной технологической платформы, обеспечивающей возможность vpn подключения, конфиденциальности и свободы для миллионов людей во всем мире. Обязанности: Создавайте масштабируемый и надежный конвейер данных в реальном времени на технологиях с открытым исходным кодом, который собирает, преобразует, загружает и обрабатывает данные из различных внутренних и внешних источников данных Создайте масштабируемое распределенное хранилище данных Создавайте инструменты, которые помогают бизнес-пользователям быстрее извлекать, анализировать и визуализировать данные, а также аналитикам данных для создания сложных запросов и выполнения расширенного анализа. Оцените новые технологии и создайте прототипы для непрерывного совершенствования Data Engineering Партнерство с инженерными командами для обеспечения контроля, регистрации и мониторинга ТРЕБУЕМЫЙ ОПЫТ: Широкий опыт использования технологий с открытым исходным кодом Big Data Spark, Kafka, Hadoop и Hive Опыт построения и мониторинга почти в реальном масштабе времени масштабируемых ETL-процессов управления хранилищами данных Опыт работы с инструментами обработки данных, такими как AirFlow, Azkaban или Oozie 5-летний опыт работы с Java, Scala и Python Более 5 лет опыта работы с SQL (MySQL, PostgreSQL, Oracle и т. Д.) Опыт работы с оболочкой Отличные письменные и устные навыки общения BS или MS в области компьютерных наук или соответствующей технической области Опыт работы с Tableau, Apache Superset или Apache Zeppelin станет плюсом Опыт работы с Docker, Kubernetes и Linux Advanced Administration станет плюсом Опыт работы с командой, распределенной по часовым поясам, будет плюсом

снова по aws batch — кто-то в курсе, как в нем ограничить количество контейнеров на хост? допустим, хост с 10000 памяти, я сетаплю 2 контейнера с 8000 каждый, и батч их запускает одновременно на хост, чего я не хочу

снова по aws batch — кто-то в курсе, как в нем ограничить количество контейнеров на хост? допустим, хост с 10000 памяти, я сетаплю 2 контейнера с 8000 каждый, и батч их запускает одновременно на хост, чего я не хочу

Не делает он так по дефолту вроде