ну мезос еще есть

есть, мне там очень не нравится ключевое решение в архитектуре, хотя я могу чего-то не понимать

именно то решение, где мезос тебе предлагает какие контейнеры есть доступные, вместо того, чтобы просто выполнить твой риквест

+ непонятно как дистрибьютить ресурсы

у ярна то есть hdfs

но сам я его не юзал, так что это все imo

короче будущее за Spanner'ом и True Clock API

¯\_(ツ)_/¯

слишокм категаричная статья, но какое это имеет глобальное значение?

скуль уже все давно везде опять сувать стали; старый тренд. и гугл биг квери с момента открытия гугл клауд

но, возможно для людей в ентерпрайзе хадупа, это откровение

да тут прикол, что идет возвращение к реляционным истокам. статья на самом деле херня и вброс. Чувак не очень разбирается в тех аспектах и это заметно. Тем не менее это попало в хадуп викли рассылку

да все всегда циклично; не реляционки это не нонсенс

Кашэ отличный тому пример - динозавр ентерпрайза

да все всегда циклично; не реляционки это не нонсенс

кивалуе->реляционка->кивалуе->реляционка....

KrivdaDB // @krivdaallstarts

это распредленная бд которая нарушает теорему САР

это распредленная бд которая нарушает теорему САР

потому что работает внутри одного хоста?

потому что работает внутри одного хоста?

потому что может выдавать только числа Фибоначчи

а строить индексы по ним умеет?

сорьки(

А работал ли кто с динамическими партициями паркета из спарка, допустим есть задача хранить по партициям год-месяц-день, а последние поступления год-месяц-день-час ( или как-то апппендить вменяемо год-месяц-день) , а потом запускать отдельную джобу которая схлопывала бы набор партиций год-месяц-день-час в год-месяц-час. Как вы реализовывали такие штуки, чтобы внешние серивисы не сходили с ума, но при этом число блоков не разрасталось ? (Данные льются из кафки в авро)

ну во первых надо все же юзать hive если хочешь писать в одно и тоже место не перетирая существующие данные. так как это делать спарк с partitionBy

потом когда день закончен, запускаешь джобу, которая мержит все в новый аутпут, но ставишь "." в названиях новых мультипарт файлов

потом переименовываешь и дропаешь почасовые фолдеры

ну во первых надо все же юзать hive если хочешь писать в одно и тоже место не перетирая существующие данные. так как это делать спарк с partitionBy

входной поток кафки из хайва обрабатывать?

ну во первых надо все же юзать hive если хочешь писать в одно и тоже место не перетирая существующие данные. так как это делать спарк с partitionBy

что мешает .mode(SaveMode.Append) ?

что мешает .mode(SaveMode.Append) ?

партиция будет не доступна по сути

почему?

Если я буду каждый час писать в год-месяц-день обновления, она в момент обновления не будет доступна

а, это да

Ночью, впринципе, можно обновлять и удалять сколько влезет

входной поток кафки из хайва обрабатывать?

Та не. Просто инсерт делать в спарке средствами хайв каталога, а не через DataframeWriter. Мне помогло.

Типа spark.sql + внешняя хайв таблица

Благодарю

Никто не встречался с ошибкой warn token: cannot find class for token kind hive_delegation_token

?

спарк стриминг, пишу в орк

кластер с крб

Никто не встречался с ошибкой warn token: cannot find class for token kind hive_delegation_token

Спарк получил токен для хайва, но не может создать его объект в памяти, так как скорее всего чего-то хайвовского не хватает в класпасе. Ты ж сам хайв не юзаешь напрямую?

через спарк ток

через спарк ток

и кроме ворнинга, никаких симптомов? каталог читается и все окей?

да

это странно. не должно было бы работать совсем

все работает :)

аа, стоп. это с драйвера логи? или экзекьютора?

это с yarn logs -applicationId

ага. контейнер какой?)

id не 00001 в конце?

мм, ща уточню

1 у драйвера?

ага, если он не падал

может быть другой, если падал

но там с отсальных логов того же контейнера, должно быть очень понятно, воркер ли это

там будет что-то типа spark.executor в fqn логов

если у вас не шибко кастомный log4j конечно

в общем если окажется, что это экзекьютор, то вообще ничего страшного. Экзекьюторы не читают из хайв метастора, они читают с HDFS. Драйвер же для доступа к метастору юзает тикет напрямую, а не токен. Так что я хз зачем они вообще бросают этот ворнинг.

есть и там и там

во всех контейнерах этот ворнингт:)

ну в обоих случаях не играет роли по причинам описанным выше

токен просто не юзается

спасибо :)

Коллеги, добрый день. Подскажите пожалуйста, есть ли какие-то ресурсы для изучения spark c нуля? Интересует как поднятие/администрирование кластера, так и разработки программ (в основном ETL). Заранее спасибо!

Дока?)

Коллеги, добрый день. Подскажите пожалуйста, есть ли какие-то ресурсы для изучения spark c нуля? Интересует как поднятие/администрирование кластера, так и разработки программ (в основном ETL). Заранее спасибо!

Oh, найти бы такое. Настройка спарка это все же глубокий devops.

Дока?)

Как вариант ) У меня была надежда, что где-то это есть в одном месте, но увы. Разработка в одних книжках, деплой в других.