ну не знаю) в итоге авс завязка

что за завязка? оО

да батч юзают в сыром виде и все

а, ну вот у меня тоже, и небольшой велосипед для удобства поверху

да

а так 80% батч

это, вы не сталкивались с лимитом для job queues / compute envs? он там 18/20, что выглядит как искусственное ограничение, и сильно не вписывается в установившийся форкфлоу (по 2 штуки на сатаниста, чтобы за ресурсы не так сильно конкурировали) в саппорте послали ждать, но у нас не прем, хз

Чёт не понял, где этот лимит?

коллеги, я тут демку/бенчмарк хочу построить, нужен очень большой датасет в свободном доступе, и типовые, но при этом сложные и тяжелые запросы по нему. Все это под кассандру. Никто такое не делал?

коллеги, я тут демку/бенчмарк хочу построить, нужен очень большой датасет в свободном доступе, и типовые, но при этом сложные и тяжелые запросы по нему. Все это под кассандру. Никто такое не делал?

Есть известный датасет о поездках такси. Один парень упоролся и прогнал 4 одинаковых запроса разной степени сложности по куче БД начиная от SQLite до MapD. http://tech.marksblogg.com/benchmarks.html

Коллеги, привет! Может кто поделиться опытом использования merge в hive для обновления таблиц фактов?

привет, кто посоветует иснтрумент чем можно читать из кафки и потом в s3 складывать для бекапа и последующей батч обработки?

А в чем сильны? Вариантов вроде вагон

привет, кто посоветует иснтрумент чем можно читать из кафки и потом в s3 складывать для бекапа и последующей батч обработки?

Можно Kafka connect подцепить, там есть синк в s3, но там много подводных камней появляется на масштабах.

варианты да,но интересует експиренс

Можно Kafka connect подцепить, там есть синк в s3, но там много подводных камней появляется на масштабах.

а он может работать с ванильной кафкой? или ток c confluent?

Мы юзаем конфлюентовский синк

У нас сильно завязано все на Confluent, с ванильной не знаю будет работать или нет, но вроде коннекту только брокеры нужны

а он может работать с ванильной кафкой? или ток c confluent?

нет разницы между этими кафками, разница в обвязках вокруг них

@dos65 можешь заяснить про мист? Есть какая табличка со сравнением со spark job server? И есть ли какой-нибудь мануал по миграции?

Ребята, подскажите плз куда смотреть, в YARN кластере работало 2 Spark приложения, одно завершилось и YARN выделил другому приложению новые контейнеры, но Spark UI показывает что новых executors не появилось и он по-прежнему работает только в старых.

Ребята, подскажите плз куда смотреть, в YARN кластере работало 2 Spark приложения, одно завершилось и YARN выделил другому приложению новые контейнеры, но Spark UI показывает что новых executors не появилось и он по-прежнему работает только в старых.

а оба в дайнемик алокейшн моде?

вообще интересный эксперимент конечно, а там точно просиходит форс репартишн +шафл после того как первое вырубается?

динамика нет как я понимаю

а если динамика нет, то даже шансов не будет; я не уверен может ли ярн выдавать новые ресурсы по их осовбождению, но как минимум надо пробовать с динамик аллокацией ; т.к. на статик аллокации он выделает ресы ток раз по старту

Окей, меня просто очень смущает что я вижу что число ярн контейнеров увелчилось, но новые простаивают

зачем тогда ярн ресурсы занимает? :)

не могу посмотреть что у тебя там происходит; попробуй по старту первой рестартануть ее

мне кажется она норм стартанет

ну после рестарта то все четко

я уже это сделал

Окей, меня просто очень смущает что я вижу что число ярн контейнеров увелчилось, но новые простаивают

Считает на драйвере, не?

ну не, с этим все ок

Тебя смущает, что старые контейнеры висят от законченного процесса или новые стоящие?

новые простаивают

старый завершился и все освободил

И долго стоят?

я так понял в течении всег овремени активности второго джоба

Как же исполняется тогда джоба?

Зайди в лог контейнера да посмотри

Чем он занят

лог пуст

смортри

было x контейнеров у одной джобы и y у второй

первая завершила и освободила X

^ ты про джобы или таски ^

вторая через минуту с Y контейнеров увеличилась до X+Y

Контейнеры создаются же при старте таски. Джобы не влияют на создание

но Spark App ui по прежнему показывает что джоб выполняется в Y экзекуторах

И по окончанию обоих исчезают все х+у?

ага, освобождается

А где ты смотришь, что их стало х+у? В ярне?

я щас попробую повторить и наделать скринов

вот тут

но это другое приложение

Если что это все Amazon EMR, все по дефолту

Я похоже разобрался

спарк подхватил контейнеры как только поменялся стейдж

@dos65 можешь заяснить про мист? Есть какая табличка со сравнением со spark job server? И есть ли какой-нибудь мануал по миграции?

актуальной нету. есл не пользуешься у них localrdd или как у них назыается это, то миграция крайне простая - завернул вызов спарк кода в наше апи, да в конфиги контекста перенес и явно добавил spark.master

актуальной нету. есл не пользуешься у них localrdd или как у них назыается это, то миграция крайне простая - завернул вызов спарк кода в наше апи, да в конфиги контекста перенес и явно добавил spark.master

Ну вот есть у меня пачка джоб на апи сжс. Их нужно будет ручками все мигрировать? И ещё я использую рест апи самого сжс, типа "запусти вот такую джобу вот с такими параметрами". С этим как?

ну мист это же не новая версия жобсервера - конечно ручками. если больно поменять формат вызовов можно руками глупую проксю поставить, чтобы формат закпроса переделывала

Вот кто-нибудь запилил бы скалафикс миграцию ;)

Просто скоро обновляться на новый сжс, и я думаю, может проще мист воткнуть, если миграция не сложная

ну тут уровень сложности переезда == смене http dsl и чутка запросы подмандить - сложность не тянет на скалафиксы)

ну и как бы можешь саму логику завернуть и в мистовую и сжс джобу, потом плавно перектишься

ну тут уровень сложности переезда == смене http dsl и чутка запросы подмандить - сложность не тянет на скалафиксы)

> подмандить Интересный термин жцпо

ну тут уровень сложности переезда == смене http dsl и чутка запросы подмандить - сложность не тянет на скалафиксы)

Так в этом и соль скалафикса - убрать необходимость ручного переписывания, когда можно автоматом все конвертнуть

Спасибо за ответы

> подмандить Интересный термин жцпо

это кз термины, сова, нам далеко до них

Глупый вопрос, у меня есть унаследованный код. Господин коллега считывает файлы которые нужно обработать, потом делает foreach{ создал sparkContext обработал что нужно закрыл sparkContext }

не правильно ли будет ? создать sc files.foreach{ process(_) } закрыть sc

правильнее всего будет sc.parallelize(files).map(process)?

))

ну и не ясна цель зачем он открывает и закрывает контексты

как-то по-спарковски)

мне тоже, мне тоже

файлы мы из hdfs берем, кстати

а что за файлы

csv чую...

ДА

не правильно ли будет ? создать sc files.foreach{ process(_) } закрыть sc

хотя есть надежда на то, что если форич будет параллельный, а внутри сессии будет фаир шедулер, то будет всё нормас разрулено даже таким методом

но я сейчас на паркет все перекладываю

вроде феир

тогда он таким макаром паралелил видать все

на самом деле не все, а только новое будет на паркете, вот и думаю сразу по-красоте сделать

тогда он таким макаром паралелил видать все

через foreach ?

а потом говорят "чё-то спарк хреново работает, давайте обратно на платные етл говнотулзы переходить")

хотя есть надежда на то, что если форич будет параллельный, а внутри сессии будет фаир шедулер, то будет всё нормас разрулено даже таким методом

Вот

ну да, вообще возьми имена распаралель и считай их на разных машинах и потом запроцессь

а потом говорят "чё-то спарк хреново работает, давайте обратно на платные етл говнотулзы переходить")

до спарка была тулза на С++ которая в один поток все считала