Ну т.е. имеет смысл применять когда в другом регионе (удалённом) лежат данные в s3, а посчитать хотим здесь.

Я слышал с этой штукой искала не работает , но работает престо

Импалу не терплю как класс ибо это средство передержки для оракл наркоманов

Да с престо работает какая то версия

Мне понравился hazelcast в платном исполнении, ещё gemfire

Лучше смотрите в сторону Apache geode, для банков они могут дать платную поддержку

Лучше смотрите в сторону Apache geode, для банков они могут дать платную поддержку

Спасибо

Спасибо

Игнайт

Игнайт

Игнайт не оч и кривой :( его ни один банк - не разработчик. , я думаю к себе не подпустит

зато хуипа скок вокруг него

Я работал с бывшими кор разрабами игнайта - на вопрос стоит ли использовать - немедленное "нах"

Я работал с бывшими кор разрабами игнайта - на вопрос стоит ли использовать - немедленное "нах"

У вас банковское применение ?

Я работал с бывшими кор разрабами игнайта - на вопрос стоит ли использовать - немедленное "нах"

ну это как люди с колбасного завода которые не едят колбасу, я по этой причиной тиньковым пользуюсь

Да инвестмент банкинг

Лучше игнайта (полный отстой) но не надо верить алюксио рпзрабам

А вот все ругают, а чем он плох (на самом деле интересно)?

а дата сайэнтологам платят больше

Двачую

Если ты не лох, отправь смс я "не лох" на короткий номер 5252

Чёт спамеры активизировались прям в последние пару дней

Время написать предективную аналитику для прогнозирования спама. Сегментировать спам. И конечно же детектировать спам.

А потом сделать свой генератор

Хотя...сейчас вся индустрия свелась к тому, чтобы рассылать спам максимально адресно)

Intelligent Spam

Да инвестмент банкинг

Tsh а это пробовали https://www.snappydata.io/ ?

Да

Там одни индусы если не стремно

мне стремно)

С одной стороны там куча интересных идей (может украденных ещё где)

С другой господа не доводят до конца идеи, пришлось перепроверять и вычитывать код

В результате пришлось пилить свое с нуля

а на чем пилите?

а на чем пилите?

С ума сойдёте

На петоне

На петоне

ну то есть джобы прям спарковские рисуете им и вам хорошо?

а scala/java врапперы какие есть?*

Да, все есть, куда без них

Multilanguage project - make your own spark

Коллеги, добрый) Каким образом можно заставить yarn ротейтить логи для long running applications? Или еще лучше, как корректно их отправить в ES и локально делать ротейт.

Коллеги, добрый) Каким образом можно заставить yarn ротейтить логи для long running applications? Или еще лучше, как корректно их отправить в ES и локально делать ротейт.

Для каких-то определенных app master? Для Spark можно переопределить Log4j. Если из-под Oozie, то оный агрессивно забирает логи в процесс-launcher, но для него тоже можно прокинуть конфигурацию лога через props запуска.

Для каких-то определенных app master? Для Spark можно переопределить Log4j. Если из-под Oozie, то оный агрессивно забирает логи в процесс-launcher, но для него тоже можно прокинуть конфигурацию лога через props запуска.

Т.е. средствами самого приложения, окей. Спасибо. У меня Flink и logback вместо Log4j в нем.

Не всегда нужно все процессы YARN менять...или все? Например, если писать логи локально, можно потом проще забрать в ES.

Там только один процесс на ноду. Вопрос в том, можно ли это сделать средствами yarn+ какой-то шиппер или надо пилить велосипед?

Не понял вопроса

Добрый день. Подскажите плиз, стоит задача поработать с паректом из скалы без спарка, т.е. просто хочется использовать паркет как файловую бд. Нужно будет делать операции двух типов: 1) дописывать в файлы, 2) читать с конца с условием пока. Вопрос, достаточно ли будет библиотеки apache/parquet-mr или что-то другое взять (проще/удобнее) ?

а разве в паркет можно дописывать?

Было у меня что-то вроде df_tdata.write.mode(SaveMode.Append).format("parquet").insertInto("T_DATA") но это через spark

он просто рядом создает новый файл насколько я помню

да

Добрый вечер, читаю в спарк rdd таблицу с кассандры коннектором datastax, делаю над ней map и reduceByKey, после чего сжирается все место на серве под промежуточные результаты. То есть сначала делается map, сохраняет результаты в spark.local.dir и только потом редьюсит? Как можно организовать редьюс на каждом партишене и только после этого уже сохранять результаты? (Работаю на одной ноде)

Сожрался терабайт, дальше пришлось вырубить

Так же будет ли tungsten компактнее сериализовать, если ичользовать dataframe вместо rdd

Блин, похоже вопрос отпал, надо было просто через mapPartitions делать и сохранять результат каждого партишена

вообще если говорить о кассандра коннектере то он тупой (:

Слышал об этом, а сейчас сам об него споткнулся) но вообще он все правильно сделал, это я не так агрегировал

в большинстве случаев он хорошо работает, пробелмы начнутся со сложными или с хотяб рендж запросами

Добрый вечер, читаю в спарк rdd таблицу с кассандры коннектором datastax, делаю над ней map и reduceByKey, после чего сжирается все место на серве под промежуточные результаты. То есть сначала делается map, сохраняет результаты в spark.local.dir и только потом редьюсит? Как можно организовать редьюс на каждом партишене и только после этого уже сохранять результаты? (Работаю на одной ноде)

Попробуйте mapPartitions, и возвращать свой массив key-value

Это как раз позволит посчитать на маппере предварительные агрегаты

Ага, вот я так и подумал, почему-то сразу в голову не пришло

Но вручную немного больше придётся написать)

Отложилось в голове, что редьсить должен был на партишенах, а не на каждой ноде) которая у меня одна)

Попробуйте mapPartitions, и возвращать свой массив key-value

надо не забыть отсортировать ключи в mapPartitions

и repartition(key) можно перед этим

Не, так проблема как раз в шаффле, репартишен тоже его делает, как и reduceByKey

да улчше шафл дополсднего отложить уже какихнить только нужных данных в малом объеме

надо не забыть отсортировать ключи в mapPartitions

А зачем сортировать ключи? Достаточно просто одну запись на ключ вроде вернуть, чтобы уменьшить размер шафла, а редьюсбайкей всё равно сделает шафл

А зачем сортировать ключи? Достаточно просто одну запись на ключ вроде вернуть, чтобы уменьшить размер шафла, а редьюсбайкей всё равно сделает шафл

это если нужно ключи 1 1 1 1 1 1 1 1 = > 8 превратить

типа groupped iterator можно сделать

Хотя стоп, редьюс не делается ли сам частично на маппере?

вот так его и можно сделать

частично

Да можно просто хэш-таблицу на каждом партишене

в mapPartitions придет iterator

ты отслеживаешь когда сменяется ключ и можешь применить преобразование ко всей группе

и тоже вернуть итератор

Да можно просто хэш-таблицу на каждом партишене

пока ООМ не словишь - можно

Зависит от размера партишена, но согласен)

А зачем сортировать ключи? Достаточно просто одну запись на ключ вроде вернуть, чтобы уменьшить размер шафла, а редьюсбайкей всё равно сделает шафл

редьюс байк ки сделает шафл в смысле доставки значений на драйвер по дефолту он делает презерв партишонинг операции, если конечно ключ партицирования верный то все ок будет; ну а если нет то перепутает все да.

Не, так проблема как раз в шаффле, репартишен тоже его делает, как и reduceByKey

Шаффл же как раз маленьким будет, если каждый партишен редьсить

это если нужно ключи 1 1 1 1 1 1 1 1 = > 8 превратить

Кстати, круто, это и нужно будет сделать)

Проблема: Spark на AWS EMR не читает данные из Kinesis стрима, Streaming tab в UI показывает батчи по 0 записей. Если запустить приложение на голом EC2 с master = local[*], то все работает.

в EMR 1 мастер и 2 слейва все по 2 ядра, выставлен флаг "maximizeResourceAllocation"