скриношт сделай как выглядят дубликаты в ярне

вдруг у мя совсем другое было

1.6, да, через него и смотрю

Хы

как ты его запускаешь?

а можно скрипт запуска сюда? И на какой платформе делаете?

cli oozie, spark-submit, из релевантных параметров <argument>--executor-memory</argument> <argument>10G</argument> <argument>--num-executors</argument> <argument>2</argument> <argument>--conf</argument> <argument>&quot;spark.executor.extraJavaOptions=-XX:+UseG1GC&quot;</argument> <argument>--conf</argument> <argument>spark.yarn.maxAppAttempts=4</argument> <argument>--conf</argument> <argument>spark.yarn.am.attemptFailuresValidityInterval=1h</argument> <argument>--conf</argument> <argument>spark.yarn.max.executor.failures=8</argument> <argument>--conf</argument> <argument>spark.yarn.executor.failuresValidityInterval=1h</argument> <argument>--queue</argument> <argument>streaming</argument> <argument>--class</argument> <argument>...</argument> <argument>--sparkMaster</argument> <argument>yarn-cluster</argument> <argument>--sparkMemory</argument> <argument>10G</argument>

а если без oozie попробовать?

просто спарк скриптом из шела

попробую, спасибо

а в чем предположительно косяк оози? (результат не сразу будет видно)

мы его не используем, но я предположу, что он запускает джобу и не видит ее в ярне. Мб изза того, что ты имя задаешь свое, мб сам ярн не отдает oozie данные (права или еще что то)

но я бы начал с копания oozie

кстати, имя-то как раз не пробрасывается почему-то тут :)

во всех остальных стримилках appName резолвится нормально, а тут подставляется имя класса

походу да, в этом косяк, спасибо

нзчт)

Какие сборки с хадупом выиспользуете? cloudera – 14 ??????? 45% horton – 11 ?????? 35% свое творчество – 3 ?? 10% другое – 3 ?? 10% mapr ▫️ 0% ? 31 people voted so far.

всё таки хортон хороший)

а правда что в клаудере виндовс функции в спарке выключены?)

мы его не используем, но я предположу, что он запускает джобу и не видит ее в ярне. Мб изза того, что ты имя задаешь свое, мб сам ярн не отдает oozie данные (права или еще что то)

+ да; поддержу у нас с ним такая же штука была;ток как решили не помню

а правда что в клаудере виндовс функции в спарке выключены?)

спаркR точно отключён

ну это правильно, ведь надо писать на скале

а вот без оконных функций как то печально чтоли

Кривда обожатель винды

а в чем предположительно косяк оози? (результат не сразу будет видно)

у нас на кастомной запускалке флинка такая же фигня была кривая обработка статуса джоба из-за имени

Кривда обожатель винды

yavno lucche macos

у нас на кастомной запускалке флинка такая же фигня была кривая обработка статуса джоба из-за имени

у меня из-за того, что я скривил с названием джобы, крон запустил штук 15 копий одной джобы, а дальше уже ограничение ярновское сработало )

мне кажется все пользователи этого мощнейшего фреймворка (крона) наступали на подобные грабли

у нас на кастомной запускалке флинка такая же фигня была кривая обработка статуса джоба из-за имени

походу реально в этом дело пробросил повыше имя аппликухи --name, вроде завелось

мне кажется все пользователи этого мощнейшего фреймворка (крона) наступали на подобные грабли

проблема то не в нем, а как с его апи работаешь =) ну и вроде релизнули или готовят 2.0, можно будет начинать сначала =)

api крона это кронтаб?)

а блин, продолбал что речь о кроне %)

кронтаб 2

Господа, может кто-нибудь что-нибудь сказать по теме Spark vs Ignite?

Vs?

Для какой задачи

я извиняюсь за некорректность вопроса, но не в разрезе конкретной задачи. хотелось бы услышать success story типа "мудохались три года со спраком, а вот запилили игнайт и всё взлетело". или наоборот.

вопрос конкретнее не стал

Мудохались пол года со спарком и все взлетело

у них кейсы изначально разные, несмотря на попытки гридгейна влезть в рынок мл

да да рынок одного банка

Мудохались с этой бигдатой и все прапало

Оказалось можно было использовать акку монгу

Оказалось можно было использовать акку монгу

текстовый файлик

и все взлетело

и оказалось быстрее чем спарк кассандра мл бигдата фронтенд блокчейн

чем го

чем го

https://thinkfaster.co/2017/05/big-data-with-golang-instead-of-mapreduce/

https://thinkfaster.co/2017/05/big-data-with-golang-instead-of-mapreduce/

Мне понравилось 'ю кант Райт э мапер визаут рдьюсер'

Мне понравилось 'ю кант Райт э мапер визаут рдьюсер'

think faster!

think faster jump higher maaan, you're not a part of a SYSTEM

Drop dat Spark on a ground

к слову статья какраз про то что файл лучшая дб

до тех пор, пока не нужны транзакции, мвсс и оно влазит в память

так-то да, однострочник на перле для огромного количества задач будет быстрее, чем кластер спарка)

в книге праты перл быстрее С на некотррых задачах)

Книжка с собачкой

добрый вечер. господа посоветуйте что почитать для кикстарта по хадупу. предстоит разобраться со связкой hadoop+kafka+flink. пока кроме названия и примерного понимания чего и зачем ничего не знаю. начинать с оф док не хочу. не тот уровень пока.

@ptchol ? @demeliorator ?

оф доки имхо норм (у кафки и флинка) есть гайды но можно плясать от задачи

до док я доберуть. ща хочу обзорное что нить. типа паттернов проектирования, описание привычных стеков, такое вот

задача пока выглядит даже в голове у заказчика как "мало писать, много читать. прикрутить сбоку bi что бы были выборки. "

https://www.confluent.io/blog/apache-kafka-getting-started/

спасибо

https://flink.apache.org/introduction.html

с кафкой флинк умеет работать (следить за версиями только надо) у нас самый "жирный" джоб 150к в секунду переваривает с флинком из кафки в кафку

моя роль в проекте собрать стейдж среду на основе уловного готового прода. прод пока не видел. :)

у нас клаудера, на ней флинк, кафка на отдельных тачках (пока на виртуалках) там нет вроде рокет сайенса - поставить первое и третье, написать джоб на 2ом и задеплоить на первое

"вроде" это про клаудеру, я её слава богу сам не ставил ни разу)

Apache Spark on Kubernetes - Spark 2.2.0 Documentation https://apache-spark-on-k8s.github.io/userdocs/