взять спарк, лучше стриминг

адаптировать какой нибудь алгоритм под стриминг

hadoop очень широкая тема, смотря какие интересы, и насколько глубоко любите копать вот я бы выбрал описание устройства HDFS in depth

а круг тем хоть определен или что угодно? @fire_Rising

по классике типа blabla for sliding window

кто здесь юзает Caffe2?

Какой у кого любимый способ сбора логов со всего зоопарка клаудеры? Кибана? Какое-то клаудеровское решение? Ещё что-то?

В хдфс пишутся логи, потом забрать с хдфс, не помню где в цдх активировать

кибана норм

Ну тут скорее вопрос - чем забирать. Надо чтобы и для анализа было удобно.

а круг тем хоть определен или что угодно? @fire_Rising

Что угодно связанное с этой технологией

Скорее анализ данных с помощью hadoop, чем углубление в его внутренее устройство

Скорее анализ данных с помощью hadoop, чем углубление в его внутренее устройство

Анализ данных это одно. Hadoop это другое. Что вкладываешь в понятие Hadoop?

Стек технологий для работы с Big Data

Я имел ввиду к примеру кластеризацию больших данных с использованием MLib

Но если даже не брать это во внимание, то какие есть варианты?)

Хотелось бы также при этом покодить на java

mlib?

На мой взгляд, тема может быть прикладной - конкретное исследование - не наш случай или ‘Математика’ - как вариант, кластеризация - не зависит от реализации. Hadoop просто инструмент. Если делать упор на него, то это должна быть инженерная часть

да, какаянить теория N и реализация с использованием M (мистичский хадуп с млиб и жавой)

Привет

народ, есть у кого нить опыт с апачевым фэлконом?

Всем привет! Может кто-то сталкивался с подобным или направит в какую сторону копать: Есть два клоудеровских кластер на обоих установлен spark2.2.0.cloudera2 , есть structured streaming джоба, которая читает из кафки (кафка стоит на отдельном кластере), джоба собираеться в uber jar со всеми зависимостями. Сабмитятся джобы c одинаковыми параметрами, но на одном кластере она стартует и все отрабатывает, а на другом джоба стартует, но при этом ничего не происходит. В логах вроде тоже ничего подозрительного нет.

Кажется они читают одну и ту же consumer group. Порядок старта джоб определён или рандомный?

Кажется они читают одну и ту же consumer group. Порядок старта джоб определён или рандомный?

Рандомный, точнее так, попробовал на одном - не работает, попробовал на другом работает! И так не однократно!

Хм, оокей

Скорее анализ данных с помощью hadoop, чем углубление в его внутренее устройство

Forget about it. There is Spark.

Хотелось бы также при этом покодить на java

Forget about it. Spark assumes Scala.

Forget about it. Spark assumes Scala.

+1

Можно и Котлин

Сейчас доклад идёт про это)

пиздеж

пиздеж

удобство ровно то же, что и с джавой, тк он и есть джава

А скала это язык богов

ну всяко удобнее

Scala для Spark однозначно удобнее, чем Java.

А скала это язык богов

Вот только кроме спарка ее нигде не применяют.

также можно и про котлин сказать

также можно и про котлин сказать

Ну скалу хоть где то применяют.

Ну скалу хоть где то применяют.

Это сарказм?)

Это сарказм?)

Статистика.

Статистика.

Простите за оффтоп, но вы слышали про google? Про ОС android?

Простите за оффтоп, но вы слышали про google? Про ОС android?

не хочу врываться в тред но scala вакансий крайний раз когда я проверял было на порядок меньше чем java(10 раз) а котлин в 2 раза меньше чем scala

смотрел на stackoverflow jobs и hh по России

Вот только кроме спарка ее нигде не применяют.

Применяют. REST API могут на ней делать. Я как раз с этим работаю сейчас.

Статистика.

Если ты не применяешь, не значит что никто не применяет ;) так можно говорить и всех фп языках ну и конечно же о коболе

Вот только кроме спарка ее нигде не применяют.

Я на ней Микросервисы пишу, не надо мне тут

у нас половина банковских ключевых компонент на скалке

твиттер, пейпал на скалке

А вторая половина?

а про 2ую я почти ничего не знаю)

На го значит

не, этого нет там скорее энтерпрайзная классика (эпохи джавово-ораклового импрессионизма)

Оо

По-любому там Кирилл)

нет, но давай не будем оффтопить

это не ПОНВ

Разве

По-моему тут тебе правила, да @pomadchin ?)

да тут теже рожи

Вообще интеграционное тестирование в бигдата для небольших команд непомерная ноша. Если меньше 5-6 человек, лучше не запариваться. Подготовка данных и их изменение будет требовать уйму времени. Хотя наверное зависит от специфики (нет).

Да, меньше 6) но почему то часто какая то странная фигня с производительностью случается. Хотелось как то более точно понимать что на что и как повлияло. Особенно в свете того что скоро увеличится объём данных и у меня есть смутные сомнения что мы не выгребем по памяти

а тут никак кроме как тестированием на конкретном объеме и не проверить в итоге

Значит буду страдать) pain driven development наше все. Но было полезно знать что других вариантов нет

Ну, "проблемы с производительностью" это слишком общо. Но в целом, надо начинать от общекластерных метрик В какое время сколько джобов работают, посмотреть графики CPU, Mem, DiskIO, Network IO за день, неделю, месяц. Сразу очень много чего станет понятно. Они обычно из коробки собираются в Cloudera и Ambari Но это я простые вещи говорю, наверное и так понятно.

Собираем отправляем в датадог смотрим

Спарк на Амазоне стенд элон... Пока так. Пересматриваем это в пользу emr сейчас

о да вы облачные, ну круто

Спарк на Амазоне стенд элон... Пока так. Пересматриваем это в пользу emr сейчас

emr удобно

Значит буду страдать) pain driven development наше все. Но было полезно знать что других вариантов нет

записал, очень емко и верно!

:)

Нид хелп. Есть одна спарковская джоба, тестили ее на сендбоксе хртонворкса (сингл нода) и все работало. запускают на Ажуре и в результате вот такое, висит по часу

org.apache.spark.rpc.RpcTimeoutException: Futures timed out after [10 seconds]. This timeout is controlled by spark.executor.heartbeatInterval at org.apache.spark.rpc.RpcTimeout.org$apache$spark$rpc$RpcTimeout$$createRpcTimeoutException(RpcTimeout.scala:48) at org.apache.spark.rpc.RpcTimeout$$anonfun$addMessageIfTimeout$1.applyOrElse(RpcTimeout.scala:63) at org.apache.spark.rpc.RpcTimeout$$anonfun$addMessageIfTimeout$1.applyOrElse(RpcTimeout.scala:59) at scala.PartialFunction$OrElse.apply(PartialFunction.scala:167) at org.apache.spark.rpc.RpcTimeout.awaitResult(RpcTimeout.scala:83) at org.apache.spark.rpc.RpcEndpointRef.askWithRetry(RpcEndpointRef.scala:102) at org.apache.spark.executor.Executor.org$apache$spark$executor$Executor$$reportHeartBeat(Executor.scala:689) at org.apache.spark.executor.Executor$$anon$1$$anonfun$run$1.apply$mcV$sp(Executor.scala:718) at org.apache.spark.executor.Executor$$anon$1$$anonfun$run$1.apply(Executor.scala:718) at org.apache.spark.executor.Executor$$anon$1$$anonfun$run$1.apply(Executor.scala:718) at org.apache.spark.util.Utils$.logUncaughtExceptions(Utils.scala:1963) at org.apache.spark.executor.Executor$$anon$1.run(Executor.scala:718) at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511) at java.util.concurrent.FutureTask.runAndReset(FutureTask.java:308) at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$301(ScheduledThreadPoolExecutor.java:180) at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:294) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) at java.lang.Thread.run(Thread.java:748) Caused by: java.util.concurrent.TimeoutException: Futures timed out after [10 seconds] at scala.concurrent.impl.Promise$DefaultPromise.ready(Promise.scala:219) at scala.concurrent.impl.Promise$DefaultPromise.result(Promise.scala:223) at scala.concurrent.Await$$anonfun$result$1.apply(package.scala:190) at scala.concurrent.BlockContext$DefaultBlockContext$.blockOn(BlockContext.scala:53) at scala.concurrent.Await$.result(package.scala:190) at org.apache.spark.rpc.RpcTimeout.awaitResult(RpcTimeout.scala:81) ... 14 more 18/03/19 08:15:08 WARN NettyRpcEndpointRef: Error sending message [message = Heartbeat(1,[Lscala.Tuple2;@2a8cd73b,BlockManagerId(1, wn1-IDCTes.n3ia0yy4npiubjzdcpev0hkpgd.bx.internal.cloudapp.net, 43243, None))] in 2 attempts org.apache.spark.rpc.RpcTimeoutException: Futures timed out after [10 seconds]. This timeout is controlled by spark.executor.heartbeatInterval at org.apache.spark.rpc.RpcTimeout.org$apache$spark$rpc$RpcTimeout$$createRpcTimeoutException(RpcTimeout.scala:48) at org.apache.spark.rpc.RpcTimeout$$anonfun$addMessageIfTimeout$1.applyOrElse(RpcTimeout.scala:63) at org.apache.spark.rpc.RpcTimeout$$anonfun$addMessageIfTimeout$1.applyOrElse(RpcTimeout.scala:59) at scala.PartialFunction$OrElse.apply(PartialFunction.scala:167) at org.apache.spark.rpc.RpcTimeout.awaitResult(RpcTimeout.scala:83) at org.apache.spark.rpc.RpcEndpointRef.askWithRetry(RpcEndpointRef.scala:102) at org.apache.spark.executor.Executor.org$apache$spark$executor$Executor$$reportHeartBeat(Executor.scala:689) at org.apache.spark.executor.Executor$$anon$1$$anonfun$run$1.apply$mcV$sp(Executor.scala:718) at org.apache.spark.executor.Executor$$anon$1$$anonfun$run$1.apply(Executor.scala:718) at org.apache.spark.executor.Executor$$anon$1$$anonfun$run$1.apply(Executor.scala:718) at org.apache.spark.util.Utils$.logUncaughtExceptions(Utils.scala:1963) at org.apache.spark.executor.Executor$$anon$1.run(Executor.scala:718) at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511) at java.util.concurrent.FutureTask.runAndReset(FutureTask.java:308) at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$301(ScheduledThreadPoolExecutor.java:180)

at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:294) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) at java.lang.Thread.run(Thread.java:748)

оно майкрософт надо пинать?

может доступов куда то нет? ио таймаут с кучей ретраев

другой вариант побольше экзекуторов выделить но каждому по меньше памяти и меньше ядер, может быстрее валиться будет

Спасибо . прикол в том что я на том кластере ничего посмотреть не могу, они его поднимают шаблоном и типа как есть. просто чтоб знать кто виноват, а что делать будем думать.