О боже

Первый в России митап по Apache Ignite, 12 декабря / Хабрахабр https://m.habrahabr.ru/company/gridgain/blog/343826/

мест уже нету (

Лол, весь сбертех опять?

Лол, весь сбертех опять?

Они ходят на митапы а код не пишут чо за дела

Они ходят на митапы а код не пишут чо за дела

Главное, движуха :)

Лол, весь сбертех опять?

ну просто пост о митапе видимо не сразу сделали

Новость старая, да

кто с нифи работал, скажите, скриптед процессор вообще рабочий?

кто с нифи работал, скажите, скриптед процессор вообще рабочий?

ExecuteScript ? Вполне рабочий, сейчас юзаю в проекте. Python

Парни, делал кто-нибудь вывод логов по уровню в чарты на сборке клодэры? К примеру, сколько упало ерроров.

в чем проблема?

Проблема в том, что к примеру, solr не ведет статистику. А спарк подсовывает свои логи в серис hdfs.

И не получается единым подходом просматривать ошибки на кластере.

а не. такое не получится сделать

у клаудеры своя база, и там строго определённые поля (хоть их и очень много)

и потом она все-таки на системную статистику направлена бизнес-логи лучше самому собирать

Какая практика есть?

желательно, чтобы в чарты пихать их потом.

Обычно сервис сборщик логов юзают и уже из него понимают что где кода почему. Из него уже и нотификации сыпятся в слаки, телеграммы и СМС

logstash + elasticsearch, но это тяжеловастенько

Ну а из любимого тогда?)

Не решал такую задачу?

В каком облаке работаем в таком и ищем подобный сборщик ?‍♂️

Пока что все пути открыты.

Хочу определить наиболее подходящий.

logstash elastic-search kibana — норм связка, я её использую

В принципе, уже второй отзыв в пользу.

Засчитано.)

Спасибо.)

там только смотри, часть функционала платная (XPack), но я оттуда ничего не использую, вроде и без него норм, но тебе может понадобиться

Ок, спасибо.

Есть может ребята, что с EMR разбирались? Надо передавать большую конфигу процессу и вот какую проблему обнаружили: https://stackoverflow.com/questions/47658137/how-to-use-hadoopjarstepconfig-stepproperties

Про EMR не скажу, но почему бы не использовать setArgs в обычном MR передача аргументов норм вроде работает через hadoop jar

а. чтобы не парсить..

а как именно вы пытаетесь получить эти properties в main-е?

Не... Парсить не проблема. Конфиг 65кб

Обычно кидали конфу в хадуп и расширяли site-core который отправляется вместе с таском на ноду

если бы мне в MR job-е прилшлось получать конфиг, я бы воспользовался distributed cache

не очень понятно в чём у вас проблема, у вас есть код окружения который настраивает запускаемый JAR и устанавливает Properties. Потом вы пытаетесь получить доступ к ним из функции main JAR-ника?

задачки заускаются через EMR API. не напрямую, ручного контроля над окружением нет. btw вопрос вполне конкретный, именно по проперти из класса EMR API.

да но не раскрыто как к ним доступ происходит

System.getProperties?

первое что попробовал

в разрезе обычного хадупа должно работать пробовали распечатать все проперти в лог (можт префиксы, все дела)?

само собой. нету их там ни в каком виде. вот потому и непонятно.

можно еще попробовать аналог вот этого import org.apache.hadoop.conf.Configuration; Configuration config = context.getConfiguration();

:)) эти проперти совсем другим способом устанавливаются. нормально документированным. но в нашем случае не подходят, потому что в отличие от нормального хадупа EMR валидирует конфиг и валится с ошибкой на неизвестные ему проперти. HDInsight/hortonworks позволяет так делать, собсно, на ём мы так и делаем. а у амазона другой путь.

вообще всегда было интересно, я просто думал что они наклеили на HDFS наклейку S3, а на MR наклейку EMR так и есть?

вообще не так

EMR это собственный амазоновский пропатченный дистриб хадупа с кучей проприетарных компонентов.

ну в целом так и есть получается)

просто апи очень схожее, названия классов сильно пересекаются

EMR это собственный амазоновский пропатченный дистриб хадупа с кучей проприетарных компонентов.

вообще, не только хадупа

ну с обвесом и неоном, да

и спарком

по проблеме, мне кажется есть смысл положить конфиг рядом с jar в distributed cache ну конкретно по вопросу да видимо не знаю как работает EMR

too complex and insecure. вот инишку рядом с жарником в s3 bucket сложить можно попытаться. (но не хочется, потому что придётся в него тащить зависимость от aws sdk)

и еще из очевидного, ну мало ли, убедиться что проперти выставляются до запуска..

кстати да. стоит перепроверить. мы powershell юзаем для вызовов, а он сам по себе странный.

угу. нашлось. короче, эта бяка складывает их таки в окружение, в переменную HADOOP_CLIENT_OPTS. дописывает в конец как -Dkey=value. одно но — если есть незаэскейпленный с точки зрения шелла символ, то добавленные проперти молча игнорируются. хоть бы ворнинг какой в лог кинули :\ но фиг там. просто не дописываются. вывод — эскейпить надо.

если в настройках есть что-то вроде delimiter=\t, то значит дважды искейпить — \\\\t

windows)

если бы

Всем привет!!! А кто-нибудь запускал Hive на Spark2.2.0

Привет, да

на EMR и локально

Привет, нет

а главное, зачем???

На dcos

Привет, нет

просто нет

счас начнут про индексы чета говорить

ник а ты запускал на дсос?

@gurinderu запускал не?

просто

Что запускал то?

Что запускал то?

запускал

Ну да, только что?

Всем привет!!! А кто-нибудь запускал Hive на Spark2.2.0

а в чём вопрос-то?

Ну да, только что?

зришь в корень и @sherzodv догадался

моя миссия выполнена

lol