да с докер кафкой все летает

Всем привет! Возник такой вопрос. Могу ли я каким-либо образом получить список EMR Release Labels на Амазоне программно через API? Релизы выглядят подобным образом: runJobFlowRequest.setReleaseLabel( "emr-4.8.0" );

да с докер кафкой все летает

можно пробовать логи кластера смотреть, но я там ничего не знаю попробуй в кафка чате поспрашивать, там хотя б Гамов есть как представитель конфлюэнт.ио

можно пробовать логи кластера смотреть, но я там ничего не знаю попробуй в кафка чате поспрашивать, там хотя б Гамов есть как представитель конфлюэнт.ио

да левая либа с ембедед серваком https://github.com/manub/scalatest-embedded-kafka

Всем привет! Возник такой вопрос. Могу ли я каким-либо образом получить список EMR Release Labels на Амазоне программно через API? Релизы выглядят подобным образом: runJobFlowRequest.setReleaseLabel( "emr-4.8.0" );

(cluster: Cluster).getReleaseLabel

https://github.com/aws/aws-sdk-java/blob/master/aws-java-sdk-emr/src/main/java/com/amazonaws/services/elasticmapreduce/model/Cluster.java

https://github.com/aws/aws-sdk-java/blob/master/aws-java-sdk-emr/src/main/java/com/amazonaws/services/elasticmapreduce/model/Cluster.java

Спасибо! Попробую

(cluster: Cluster).getReleaseLabel

Не, не совсем то все-таки

Мне нужен список доступных для моего региона кластеров

С учетом того, что кластер сам еще не существует

аа список доступных

аа список доступных

Ага

Кто-нибудь сталкивался с чтением спарком из AdWords?

Кто-нибудь сталкивался с чтением спарком из AdWords?

набрось контекста, 'читать спарком' можно что угодно

это ясно, может есть какая библиотека, без прямого юзания AdWords API?

только spark-google-adwords :))

https://github.com/crealytics/spark-google-adwords

про креалитикс знаю, там работа заброшена

я бы не сказал что заброшена; ноябрь 2017го хоть и прошлый год но не так давно

24 коммита форкни и используй как базис мб

да не смотри стара либа аж с 2015го года чтото делается по ней

там помнялся AdWords API и либы не обновлены, а с текущими люди пишут что не работает...ну видимо придется пилить))

она просто вялотекущая)

видимо так

Коллеги кто юзает hdp? Мучаю oozie и spark2, у них конфликт в джексоне и коммон лэнге

включить в фэтджар не помогает

может кто что посоветует?

запускать шельником

спарк задачи

а если там не только спарк но еще и sqoop

и еще хочется не крон

или все таки крон и шелл?

а как же там всякий ретрай тд

типа может тогда nifi или airflow?

запускать шельником

шельником из oozie?

ну ты шелл задачу

можешь

ну кстати да

спс

Вкину

https://www.gridgain.com/resources/blog/apache-cassandra-vs-apache-ignite-affinity-collocation-and-distributed-sql

тухленько бенчмарки от вендера о победе вендера

у сциллы помнится тоже были эти бенчмарки которые делали кассандру, но мои смаые примитивные попытки даже не отбенчить а савнить батч рид / райт на одном и томже апи и кейсе просто драматично сциллой завалились (не исключаю что может тюнить надо было но условия были одинаковые - докера кассандра вс докеро сциллы с мин настройками - адреса координатора)

у сциллы помнится тоже были эти бенчмарки которые делали кассандру, но мои смаые примитивные попытки даже не отбенчить а савнить батч рид / райт на одном и томже апи и кейсе просто драматично сциллой завалились (не исключаю что может тюнить надо было но условия были одинаковые - докера кассандра вс докеро сциллы с мин настройками - адреса координатора)

у меня тоже самое было, только с игнитом

у меня тоже самое было, только с игнитом

напиши свою статью )

да там на статью не хватит

я в него сначала писал спарком, потом читал спарком

а потом он сломался

здесь не было кривды?

ацтойный чатик был

Дропнул акк он

Пароль забыл

Кривда такой кривда

а в телеге нужен пароль?

там ж к телефону привязка, не?

а в телеге нужен пароль?

неа

Кривда такой кривда

он тебе соврал братан!)

я месяц ждал, чтобы паша что -гибудь ответил, но лень сидеть с планшета победила

он тебе соврал братан!)

какойто косяк у кривды с двухфакторной аутентификаацией

ну зато у нас диктатуры нет теперь (с) Кривда

я месяц ждал, чтобы паша что -гибудь ответил, но лень сидеть с планшета победила

может и аватарку новую сделаешь?

так лучше

может и аватарку новую сделаешь?

И ник поменяю

Чтобы совсем никто не нашёл

не не не, ник оставь

иначе я тебя разлюблю

иначе я тебя разлюблю

я тож

использовал кто -нибудь вьюхи для хайва, возможно как-то с помщью них оптимизировать доступ к экстернал тейблу в hbase ?

Коллеги, есть проблема. Кластер клаудеры. hive server 2 за kerberos. Для доступа создан keytab файл. На одном из узлов стоит докер. Создаём на этом узле в хостовой ОС тикет и через билайн подключаемся к HS2, всё работает. Создаем тикет в докере, подключаемся через билайн, вываливается ошибка. Время везде синхронизированно. Куда копать?

Какая ошибка?

Какая ошибка?

No valid credentials provided (Mechanism level: Failed to find any Kerberos tgt)]

покажите /etc/krb5.conf еще надо убедиться что klist не пустой

Klist не пустой, конечно. В хостовой и в докере абсоютно идентичные klist (кроме времени создения). Krb5.conf копипастом из хоста в докер переносился.

Вот эта настройка не включена в krb5.conf - default_ccache_name?

можно еще попробовать перед запуском клиента export HADOOP_OPTS="-Dsun.security.krb5.debug=true"

можно еще попробовать перед запуском клиента export HADOOP_OPTS="-Dsun.security.krb5.debug=true"

Спасибо, проверю, попробую, как доберусь до рабочего места

Привет всем, я полный апаче нуб! Это такое короткое представление... У нас в компании нет сис. Админа, я Frontend Developer. У меня задание, узнать что за ошибки и о куда они появляются. У меня есть лог файл в 1.5гб. Ну вы сами примерно понимаете сколько там строк... Лог файл был создан на апаче при установленной Typo3 системмы. Есть ли что небудь, что поможет мне в этом задании?

Привет всем, я полный апаче нуб! Это такое короткое представление... У нас в компании нет сис. Админа, я Frontend Developer. У меня задание, узнать что за ошибки и о куда они появляются. У меня есть лог файл в 1.5гб. Ну вы сами примерно понимаете сколько там строк... Лог файл был создан на апаче при установленной Typo3 системмы. Есть ли что небудь, что поможет мне в этом задании?

Так а конечная цель какая? Откройте файл и посмотрите на эти ошибки. Или нужно какую-то статистику по ним собрать?

Так а конечная цель какая? Откройте файл и посмотрите на эти ошибки. Или нужно какую-то статистику по ним собрать?

Типа того, какая ошибка когда и где вылезла, сколь раз она появилась...

Где и когда скорее всего написано в самой строке с ошибкой. А сколько их...ну можно написать простенькую программку, которая будет читать построчно файл и считать, какая ошибка сколько раз появилась. Для этого вам не нужны средства биг даты

Возьмите pandas на питоне какой

Jupyter notebook

Возьмите первые сто 50 мегабайт файла и напишите примерно программу