yикогда

Там тож питон

к слову, @pomadchin, ты упоминал джобозапускалку на амазоне, можешь напомнишь?

к слову, @pomadchin, ты упоминал джобозапускалку на амазоне, можешь напомнишь?

aws batch

ага, спасибо)

у ажуры есть похожая тема, azure batch - она сыровата (мое мнение)

и я рейджанул и дропнул ее ):

ну вот, а я только хотел начать копать её

если и правда хотел начать копать - то в крадце - она работает

стоп, сыровата azure batch или aws batch?)

azure, aws у нас в проде

а, норм тогда

azure это для обожателей майкрософт

@krivdaallstars

да, я просто сперва прочитал его как aws

c такой штукой никто не сталкивался - WARN [main ()] org.apache.hadoop.hive.llap.daemon.impl.LlapDaemon: Failed to start LLAP Daemon with exception java.lang.NoClassDefFoundError: com/ctc/wstx/io/InputBootstrapper at org.apache.hadoop.hive.llap.daemon.impl.LlapDaemon.main(LlapDaemon.java:471) [hive-llap-server-2.3.2.jar:2.3.2] Caused by: java.lang.ClassNotFoundException: com.ctc.wstx.io.InputBootstrapper ?

c такой штукой никто не сталкивался - WARN [main ()] org.apache.hadoop.hive.llap.daemon.impl.LlapDaemon: Failed to start LLAP Daemon with exception java.lang.NoClassDefFoundError: com/ctc/wstx/io/InputBootstrapper at org.apache.hadoop.hive.llap.daemon.impl.LlapDaemon.main(LlapDaemon.java:471) [hive-llap-server-2.3.2.jar:2.3.2] Caused by: java.lang.ClassNotFoundException: com.ctc.wstx.io.InputBootstrapper ?

очевидно, что у тебя нету в класпасе либы

понятно, что либы не хватает

но она есть в класспасе хадупа, есть в ярне и есть в слайдере

видимо нету

странно

а какие версии библиотек? (hadoop / что-то еще)

это магия класспаса хадупа , есть подозрение, что в класспафе есть эта же либа , но другой версии

можешь еще явно в жирный джарник сунуть зависимость

hadoop 2.9, hive 2.3.2

попробуй добавить ее явно в твой джарник и зашейдь его в рамках всего проекта (можно и без шейдинга сначала, но скорее всего ничо не будет)

ты иемеешь ввиду hive-llap-server-2.3.2.jar перепаковать?

угу

ок, тогда другой вопрос, можно ли либы подсунуть в уже существующий архив, например распаковать, закинуть и запаковать?

можн

делают обычно как: добавляют нужную весрию а джарник и ссылки jarjarом переименовывают иначе те надо на каждой ноде распаковать и положить куда надо что надо

hadoop-metrics2-llapdaemon.properties.template hive-llap-server-2.3.2.jar llap-cli-log4j2.properties META-INF hadoop-metrics2-llaptaskscheduler.properties.template hive-webapps llap-daemon-log4j2.properties org

хм

это содержимое пакета

куда ее кинуть?

да добавь в сборку твоего джарника сначало

а потом будем исходить из результата)

с самого глупого и простого можно начать

у меня нет моего джарника - есть джарник, котороый стартует слайдер и этот джарник - часть хайва

а есть полный стектрейс?

@akozlenkov

и дистрибутивы ванилы или это хортон / кладуерра / что-то еще?

Это все, что пока удалось выудить

Хадуп ванильный

Всем привет. Подумываю перекатиться с жаба/котлин бэкенда на какой-нибудь ETL на scala/spark. Вопрос такой: быстро ли оно надоедает и превращается в рутину в сравнении с каким-нибудь энтерпрайзом?

ит дипендс вкусовщина и проекты определяют а рутина есть всегда (ну кроме ситуации, когда штампуем нагора, а там хоть огнем полыхай)

Быстро надоедает

Ибо обычно превращается в баг фиксы спарка и прочих хайвов

И попыткой продакт оунера реализовывать реляционную модель на nosql & parquet

это часть рутины) но интересные задачи тоже могут быть - большая нагрузка, сложная предметная область

вон у @pomadchin в гео всё перемазано мне как несведущему кажется весьма интересным

И вечные споры про выбор яп

Питон vs Scala vs Java

котлин забыл

да тут и спорить нечего петон ненужен, а там кто во что умеет *криваярожа*

уж лучше ненужен раби и пхп

Да вот, появляется куча народу сбоку

Желающих поиграть в биг дату и машин лернинг

А рояль носить никто не хочет

особенно весело когда утверждают что монга в петабайт это круто

это часть рутины) но интересные задачи тоже могут быть - большая нагрузка, сложная предметная область

Вот это как раз привлекает, вместе с возможностью функционально зафигачить

Понятно, в общем, спасибо за ответы

сбертех хотел файлы по кафке посылать)

С оракла дельта логи через голденгейт?

вон у @pomadchin в гео всё перемазано мне как несведущему кажется весьма интересным

у меня же не ETL по факту

хотя по факту и ETL

дуализм ETL

ясно, тебе не хочется думать об этом как об ETL

я просто етлом не занимаюсь непосредственно, я пилю инстурментарий для того чтобы люди занимались етлом)

я просто етлом не занимаюсь непосредственно, я пилю инстурментарий для того чтобы люди занимались етлом)

по началу я тоже себя так убеждал

да думаю зависит от предметной области сильно

а теперь решил, что просто найти соответствующего человека в etl отдел, а самому пилить свои крипо-сервисы

да от специфики очень сильно зависит, прелесть гис в том, что там рнд много

ит дипендс вкусовщина и проекты определяют а рутина есть всегда (ну кроме ситуации, когда штампуем нагора, а там хоть огнем полыхай)

короче вот это мне кажется очень верное высказывание

особенно весело когда утверждают что монга в петабайт это круто

Меня другое смещает, когда хадуп кластер разворачивают для 50GB и потом всем говорят какая у них пихдата.

Кто-то пробовал hadoop 3?

Как заставить beeline-клиент сделать запросы в таблицы в рамках одного подключения?

а что такое beeline-клиент?

а что такое beeline-клиент?

клиент к хайв серверу 2

https://cwiki.apache.org/confluence/display/Hive/HiveServer2+Clients#HiveServer2Clients-Beeline%E2%80%93CommandLineShell

Как заставить beeline-клиент сделать запросы в таблицы в рамках одного подключения?

а как вы сейчас используете beeline?

а как вы сейчас используете beeline?

Пока просто запросы делал одиночные или подкладывал файл через ключ -f.

как именно делали одиночные запросы?

Через ключ -е.

-e "use dbname; show create table tablename;"

Могу прислать полностью, если важно.

например. как я делаю: 1) kinit ... 2) beeline 3) beeline> !connect jdbc:hive2://bigdata-name1:10000/default;principal=hive/bigdata-name1.bla-bla-bla.ru@HADOOP; 4) beeline> select count(1) from table1; 5) beeline> select count(1) from table2; 6) ... 7) beeline> !closeall 8) beeline> !quit

Меня интересует использование извне. beeline -u "connect_string" -e "show databases;"