а хьюевый файл-менеджер не подходит?

Посмотрю, спасибо)

Привет, не подскажете как бороться с java.lang.NoClassDefFoundError: org/apache/hadoop/fs/Path Возникает при запуске geoserver, думаю может не верно пути классов настроил, если удалить плагин геомесы.jar проблем нет.

Привет, не подскажете как бороться с java.lang.NoClassDefFoundError: org/apache/hadoop/fs/Path Возникает при запуске geoserver, думаю может не верно пути классов настроил, если удалить плагин геомесы.jar проблем нет.

обрати внимание, что там помечено как можно больше ли как provided

чтоб избежать конфликта хадуповерсий

и уменьшить размер джарника

тут два варика добавить хадуп кор явно в джарник или поправить конфиг спарка чтоб его класспас шарил хадуп класспас

Всем привет. Выложил материалы сюда https://www.youtube.com/watch?v=VsfsjqDPB58 и сюда https://goo.gl/4ziXCy За качество на YouTube прощу прощения, платформа что-то небыстро перемалывает нашу запись. Думаю через несколько часов fullhd версия подтянется

Чому зстд и бротли обделили вниманием?

тут два варика добавить хадуп кор явно в джарник или поправить конфиг спарка чтоб его класспас шарил хадуп класспас

блин.. а как спарк то ту завязан?

блин.. а как спарк то ту завязан?

если ты сабмитишь через спарк)

если нет - то просто у тебя непрально засетаплен хадуп)

все конфиги проверь) глобалы типа хадуп хома класспаса должны стоять)

ну вот это оченл даже может бть)

все конфиги проверь) глобалы типа хадуп хома класспаса должны стоять)

вот их я перепроверял раз 100, вроде все ка кнадо

ну у тя короч тема что в класспасе нет хадуп кора)

ну у тя короч тема что в класспасе нет хадуп кора)

м.. а как он должен выглядить? hadoop-core-*.jar до него?

ой оно хадуп клаент сейчас)

https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-client

сложнаааа но спасибо! Разберусь.

А зачем он если все по на активной ноде? (Это не правильно, но я обучаюсь)

абстракции видишь используются

просто вот так работает)

я думаю что IO абстрагирован и используются прост хадуп объекты чтоб читать с S3 / HDFS / локалки файлы

фактически со всего что хажуп понимает можно будет итать файлы

главное чтоб настроен был

ну вся настрйока сводится к подкидыванию джарников в класспас)

ну вся настрйока сводится к подкидыванию джарников в класспас)

м... знач надо где то качнуть джарники и закинуть в /hadoop/share/hadoop/common/lib ? или указать класспас до них?

м... знач надо где то качнуть джарники и закинуть в /hadoop/share/hadoop/common/lib ? или указать класспас до них?

+

+

а джарники этого клиента?)

под версии все должно быть)

прост качни дистмрибутив хадупа; распкакуй куданить

прост качни дистмрибутив хадупа; распкакуй куданить

так я так и делал, есть у меня вроде все, я думал мы про хадуп коре(клиент)

чекай тогда пути)

чего-то не хватает

угу, спасибо)

Привет подскажите пожалуйста по CLASSPATH ставлю геомесу и при запуски геосервер не стартует, вчераписал об этом, но чет решить так и не смог. Проверьте на дурака пожалуйста(добавляю в .bashrc хадуп юзера) export GEOMESA_HBASE_HOME=/home/hadoop/geomesa export GEOMESA_HADOOP_CLASSPATH=/home/hadoop/hadoop/share/hadoop/common/lib/ export GEOMESA_HBASE_CLASSPATH=/home/hadoop/hbase/lib/ export GEOMESA_CONF_DIR=/home/hadoop/geomesa/conf export HADOOP_HOME=/home/hadoop/hadoop export HBASE_HOME=/home/hadoop/hbase

а ты чекнул что они в геодокере делают?

вообще имеет смысл пнуть их в гиттере

они по EST живут

а ты чекнул что они в геодокере делают?

а чего за гео докер

нет не чего не делал, все что ты написал для меня новые слова

нет не чего не делал, все что ты написал для меня новые слова

https://github.com/geodocker/geodocker-geomesa

посмотри мож как они конфижат контейнеры

да наверняка на основе какого то дистра где уже класспатчи прописаны

посмотрю

просто я думаю что путь не правильный у меня до jar файлов ошибка то Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.fs.Path Вот и решил спросить)

Дак в класспасе жарники разве не явно должны быть указаны? У тебя просто папка

ввооо

Дак в класспасе жарники разве не явно должны быть указаны? У тебя просто папка

Роман подсказывайте пожалуйста а то бьюсь об стену уже)

Дак в класспасе жарники разве не явно должны быть указаны? У тебя просто папка

не должны быть

не должны быть

Значит, теоретически класспасы верные?

Кстати там же есть сценарий который самы расставляет класспасы, после него ошибки не пропадают( Ваще я пробовал и класспасы так ставить и плагин для геосервера, но что в ручную что так траблы сохраняются, мож не соответствие версий какое?

да определенно

смотри всякие гуавы

авро

крайо

они какието кастомные изза проблем внутри либы

как же это иногда вымораживает, что куча либ кастомные

там у них в доках все описано; но я не зря тебя пнул на них

и посмотри еще их емр деплой скрипты

вобщем это изза какойто критичной баги

а ну и того что минорный релиз ломал компитабилити (одной из этих зависимостей)

кста, кто-нить имел положительный опыт с запуском модуля, который юзает spark.sql, и который мог бы работать и стандалоном, и в емр?

модуля?

в емр какая-то своя сборка, я так и не смог разрешить зависимости, чтобы оно не падало с класс нот фаунд

эт чо еще такое

у емр ванилы

если что

)

там у них в доках все описано; но я не зря тебя пнул на них

Так я что в доках то и реализовал

они сами не билдят ничего

ну вот мне иногда надо пускать таску как обычно se приложеньице, не на кластере

ну нет ваще билдят

...

но не сарки

собираю uber jar с полным комплектом спарка и гоняю с master local[*]

а какие ошибки?

спарк кор и хадуп клаент положил внутрь?

там всякие авс с3

если юзаешь

и тп

куча 3д пати

само собой всё полождил. ошибки обычно class not found,

ну покаж хоть одну

само собой всё полождил. ошибки обычно class not found,

локально нот фаунд?

при том что в uber jar вё есть