ну по крайней мере не должен; но мб путаю

Ребят бронируйте прокси себе, пока остались https://t.me/proxybotfree/4

@pomadchin согласно доке, vCPU обозначает лишь относительное количество используемого проца (This parameter maps to CpuShares), а`memory` — hard limit of memory to present to the job's container на https://forums.aws.amazon.com/thread.jspa?threadID=245580 у автора тот же вопрос, и ответ, как я понимаю, "неа, batch этого не умеет, идите в ecs напрямую" и тут пара вопросов: 1) топик 2016 года, мб чего изменилось с тех пор 2) действительно, для каждой batch job создается соответствующий ecs task definition, и в последнем есть искомый memoryReservation, но как из батча поменять алгоритм создания этого task definition? есть https://docs.aws.amazon.com/batch/latest/userguide/memory-management.html, но тут они не отвечают ни на что толком

моя конкретная проблема — https://stackoverflow.com/questions/50296155/aws-batch-limit-number-of-container-on-single-host/50299864#50299864

tl;dr есть подозрение, что параметр memory в batch job вообще никак не влияет на шедулер, и хз как повлиять

а, и вдогонку — почему выполненные джобы пропадают из гуя батча спустя примерно день? как их просмотреть тогда?

Всем привет, подскажите пожалуйста. Остановилась репликация на кафке. Был фактор репликации 3 понизили с помощью джсон файла до 2, началсь процесс репликаци, с 66% Under replicated за часа 2 дошел до 12 и так стоит уже 15 часов

Приветствую. Наведите пожалуйста на мысль. Добавил 4 ноду в клаудера кластере. Количество цпу изменилось, память изменил. Но когда spark запускаю, новая нода не разу не подхватывает экзекьюторов. Как будто кластер ее не видит. Количество экзекьютор увеличивали.

Ошибка была в разной версии джавы. спасибо за комменты с помощью

oi

boa tarde

estou tentando executa start-dfs.sh

mais não esta informado ip

esta 0.0.0.0

alguem pode me ajudar?

mi tebya ne ponimaem

?

Use Russian or English please ?

alguem pode me ajudar?

try to follow some basic tutorial; for instance DO provide a good step by step installation tutorial: https://www.digitalocean.com/community/tutorials/how-to-install-hadoop-in-stand-alone-mode-on-ubuntu-16-04

Нет такой из коробки спарк умеет

Dataset<Row> sample = sparkSession.sql("slect * from mydb.mytable limit 100"); Возвращает одни null если таблица сторится как паркет, если нет все ок. Хз куда копать

мож какую пропертю досетать надо в sparkSession чтоб включить?

Dataset<Row> sample = sparkSession.sql("slect * from mydb.mytable limit 100"); Возвращает одни null если таблица сторится как паркет, если нет все ок. Хз куда копать

попробуй сам файл почитать spark.read.parquet(“file”)

если тебе возвращаются нулы, то что то не то с мапингом хайва с файл паркета

у спарка со всей этой паркетно-орковой требухой есть одна особенность - если ты гдето при записи или созаднии таблицы не указываешь формат записи, то ругаться он не будет

и запишет в орк файл паркет партицию например

поэтому первое это смотреть а есть ли реально данные в файле - через hdfs

и второе - смотреть методы, которыми ты пишешь и создаешь таблички

и запишет в орк файл паркет партицию например

Вот это прикол

Спасибо. нашел. надо вырубить спарковский паркет и юзать хайвишный spark.sql.hive.convertMetastoreParquet=false - и все заработало

Возможно, названия колонок в паркете заглавными буквами, а в метасторе маленькими

Спарк case-sensitive читает зачем-то

Спарк case-sensitive читает зачем-то

Ну есть конфиг

кейс не сенсетив такой дос стайл

кейс не сенсетив такой дос стайл

Ну тип ещё sql

Ну тип ещё sql

Я про это: https://issues.apache.org/jira/plugins/servlet/mobile#issue/SPARK-19611

@pomadchin согласно доке, vCPU обозначает лишь относительное количество используемого проца (This parameter maps to CpuShares), а`memory` — hard limit of memory to present to the job's container на https://forums.aws.amazon.com/thread.jspa?threadID=245580 у автора тот же вопрос, и ответ, как я понимаю, "неа, batch этого не умеет, идите в ecs напрямую" и тут пара вопросов: 1) топик 2016 года, мб чего изменилось с тех пор 2) действительно, для каждой batch job создается соответствующий ecs task definition, и в последнем есть искомый memoryReservation, но как из батча поменять алгоритм создания этого task definition? есть https://docs.aws.amazon.com/batch/latest/userguide/memory-management.html, но тут они не отвечают ни на что толком

в общем, похоже, что шедулеру сносит мозги на коротких джобах (на которых я и тестировал)

креативные какие стали

Привет всем! Никто не сталкивался с тем что интерпретатор spark в zeppelin всегда возвращает NPE? То есть он пытается создать контекст и падает с NullPointerException? На тесте вроде те же переменные окружения, конфиги, но там всё хорошо

Привет всем! Никто не сталкивался с тем что интерпретатор spark в zeppelin всегда возвращает NPE? То есть он пытается создать контекст и падает с NullPointerException? На тесте вроде те же переменные окружения, конфиги, но там всё хорошо

какая-то зависимость в класс пасе кривая, смотреть логи зепелина надо

он при подъеме напишет от чего у него нуллы

Привет всем! Никто не сталкивался с тем что интерпретатор spark в zeppelin всегда возвращает NPE? То есть он пытается создать контекст и падает с NullPointerException? На тесте вроде те же переменные окружения, конфиги, но там всё хорошо

Интерпретатор в изолированном режиме с персонализацией?

Можно ещё попробовать в ярн-кластер-моде запустить то же самое, и будет не нуллпоинтер, а более понятная ошибка выводиться, та самая, из-за которой в клиент-моде нуллпоинтер

Он в ярне Нуллпойнтер

Он в ярне Нуллпойнтер

а что в логахзепелина?

не то что в юай а то что он выбросил в лог

В логах цеппа всё было хорошо Логи интерпретатора не смотрела, надо подмонтировать

и в какой момент нул падает? интерполятор на все команды выдает нулл или гдето еще? класспас стандартный или нет?

yarn logs -applicationId application_<id> что показывает?

Вообще на любую %pyspark ололош

понятно а класспас стандартный?

Вроде стандартный был

тип вообще никаких доп либ не наброшено?

а питон дефолтный или свой пытаетесь запустить?

да логи короч над говырять не нагадаешь на кофейной гуще так (:

Завтра попробую, думаете он к RM подконнектиться не может?

yarn logs -applicationId application_<id> что показывает?

а питон дефолтный или свой пытаетесь запустить?

Дефолтный

а спарк как настроен, на статическое выделение экзекуторов, или на динамическое?

Ок, спасибо) Логи интерпретатора завтра гляну и отпишусь, они почему-то не доставились

Статическое

они недоставились наверн потому что он брикнулся в инициализации

Да не, там и других интерпретаторов не было))

Это просто руки из плеч

yarn logs -applicationId application_<id> что показывает?

18/05/17 11:06:48 INFO client.RMProxy: Connecting to ResourceManager at mrashadnn-primary.i/AAAAAAAAAAAAA:8032 /var/log/hadoop-yarn/apps/root/logs/application_1522841261160_288217 does not exist. Log aggregation has not completed or is not enabled. Такое на любую джобу из кластера Убитую, работающую, завершенную

А может в ярне лажа, а не в спарке?

Если в хайве запрос какой-нибудь пустить, сработает или нет?

Нет хайва

Пиг работает

Кстати, цепп с неработающим спарком в докере Может я порт какой не пробросила?

А кстати SPARK_HOME прописан в zeppelin_env?

и SPARK_MAJOR_VERSION=2 в интерпретаторе

Очень радует, что в русскоязычном пространстве намного больше девушек, занимающихся компухтерами, чем в Европе

А кстати SPARK_HOME прописан в zeppelin_env?

Да

и SPARK_MAJOR_VERSION=2 в интерпретаторе

Нет, а что это?)

Очень радует, что в русскоязычном пространстве намного больше девушек, занимающихся компухтерами, чем в Европе

В Европе их жгут на кострах

В Европе их жгут на кострах

У меня на потоке 5 девочек ?

И мат. база лучше) Такими темпами можно и мир захватить (сразу после Китая)

Нет, а что это?)

Переменная среды, которая отвечает за выбор версии спарка, если их нашлось две

А цеппелин и спарк кстати какой версии?

Всё в докере, по идее только одна версия Ставила пакеты те же самые, что и на тачке Только на тачке работает, а в докере эти же пакеты не пашут

0.7.2 2.1.1

Проброшены порты 7077 и порт цеппелина

спарк в контейнере?

Спарк с цеппелином и пигом в одном контейнере

линкуешь два контейнера просто да?