эм я 10 минутъ жду пока кофе в турке сварится

у нас за хадуп в AWS $10k счет ежемесячно

в турке кофе варится за пару минут)

в турке кофе варится за пару минут)

терпеть не могу на сильном огне приготовленный

так же и с хадуп сессиями

наверное

так а разница… пенка взошла - снимай)

если ты про арабику

у нас было 20к$, мы их тратили два года, но это же был дипломный проект, так что от силы пару дней в месяц запускали чё-то)

на самом деле всё в локалочке, чтобы бабло зря не тратить)

терпеть не могу на сильном огне приготовленный

копи лувак попробуй 10 минут повари

лал

копи лувак попробуй 10 минут повари

нет, спасибо

копи лувак попробуй 10 минут повари

он будет кричать и ругаться матом

не в смысле Даниэль, а кофе)

легкий оттенок шоколада не все любят, Гриш) но это тема для понва

ну это уже к теме снобизма)

я воздержусь от комментариев

))

10к$ в месяц - это за 3 года полчается 21млн рубликов. Какой конфиг кластера был?

10к$ в месяц - это за 3 года полчается 21млн рубликов. Какой конфиг кластера был?

за десять минут

ну или за 10 лет

мы говорим обо все что апаче и в течении 10 единиц времени

а ганглия чего говорит?

Пересобрал кластер чтобы добавить на него ганглию - все стало нормально работать. Но в любом случае спасибо)

кто юзает aws batch, есть ли там годный гуй? чтобы хотя бы умел показывать весь граф выполнения (цепочку dependsOs)

о как https://github.com/skale-me/skale

на порядок быстрее спарка. вот только ...

Вот только нахрена он на js, если дсы всё равно не хотят отказываться от scikit-learn и 100500 библиотек с нейронками, у которых естественно нет обёртки на js?)

да не. даже не поэтому. Где поддержка HDFS и пр.

а чо вычислительный кластер на фронте

бабушек заманил на сайт - плюс сто экзекуторов

умеет ли Spark из коробки читать parquet файлы, или ему как для CSv еще нужна какая-то либа?

для csv ему не нужна доп либа

умеет

умеет ли Spark из коробки читать parquet файлы, или ему как для CSv еще нужна какая-то либа?

для csv нужна была в Spark 1, сейчас — нет

Ребята, подскажите плз куда копать: diagnostics: Application application_1525167810468_0154 failed 1 times due to AM Container for appattempt_1525167810468_0154_000001 exited with exitCode: -100 Failing this attempt.Diagnostics: Container released on a *lost* nodeFor more detailed output, check the application tracking page

Spark джоб в EMR кластере падает с такой ошибкой

Судя по всему это нехватка памяти

Джоб работал с 8:05 до 9:20 примерно

как гуглить чтобы понять в каком месте приложения неэффективная операция? )

умеет ли Spark из коробки читать parquet файлы, или ему как для CSv еще нужна какая-то либа?

Как я помню нужен либa parquet databricks

Как я помню нужен либa parquet databricks

Нет такой из коробки спарк умеет

Как я помню нужен либa parquet databricks

google.com -> spark 2 read csv

Csv да

Но parquet разве?

Паркет давно в Спарке

Понятно, спасибо

@krivdathetriewe ты теперь питонист?

Кто нибудь может подсказать хороший ресурс для подготовки к собеседованию на должность Hadoop администратора сборки Cloudera?

Кто нибудь может подсказать хороший ресурс для подготовки к собеседованию на должность Hadoop администратора сборки Cloudera?

а какие сроки подготовки?

Неделя до двух

http://www.gasl.org/refbib/Bible_King_James_Version.pdf

авось поможет

Особенно Genesis! ? А если серьезно, где есть хороший источник кейсов и их решений? ?

Пошарьте :) тож почитаю , интересно что у них там есть в программе

Кто нибудь может подсказать хороший ресурс для подготовки к собеседованию на должность Hadoop администратора сборки Cloudera?

https://www.cloudera.com/documentation/enterprise/5-6-x/PDF/cloudera-administration.pdf

Документация в чтении, но кейсов там нет?

Кто нибудь может подсказать хороший ресурс для подготовки к собеседованию на должность Hadoop администратора сборки Cloudera?

Можешь изучить программу сертификации клаудеры или хортона на админа кластера.

Уже изучил. Та же документация в итоге оказалась. ?

А так большей частью зукипер, реализация ХА для всех основных сервисов - неймноды и прочее. Ну ещё керберизация и общая теория hdfs. Вроде от админов ничего не спрашивают.

Дык

Что там изобретать то )

Что там изобретать то )

Круто! Спасибо за направление!

Опыт какой-то есть? Самое продуктивное, развернуть в авс или где там кластер. Сразу все окинешь взглядом

А, ещё шедулеры и как распределить миллион аналитиков на 3 серверах

Есть опыт в установке с HA Cloudera Enterprise

ребяты! а кто баловался с CSD в Cloudera? че этой сволочи не нравится в настройках logging для кастомного сервиса? почему я не вижу в Cloudera Manager для конкретного инстанса роли вкладку Log Files? в service.sdl так пишу: "logging" : { "dir" : "/var/log/analdestroyer", "filename" : "destroymenow.out", "loggingType" : "other" },

при проверке service.sdl через cm_ext/validator никаких ворнингов-ошибок...

Отличное название лога

А, ещё шедулеры и как распределить миллион аналитиков на 3 серверах

Невозможно

Невозможно

Найти миллион аналитиков?)

kawaii

Доброго времени суток ! Есть задача взять данные в формате паркет(parquet), и научиться с ними работать(читай - парсить) Гугл скинул пару вариантов невнятных, и не очень говорящую доку. Это действительно мало информации по формату или я просто мало читаю ?

Доброго времени суток ! Есть задача взять данные в формате паркет(parquet), и научиться с ними работать(читай - парсить) Гугл скинул пару вариантов невнятных, и не очень говорящую доку. Это действительно мало информации по формату или я просто мало читаю ?

мало читаешь)

мало читаешь)

Что читать кроме офф доки ?