а никто не пробовал 2.3.0 на кубере? у них чет у форка имеджи были запаблишены - а уже в самом спарке самому их билдить?

должно быть тоже самое что в форке только без клаент мода

да имеджей я тоже не нашел

когда я трогал форк там клаент мода не было вроде как

а наверн оно и всегда кластер мод

Привет

Есть у кого нибудь опыт с apache slider?

Проблема возникла - в кофиге ресурсов выделяю 2 ядра ярна, но по факту контейнер запускается с 1

кто-нибудь ставил pydoop / hdfs3 ?

hadoop 3 да

hdfs3 — пайтоновская либа для работы с хадупом

Hadoop сейчас используется только ради HDFS и YARN? Или кто-то до сих пор с MapReduce работает?

Hadoop сейчас используется только ради HDFS и YARN? Или кто-то до сих пор с MapReduce работает?

я мап редьюс последний раз гонял с скалдингом только на нем

и это было лет 7 назад

или 6-5

из моего опыта да, хдфс и ярн чтоб на ярне запустить спарк например

напомните, мэпредьюс появился до динозавров или после

4 год

до нэ?

да

ок

наверное даже до скуля?

вероятно

еще древние греки...

пойду дальше кодить под кашэ

пойду дальше кодить под кашэ

че это?

из моего опыта да, хдфс и ярн чтоб на ярне запустить спарк например

а что hive нынче тоже уже не в почете? и его вытеснили spark-и, Impala-ы, presto-ы и иже с ними?

а что hive нынче тоже уже не в почете? и его вытеснили spark-и, Impala-ы, presto-ы и иже с ними?

хайв очень хорошо

кто-то использует Oracle BigDataSQL?

че это?

Древняя объектно-ориентированная БД. Сам не видел, только название знаю.

Древняя объектно-ориентированная БД. Сам не видел, только название знаю.

а нафига она кому-то здесь? я просто знаю это говно

Древняя объектно-ориентированная БД. Сам не видел, только название знаю.

хотя она на вставку вроде сама быстрая ну и так производительная вообще

а нафига она кому-то здесь? я просто знаю это говно

Не представляю. :-) Я думаю, она не имеет нормальной доли рынка уже.

Не представляю. :-) Я думаю, она не имеет нормальной доли рынка уже.

ну а она сидит в медицине потому еще что-то имеет

Guys can anybody talk in English?

Guys can anybody talk in English?

sure

Guys can anybody talk in English?

Just ask the question , and I I'm sure that somebody can answer you

Thank God

Il ask some other time when I'm stuck in an execution

you're welcome

привет кто-нибудь может подсказать, какая минимальная конфигурация нужна, чтобы можно было пощупать hadoop в учебных целях? хочу попроходить выложенный курс из яндексовского ШАДа, там-то для студентов есть учебный кластер, на котором они задания делают

Можно взять Sandbox от клаудеры или хортонворкса

Но

Нужно гигов 10—12 на машине памяти

Смотря какие компоненты нужны

Нужно гигов 10—12 на машине памяти

я пока просто вообще не шарю, это не на один узел, а на всё вместе для минимально работающей системы с которой можно поиграться?

я пока просто вообще не шарю, это не на один узел, а на всё вместе для минимально работающей системы с которой можно поиграться?

Там будет собственно кластер целиком на одной ноде

Возьми hdp sandbox , самое простое будет для тебя

окей, спасибо большое

сейчас погуглю тогда ещё поподробнее про требования к железу

Привет, а кто-то может тыкнуть в какие-то stand-alone приложения на Yarn. Ну т.е. не hadoop и не spark. Что-то типа distributed shell, но менее игрушечное?

Привет, а кто-то может тыкнуть в какие-то stand-alone приложения на Yarn. Ну т.е. не hadoop и не spark. Что-то типа distributed shell, но менее игрушечное?

Руками писанные - хез, пишет ли кто, но через всякие штуки оборачивают - да 1. Slider (https://slider.incubator.apache.org) - его или часть его вроде впихивают в Yarn 3.1, и должны где-то у них быть примеры для memcached, hbase, accumulo 2. REEF (http://reef.apache.org/) от MS-а, которые грят, что на нем Azure Streem Analytics 3. Twill (http://twill.apache.org/) 4. Spring Hadoop Yarn (https://projects.spring.io/spring-hadoop/, https://spring.io/guides/gs/yarn-basic/)

А как правильно сделать https://community.hortonworks.com/articles/4427/fix-under-replicated-blocks-in-hdfs-manually.html вот эту процедуру через cron ?)

я поставил airflow, но для фикса Under-replicated блоков нужно запускать команды от hdfs

Руками писанные - хез, пишет ли кто, но через всякие штуки оборачивают - да 1. Slider (https://slider.incubator.apache.org) - его или часть его вроде впихивают в Yarn 3.1, и должны где-то у них быть примеры для memcached, hbase, accumulo 2. REEF (http://reef.apache.org/) от MS-а, которые грят, что на нем Azure Streem Analytics 3. Twill (http://twill.apache.org/) 4. Spring Hadoop Yarn (https://projects.spring.io/spring-hadoop/, https://spring.io/guides/gs/yarn-basic/)

Да, про slider и memcached норм, спасибо

я поставил airflow, но для фикса Under-replicated блоков нужно запускать команды от hdfs

кластер керберизирован?

нет

проще всего bash operator если воркер airflow внутри кластера

Возьми hdp sandbox , самое простое будет для тебя

Тот же вопрос. Сейчас играем в сендбокс но хочется чего-то не single node. Какие мин. требования к машинкам и сколько их надо и как делить по ним сервиса? Есть где почитать такое?

по аллокации сервисов - в интернетах в целом гуглится по запросам hortonworks hdp master slave nodes configuration

в официальной доке не находил

спрашивай конкретно по компонентам - напишем чего куда ставить :)

а по ресурсам - амбари на отдельную (2vCPU/4GB) ВМ, одну мастер ноду - там хотя бы 16GB и 4 vCPU, и три датаноды - там надо место, памяти ну хотя бы по 32 гига и 16 ядер на машину

Спасибо, дальше будем смотреть. Пока толком не ясно чего надо будет кроме наброра hdfs+hive+spark

Разверните в докере, уже есть готовые образы хдп

кто-то использует Oracle BigDataSQL?

Кстати да, присоединюсь к вопросу. Кто-нибудь работал с BigDataSQL? Какие впечатления?

Кстати да, присоединюсь к вопросу. Кто-нибудь работал с BigDataSQL? Какие впечатления?

ну, раз Алексея Филановского из Оракла тут нет, то отвечу сам: 1) установить database side непросто, без металинка никак 2) предоставляет очень удобный интерфейс к hive-таблицам из Оракла, особенно важно если у вас большая часть инфрастуктуры на Ораклах (не нужно переписывать SQL с синтаксиса Оракла на hive и т.д.) 3) по скорости извлечения данных (субъективно) работает быстрее Импалы с холодным стартом, при наличии storage index'ов - вообще летает 4) partition pruning, column pruning 5) bloom filters для джойнов 6) БЕЗУМНО ДОРОГО!!!

Кто-нибудь проходил сертификацию приложения у клоудеры?

у меня нет ответа на этот вопрос но есть другой, 2.3 спарк ктонить потыкал уже?

k8s интересует))

где имеджи и опубликованы ли они

Ждём-с до лета пока баги исправят, ибо сцыкотно

Обычно каждый релиз спарка - провал по производительности

меня смущает что _вроде как нет поддержки ресурс менеджера_ и _шафл сервиса_

как тогда нормально деплоить на куб

я про внешние имею ввиду*

Я лично на своем проекте сказал что ждём 2.3.1, хотя народ стремится вонзить зубы в arrow & vectorized computations with pandas

ну там стриминг еще

я потыкал - у меня имедж запаблишен)

а ты на кубере пускал?

нативно?

ну а как еще то? но ток хелловорды

ну а как еще то? но ток хелловорды

можно поднять стенделон на кубере