думаю Дмитрий справится

ну кешем лечется

или не лечится

хотелось бы как раз понять как рассчитать необходимую

калькулятора нет. Надо делать оценку и масштабировать

концептуально разбить на две джобы

ну есть варик тупо через каку

а там в кафку сгрузить

да ты сравни

ну если ходить повторно по апи допустимо, то все ок

но но суть что это нормально паралелить все как хочешь

ну если ходить повторно по апи допустимо, то все ок

норм, пока не критикал

спасибо, еще раз

калькулятора нет. Надо делать оценку и масштабировать

по каким то параметрам же делают оценку и примерное понимание, как маштабировать? не методом тыка же

по каким то параметрам же делают оценку и примерное понимание, как маштабировать? не методом тыка же

семпл данных, движок, форматы хранения, типовые задачи, нагрузка и отчеты

чят, а может подскажете. есть какой-нибудь вменяемый способ засосать в rdd несколько миллионов строк из постгрёвой таблички? так чтобы и параллельно было, и вообще не криво. а то и spark-sql, и jdbcrdd предлагают указывать колонку с монотонными id, upper и lower bound, кол-во партиций, и потом на каждом воркере тупо селект пускают с (колонка>a AND колонка<=b). а у меня в общем-то и колонки такой нету, чтобы монотонно возрастала. уж думаю на стороне базы тупо выгрузку в csv делать и его уже спарку кормить.

@zuynew кстати осторожнее с ванила фучами, там иногда косяки вылезают, особенно если вложенными будешь делать или делать бэкоффы, имеет смысл рассмотреть таски, но скорее всего мои клешни слишком кривы

и у меня это проявилось именно в спарке

Всем привет Может кто сталкивался На амазоне можно программно стартануть кластер с разными типами инстансов для мастер ноды и слейвов, например m3.large и m3.small соответственно. Но я не могу проделать то же самое через AWS Console, там предлагается выбрать один и тот же тип инстансов и для мастера и для слейвов. Никто не знает, почему Амазон не позволяет так делать в консоли и будет ли работать нормально кластер с разными типами инстансов?

Всем привет Может кто сталкивался На амазоне можно программно стартануть кластер с разными типами инстансов для мастер ноды и слейвов, например m3.large и m3.small соответственно. Но я не могу проделать то же самое через AWS Console, там предлагается выбрать один и тот же тип инстансов и для мастера и для слейвов. Никто не знает, почему Амазон не позволяет так делать в консоли и будет ли работать нормально кластер с разными типами инстансов?

имеешь ввиду через ui как делать это?

._. честно я ток через cli пускаю все

имеешь ввиду через ui как делать это?

Я не могу сделать это через UI и могу программно, например RunJobFlowRequest request = new RunJobFlowRequest() .withMasterInstanceType("m3.large") .withSlaveInstanceType("m3.xlarge")

Вопрос, чем вызвано то, что так через юай нельзя сделать

всё зя, почему нельзя?

Возможно глупый вопрос, но у меня есть большой файл на 2 тб, он в формате json вида {a:1, b:{c:2}, ...}. Как сделать по нему селект по полю "c"? Я читаю его так : spark.read.json("path"). Мне нужно сделать две операции, провести селект по полю(предыдущий вопрос) и откинуть лишние поля, правильно я понимаю, что сначала нужно сделать селект по полю, если он сильно уменьшает размер данных или это не имеет значения?

Возможно глупый вопрос, но у меня есть большой файл на 2 тб, он в формате json вида {a:1, b:{c:2}, ...}. Как сделать по нему селект по полю "c"? Я читаю его так : spark.read.json("path"). Мне нужно сделать две операции, провести селект по полю(предыдущий вопрос) и откинуть лишние поля, правильно я понимаю, что сначала нужно сделать селект по полю, если он сильно уменьшает размер данных или это не имеет значения?

если используешь датафреймы ( последний спарк) , то ты можешь написать всю логику нормально без оптимизаций и сделать эксплейн для физического плана запроса

посмотреть какие поля он в итоге выберет, еще я слышал, что для оптимизации можно заранее схему задать

@krivdaallstars что такое эксплейн для физического плана запроса? можешь дать ссылки на эту тему, я чето даже загуглить не смог

@krivdaallstars что такое эксплейн для физического плана запроса? можешь дать ссылки на эту тему, я чето даже загуглить не смог

https://dzone.com/articles/understanding-optimized-logical-plan-in-spark

@krivdaallstars Спасибо!?

Лучший новостной-инсайдерский канал в Telegram! ? https://t.me/SharkCIA Там Вы найдете: ? Ежедневный поток полезной информации. ? Аналитические статьи. ? Интересные факты. ? И многое другое! ? Целый путеводитель к успеху в вашем телефоне. ▪️Присоединяйся к каналу: ▪️https://t.me/SharkCIA

Спасибо)

Кто-то уже пробовал hadoop 3.0?

https://medium.com/@joecrobak/five-years-of-hadoop-weekly-7aa8994f140b

Посовещается

всем приветики! кто-нибудь тут устанавливал Oracle BigDataSQL?

Привет. Ребятушки, может быть знает кто-нибудь решение, позволяющее легко и просто построить мониторинг над данными? E.g. "есть ли партиция в определенное время" или "долетела ли она вообще" или "не сильно ли размер отличается".

Народ, а кто имеет что сказать за accumulo vs hbase с точки зрения личного опыта и эксплуатации?

Народ, а кто имеет что сказать за accumulo vs hbase с точки зрения личного опыта и эксплуатации?

Зависит от предметной области

Идентичны, по большому счету разница в секурности на уровне ячеек и у акумоло ячейка до экзобайта

Ну и коломн фэмили нормальные а не как в хбейз (просто как столбец а не как ‘столбцы под каждый коломн фамили’) мне лично акумуло больше нравится

вот да, и отзывы за ops - в пользу accumulo, а боль в том, что экосистема вокруг hbase поболе

самая боль аккьюмулы в том, что нету док и экосистемы

если у вас ГИС то аккумуло почму-то там везде используется, в этом случае не стоит боятся

однак конечно отсуствие док это никто не восполнит

немножко есть, хоть и не так богато, как для hbase https://accumulo.apache.org/1.8/accumulo_user_manual.html https://www.youtube.com/channel/UCwz1XqzxO6EAVknldrwEn8A

а есть способ в spark.read.json задать, что такое-то поле может отсутствовать?

а есть способ в spark.read.json задать, что такое-то поле может отсутствовать?

так он же сам это всё понимает.. нет?

Schema nullable?

так он же сам это всё понимает.. нет?

* @param nullable Indicates if values of this field can be `null values.` я же хочу, чтобы он не падал при полном отсутствии этого поля

по моим эксперементам - он работает в 2 этапа.. сначала просматривает данные, что бы понять схему, и потом - когда ты запускаешь какие то расчет - парсит... и если в просмотренных данных не будет поля - то он сам поймет, что поле - nullable, и сам по тихому всё это обернет

или ты ему сам схему задаешь?

у меня есть несколько джсонов с почти одинаковой схемой (но некоторые поля в других файлах отсутствуют) я хочу это все собрать в один датафрейм и потом читать содержимое (getAs) не задавая схему, спарк падает с "Unable to infer schema for JSON at . It must be specified manually" при встрече файла с другой схемой (что, в целом, понятно) в итоге, я сейчас хочу задать схему-"общий знаменатель"

попробуй сделать так: spark.read.json("/bla/bla/bla/*")

ну то есть не по одиночке вытаскивать файлы, а сразу скопом

сейчас попробую, спасибо

попробуй сделать так: spark.read.json("/bla/bla/bla/*")

помогло, спасибо)

This channel might be useful for you - @datascienceworld

Привет! Может кто по hive проконсультировать? Какого фига он мне больше 2ух таблиц не джойнит?

Привет! Может кто по hive проконсультировать? Какого фига он мне больше 2ух таблиц не джойнит?

А как вышодядит запрос ?

https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Joins#LanguageManualJoins-Examples

^

А как вышодядит запрос ?

Select ... from A inner join B on ... inner join C on ... where ...

Привет! Может кто по hive проконсультировать? Какого фига он мне больше 2ух таблиц не джойнит?

Нужно завернуть в подзапрос видимо

Нужно завернуть в подзапрос видимо

Не помогло :(

Не помогло :(

А что пишет то

Какая ошибка

Никакая

Налл выводит, а если джойнить отдельно, то все ок

Налл выводит, а если джойнить отдельно, то все ок

ну боюсь вкуривать что прислали выше https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Joins#LanguageManualJoins-Examples

посмотреть работает ли запрос в других базах

с тем же семплом данных

попробуй стримтейблом селект сделать

Хм. Попробую

Спасибо

Хм. Попробую

если получится, отпишите плез

если получится, отпишите плез

Окай

привет, сообщество! Где почитать Data Algorithms: Recipes for Scaling Up with Hadoop and Spark и перевели ли на русский?

купить/скачать

первая стрица гугла?

как вам книга вообще?

Амазон долго

привет, сообщество! Где почитать Data Algorithms: Recipes for Scaling Up with Hadoop and Spark и перевели ли на русский?

Сафари букс попробуйте

Там две недели бесплатно