Можно настроить репликацию из write-only в read-only с искусственным добавлением _inserted_ts к каждой строке

Илья, а чем бы вы сделали такую репликацию?

Илья, а чем бы вы сделали такую репликацию?

Если бы решал похожую задачу у себя то наверное через спарк

спарк стриминг?

Да, пушкой по воробьям

привет! поделитесь опытом: как реализовать гарантированность метки времени при вставке в Hive-таблицы? потребовалось дать сайнтистам возможность самим инсертить данные в batch layer. default-значения столбцов в Hive появились лишь в версии 3.0 сайнтисты работают с Hive через odbc-драйвер и через pyhive (и если pyhive я еще могу допилить, то пересобирать odbc-драйвер ващще неохота).

Они это руками будут делать или кодом из планировщика?

Стриминг не трогал ещё, думаю написал бы джобу для airflow

в том-то и дело, что руками (((

А, упс

airflow к репликации не шибко подходит

Что посоветуете?

попробую сейчас поднять Kafka SerDe от Oracle, проверю можно ли через него ПИСАТЬ в топик Кафки

в том-то и дело, что руками (((

Прям в прод?)

да

кто в курсе, как эффективно сделать distinct на датасете в сотню миллиардов записей, в треть терабайта весом? если в лоб, то под весом шафлов кластер дохнет.

кто в курсе, как эффективно сделать distinct на датасете в сотню миллиардов записей, в треть терабайта весом? если в лоб, то под весом шафлов кластер дохнет.

Mappartitions(input->distinct).save(), повторить несколько раз)

А потом в лоб)

и сколько раз повторять, выяснить экспериментально?

а такая вот наркомания прокатит: .mapPartitionsToPair(iter -> { Set set = new HashSet<>(); iter.forEachRemaining(e -> set.add(new Tuple2<>(e, null))); return set.iterator(); }) .aggregateByKey(null, (e, f) -> null, (e, f) -> null) .keys()

или это я переусложняю как обычно

Классическое решение это вынести подсчет на reducer'ы + задать достаточное число reducer'ов То есть в терминах sql делать не count(distinct key), а select count() group by key

ну я примерно это и написал, плюс-минус лапоть. попробую щас отладиться на разных вариантах, о самом работающем потом расскажу.

кто в курсе, как эффективно сделать distinct на датасете в сотню миллиардов записей, в треть терабайта весом? если в лоб, то под весом шафлов кластер дохнет.

Distinct разве не эквивалентен сортировке? Тут уж как не выпендривайся получится обычный мапредюьс

если в лоб, то да, оно и есть. в исходниках так и написано map(x => (x, null)).reduceByKey((x, y) => x, numPartitions).map(_._1)

reduceByKey == шафлы

если в лоб, то да, оно и есть. в исходниках так и написано map(x => (x, null)).reduceByKey((x, y) => x, numPartitions).map(_._1)

И что, валится ?

с треском

с треском

Попробуй запустить на 1% данных

Или 0.1%

Может дело не в алгоритме

алгоритма нету. просто у меня на s3 валяется несколько терабайтов CSV-шек, кусками примерно по 300г каждый. надо по каждому выцепить distinct values в одном из полей. собсно, так себе задача. но как оказалось, в лоб не решается.

алгоритма нету. просто у меня на s3 валяется несколько терабайтов CSV-шек, кусками примерно по 300г каждый. надо по каждому выцепить distinct values в одном из полей. собсно, так себе задача. но как оказалось, в лоб не решается.

Ну сделай дистинкт по каждой , а потом общий

Ну так я говорю что алгоритм обработки это стандартный мапредьюс. Если у тебя валится, то может дело в настройках кластера? Попробуй позапускать на меньших данных или что-то тривиальное

Но опять же + михаилу

И что именно валится посмотри в логах

ну что вы как дети. мне нет смысла запускать на чём-то меньшем. в логах часов через 8 начинается расколбас, по которому ничего не выяснить. 18/08/17 23:39:22 WARN YarnAllocator: Container marked as failed: container_1533821424930_0037_01_039565 on host: ip-*****.ap-northeast-1.compute.internal. Exit status: -1000. не может прочитать следующий блок из DFS. после таймаута читает. но когда накапливается достаточное количество сдохших контейнеров, кластер падает.

можно увеличить ретраи и таймауты, это пролит агонию, но итог один.

ну что вы как дети. мне нет смысла запускать на чём-то меньшем. в логах часов через 8 начинается расколбас, по которому ничего не выяснить. 18/08/17 23:39:22 WARN YarnAllocator: Container marked as failed: container_1533821424930_0037_01_039565 on host: ip-*****.ap-northeast-1.compute.internal. Exit status: -1000. не может прочитать следующий блок из DFS. после таймаута читает. но когда накапливается достаточное количество сдохших контейнеров, кластер падает.

ну может быть всё таки проблема где-то в другом ?*

а не в терабайтах

в шафлах проблема

ну ты сам вопрос так поставил - как сделать эффективно distinct? эффективно это обычный мапредьюс, вот ответ, то что падает это проблема настроек кластера.

с линейными вещами проблем прожевать терабайты нет. но как только шафлы накапливаются, всё колом встаёт, рано или поздно

т.е. обычный reduce не прокатывает ни в каком виде

Обычный wordcount, как из примеров hello world для хадупа :)

чё правда?

т.е. обычный reduce не прокатывает ни в каком виде

ну суть редьюса то какая? собрать все результаты на драйвер

Всем привет. Новичок в Клаудере. Как запустить jar файл? В какой директории сохранить? Как создать джоб? Буду благодарен за информацию

жестоко

Всем привет. Новичок в Клаудере. Как запустить jar файл? В какой директории сохранить? Как создать джоб? Буду благодарен за информацию

Миллениалы

?

Ребята, кто-нибудь трогал специализацию от Яндекса на курсере по Data Engineers ? Как впечатления ? Знаете ли альтернативы ?

в шафлах проблема

Можешь попробовать указание custom partitioner.

Ребята, кто-нибудь трогал специализацию от Яндекса на курсере по Data Engineers ? Как впечатления ? Знаете ли альтернативы ?

Я один из создателей спеки. Могу отвечать на вопросы)

Я один из создателей спеки. Могу отвечать на вопросы)

Подскажите пожалуйста, какой уровень подготовки рекомендуется для комфортного прохождения? Джуниорских познаний джавы/питона, алгоритмов и структур данных хватит?

Подскажите пожалуйста, какой уровень подготовки рекомендуется для комфортного прохождения? Джуниорских познаний джавы/питона, алгоритмов и структур данных хватит?

Да, вполне. Первый курс достаточно подробно вводит в распределенные системы и MapReduce

Можешь попробовать указание custom partitioner.

да много уже чего перепробовал... проблема в накоплении очереди тасок на большом количестве партиций. вылетает чисто по таймауту, потому как драйвер не успевает отдать вовремя следующий блок. очередь тасок в полмильёна, блин. с увеличением таймаутов можно это всё оттянуть на потом, но рано или поздно всё равно контейнеры дохнут. 10 часов ставил — не хватает. можно сделать сами партиции побольше, чтобы их было поменьше, но для этого мне надо и кластер на каких-нить 10xlarge, а бюджет на этой дело мне никто не дал :( btw, то наркоманское решение, которое я сюда постил, даёт в 4 раза меньше тасок, чем прямой distinct, и в намного меньше шафла. видимо, буду продолжать пилить в этом направлении.

Я один из создателей спеки. Могу отвечать на вопросы)

Задания там на пытончике или на чем хочешь ? И ещё вот такой вопрос : насколько специализация будет интересена , допустим, саентистам, которые хотят получить общее понимание как все работает , но которым (имхо) не нужна глубокое погружение в инженерию ?

Задания там на пытончике или на чем хочешь ? И ещё вот такой вопрос : насколько специализация будет интересена , допустим, саентистам, которые хотят получить общее понимание как все работает , но которым (имхо) не нужна глубокое погружение в инженерию ?

Задания на питоне, да. Для дата сатанистов, за исключением отдельных модулей и четвёртого курса как раз очень в тему

Окей, пасиб!

Скажите а даунгрейд сделать с 3.1.1 ванилы до 2.9.1 Сложно? Похоже 2.1.0 hbase не дружит с hadoop 3.1.1

Скажите а даунгрейд сделать с 3.1.1 ванилы до 2.9.1 Сложно? Похоже 2.1.0 hbase не дружит с hadoop 3.1.1

А чем не дружит?

А чем не дружит?

с hadoop 3.1.1

с hadoop 3.1.1

Это я понял, в чем заключается несовместимость?:)

Это я понял, в чем заключается несовместимость?:)

Очень много ошибок всяких разных, на пример KeeperErrorCode = NoNode for /hbase/master, details= это что касается zookeeper, с WAL какие-то траблы Гуглил гуглил, все свои ошибки, и наткнулся на статью где пишут о не совместимсти, ошибок очень много а конфа простая.

Скажите а даунгрейд сделать с 3.1.1 ванилы до 2.9.1 Сложно? Похоже 2.1.0 hbase не дружит с hadoop 3.1.1

глянь ищшу

у них вроде было чтото такое на трекере

я не помню

Понял, спасибо. Мне по идеи по простому можно, это тестовый стенд, мб ваще просто скачать дист да конфиги залить?)

ага; лучше задуп 2.x со всем этим барахлом

вроде hbase новый есть

вроде hbase новый есть

2.1.0> поледний вроде

ага; лучше задуп 2.x со всем этим барахлом

да, 2.9.1 верну

2.1.0> поледний вроде

я про 3.0-alpha который вроде релизнут

я про 3.0-alpha который вроде релизнут

оп оп, надо лучше hbase новый попробовать)

не стоит думаю))

ты же ток начинаешь

угу

Понял, спасибо. Мне по идеи по простому можно, это тестовый стенд, мб ваще просто скачать дист да конфиги залить?)

Лол так и надо) Administrator may choose to first shutdown the cluster and then downgrade it. The following are the steps: Shutdown all NNs and DNs. Restore the pre-upgrade release in all machines. Start NNs with the “-rollingUpgrade downgrade” option. Start DNs normally.

Ребята, кто-нибудь трогал специализацию от Яндекса на курсере по Data Engineers ? Как впечатления ? Знаете ли альтернативы ?

Прохожу сейчас первый курс специализации. Если тебе комфортно воспринимать на слух, то норм пойдет. Мне не особо заходит по двум причинам: 1) Я привык читать, а не смотреть и слушать 2) Раздражает английский и плоские отвлекающие шутки одного из лекторов (его материалы мне почти все приходится читать отдельно) Но практическая часть там хорошая + дается контейнер со спарком, который можно поставить на свою машинку Другие курсы буду брать только после того, как прочитаю какую-нибудь книжку, потому что из лекций откладывается в голове очень мало из-за моего бага в восприятии лекций

Лол так и надо) Administrator may choose to first shutdown the cluster and then downgrade it. The following are the steps: Shutdown all NNs and DNs. Restore the pre-upgrade release in all machines. Start NNs with the “-rollingUpgrade downgrade” option. Start DNs normally.

ток я не учел, что это с обновленной версии, а у меня то с нуля 3.1.1, вот блин, все перераскатывать терь что ли?) Чтоб без напрягов запустить

качни новый дистр прост

и пути поправь и все

Типа прям в тупую?

угу

Ок, спс

угу

Тупо не прокатило, слушай а от куда инфа про алфу Hbase? может поделишься ресурсом?

Тупо не прокатило, слушай а от куда инфа про алфу Hbase? может поделишься ресурсом?

да я прост она гитхаб и жиру подпсиан)

ну хадупы все одинаково натсриваются

одинаково просто настрой

должно србаотать

должно србаотать

да я так и сделал, разлил 2.9.1 и конфиги старые закинул не завелось я и забил, на хер, подожду альфы) а сам пока cassandru помучаю мб)

ааа старые конфиги наверное 3 -> 2 не совместимы

2 -> 3 вроде работают

там с именами проблема полоей может быть