это дневной объем данных или что?

не совсем. Сейчас есть входные данные весом в терабайт в таблице 1 селектим эти данные и записываем в таблицу 2 Кстати, какой формат использовали для хранения?

Задача-та какая? )

не совсем. Сейчас есть входные данные весом в терабайт в таблице 1 селектим эти данные и записываем в таблицу 2 Кстати, какой формат использовали для хранения?

особых проблем не вижу, спарк все это умеет делать. Формат орк

особых проблем не вижу, спарк все это умеет делать. Формат орк

Вот.. А у нас сырой. В паркете все ок

Задача-та какая? )

Переложить данные из одной таблицы в другую :)

ну спарк сырые данные тоже читает

и пишет их в любом удобно формате

хоть в iso

А там бизнес-логика какая-нибудь есть? Может на хайве все же )

А там бизнес-логика какая-нибудь есть? Может на хайве все же )

нет. сейчас просто тестим

Просто если бизнес логики нет или мало, и пройтись по данным нужно один раз, то я бы хайв выбрал. Там и возьни с ресурсами меньше и понадежней он будет.

спарк зависает с множеством таких логов.. 17/08/11 12:28:00 INFO storage.BlockManagerInfo: Added broadcast_0_piece0 in memory on data-node4:34885 (size: 50.7 KB, free: 6.7 GB) 17/08/11 12:28:00 INFO storage.BlockManagerInfo: Added broadcast_0_piece0 in memory on data-node1::34216 (size: 50.7 KB, free: 6.7 GB) 17/08/11 12:28:00 INFO storage.BlockManagerInfo: Added broadcast_0_piece0 in memory on data-node2:44564 (size: 50.7 KB, free: 6.7 GB) 17/08/11 12:28:00 INFO storage.BlockManagerInfo: Added broadcast_0_piece0 in memory on data-node3:38284 (size: 50.7 KB, free: 6.7 GB)

много данных на каждоый из партиций

Просто если бизнес логики нет или мало, и пройтись по данным нужно один раз, то я бы хайв выбрал. Там и возьни с ресурсами меньше и понадежней он будет.

селект обрабатывается нормально, но вот инсерт...

а откуда куда положить надо?

из одной таблицы в другую=)

какие таблицы, имею ввиду

что это

external таблица на вход из сырых файликов сделанная, пока у нас 2 варианта решения - партиционирование и хранение в паркете

выходная тоже external в паркете

формат данных какой

как читаешь данные

входной - сырой, тобишь txt, да это херово))

Это как раз нормально

как данные читаются?

они не в архиве?

HiveContext.sql(Select from t...) нет не в архиве. Сейчас прогнали на parquet->parquet все ок.

а зачем читать сырые текстовые данные спарком через хайв?

sc.textFile можно например

хороший вопрос =) Я админю ребят....

нуээ это важный вопрос :)

скуп засунул их в external table

файлы структурированы из другой базы взяты

смотри

external table это внешние данные, с небольшой метой в метасторе хайва

смотришь где он лежат

читаешь их как обычные текстовые данные как я выше написал

трансформируешь

пишешь в хайв спарком

смысл читать так как ты читаешь только если тебе ну совсем лень распарсить текст в dataframe

внутри спарка

И типа так будет быстрее?

ну так будет точно работать, если все правильно настроено

спасибо! попробуем. Если будут результаты отпишем, но пока остановились на parquet->parquet

Это спамер @jkvd35 ?

Бот советует не то

статы нет, а историю подтянуть похоже нельзя

и персист статы еще не привентил

после перезапуска будет амнезия

Спасибо, думаю как начало отличное

еще подстава, что если username отсутствует то mention ботом не сделать) зато если обучится нормально, то можно сделать чтоб сам удалял сообщения

считать ли это спамом? ?

считать ли это спамом? ?

Это пусть админы решают?

еще подстава, что если username отсутствует то mention ботом не сделать) зато если обучится нормально, то можно сделать чтоб сам удалял сообщения

сам удалял всегда чревато но интересно да

https://medium.com/@garyorenstein/did-google-send-the-big-data-industry-on-a-10-year-head-fake-9c94d553925a tl;dr - хадуп через пару лет будет никому не интересен :)

ну не будет хадупа будет что-то другое)

хадупом как мр я уже давно не пользовался

гм, а он сейчас много кому интересен?

)) нет, старье

ну HDFS и YARN довольно плотно сидят в интерпрайзе уже

HDFS это очень удобная и дешевая вещь; а ярн отличный менеджер ресурсов

со вторым я бы не очень согласился :D

ну у него свои заскоки есть