"Годные пасты"

чот долго провисело, простите

есть какой нибудь вменяемый способ отработки hive скрипта из Шелла ?

а в чем проблема?

hive -e ""

ну я думаю

что как проверить корректность выполнения?

тебе прям совсе совсем в шеле или питон ок?

я к тому что там jdbc дырка есть у HS2 и в нее можно selectы делать :)

еще кстати емнип хортон рекомендует не использовать hive шелл

а через билайн все делать

что как проверить корректность выполнения?

в случае ошибки exitcode должен быть не 0

тебе прям совсе совсем в шеле или питон ок?

питон ок

питон ок

ну тогда жедибиси должен подойти, либо прям дергать питоновский hiveclient

просто у нас сейчас крон используется для скедулинга, и выносить куда-то еще не ок

я бы так делал :)

Нужно сделать собственно селект инсерт, и в случае удачи удалить данные откуда был селект)

ну тебе ж никто не помешает питоноскрипт закронить

ну тебе ж никто не помешает питоноскрипт закронить

Ну да, наверное, спасибо большое, даже как-то о питоне не подумал

нзчт :)

я бы конечно это на спарке делал

ибо неудобные они эти хайвы :)

хайв удобен тем, что там sql

в спарке тоже :)

а шел потому что можно подменять пользователя)

ты можешь подключиться билайном к SparkThrift

и прям нативно sql делать

либо спарк самбитом запускать джобы с те же sql :)

терь вопрос как грамотно удалять авро файлы)

я ток с орками работал

с орком как-то просто было

кстати а вчем плюсы авро по сравнению с орком?

я не заметил никаких плюсов

мы потихоньку выпиливаем авро

орк более сравним с паркетом

а не с авро

авро схема для сериализации; очень полезная бывает если надо стандартизировать хранение

чтобы это был не блоб а какаято схема

яснопонятно

ну и кстате вот тут про скуль выше писали; авро схема отображается (может быть отображена) на спарк скуль типы

как и орк :)

ну ваще да я сча написал

и что авро что паркет что орк

ну да, сейчас авро как блоб используется умный

стриминг сливает в авро, а потом уже из авро конвертим в паркет

any English????

Just ask

Лучше поменять хайв на билайн

хайв тупит периодически х.х тупо висит на инициализации контекстов и ничо не делает

это правда когда ресурсов мало свободных :)

правда может это только у меня так, я хз :)

ну главное чтобы задача запускалась )

пока это временное решение, в планах временное авро хранилище на кафку заменить

хайв тупит периодически х.х тупо висит на инициализации контекстов и ничо не делает

Может у вас have через yarn и ему ресарсов шедулер не выдает?)

✋

Hive insert кто нибудь юзал? Как произволительность на движке спарк?

юзал, норм

На тере тоже?

на чем?:)