Была мысль, что это из-за формата даты

Полный стек трей дай, и лучше в текстовом виде )

Хайв есть или через локал метастор ползешь в хдфс?

Напиши вопрос на бумажке, сфотай и пришли картинкой

Напиши вопрос на бумажке, сфотай и пришли картинкой

*в вордовском файле //fixed

Хайв есть или через локал метастор ползешь в хдфс?

Есть, через хайв всё работает

Полный стек трей дай, и лучше в текстовом виде )

Я бы с радостью, но у меня на машине не работает телеграмчик, а впн че-то тупит

ошибка вида "table not found"?

Ноу

Он точно находит таблицу, если указать неправильное название поля - он подсказывает названия полей

возможно есть какие то колонки с комплексными типами, или еще какие то извращения?

возможно есть какие то колонки с комплексными типами, или еще какие то извращения?

Я такое тоже допустил, но тогда вроде логично, что колонки, где содержатся просто int числа - должно получиться выгрузить, но не получается

тогда хз.. нужен стектрейс, как уже выше написали

Я бы с радостью, но у меня на машине не работает телеграмчик, а впн че-то тупит

Ну камон, интернет же есть http://www.heypasteit.com/

Pastebin, кстати, лежит

кстати, а за хайвом что стоит? на что эта таблица смотрит?

Pastebin, кстати, лежит

http://www.heypasteit.com/clip/0IJJOM

кстати, а за хайвом что стоит? на что эта таблица смотрит?

Я не знаю, к сожалению. I am just user)

судя по трейсу - orc, значит всё ок...

а дальше ничего нет? после NPE

а дальше ничего нет? после NPE

Нет, пусто

судя по трейсу - orc, значит всё ок...

Не обязательно. Если данные заливали напрямую лоадом, то хайв не делает конвертации типов

В итоге питон валится вот с такими ошибками

Хайв Вью же данные показывает?

Хайв Вью же данные показывает?

Да

Да

Ради интереса попробуй эти данные перелить во временную таблицу, сделав на уровне хайва инсерт через селект. И обратится к ним

Процентов 80-90, что получится

Ради интереса попробуй эти данные перелить во временную таблицу, сделав на уровне хайва инсерт через селект. И обратится к ним

Я пытался вьюшку сделать, но мне показали permission denied

Дело не во Вью. Там по факту лежат строки в хайве вместо сериализованных данных

как вариант - надо взять hive-exec-......jar с сервака, открыть его в jdgui и посмотреть - что находится вот тут: at org.apache.hadoop.hive.ql.io.orc.OrcInputFormat.generateSplitsInfo(OrcInputFormat.java:1021) может удастся понять - что ему не нравится, откуда там NPE сыпется

Дело не во Вью. Там по факту лежат строки в хайве вместо сериализованных данных

Спасибо, сейчас попробую

Гайз

здравствуйте, как организовать на апатче лимит скорости загрузки на сервер, тоесть есть панель управления через нее пользователь заливает файл, хочу ограничить интернет канал заливки всего на 1мб в сек, тоесть если будет 1чел у него будет 1мб если будет два клиента грузить файлы то скорость будет делится пропорционально столько юзерам сколько одновременно грузит но не более 1мб всего канала выделять

здравствуйте, как организовать на апатче лимит скорости загрузки на сервер, тоесть есть панель управления через нее пользователь заливает файл, хочу ограничить интернет канал заливки всего на 1мб в сек, тоесть если будет 1чел у него будет 1мб если будет два клиента грузить файлы то скорость будет делится пропорционально столько юзерам сколько одновременно грузит но не более 1мб всего канала выделять

на чем?

Приветик, на EMR 5.13 стали часто падать спарк джобы с ошибкой Container released on a *lost* node (больше в логе ничего особо полезного нет), подскажите плз куда копать, со спарком недавно начал работать.

Приветик, на EMR 5.13 стали часто падать спарк джобы с ошибкой Container released on a *lost* node (больше в логе ничего особо полезного нет), подскажите плз куда копать, со спарком недавно начал работать.

не споты ли используешь?

Не, нормальные, m4xlarge 3 штуки

а ганглия чего говорит?

почему теряет?

Я вроде где-то видел жалобы на отсутствие heartbeat но сейчас доберусь до компа ещё посмотрю

ребят привет, никто не пробовал использовать pyspark с minio?

с s3 вроде нормально работает, с minio какая-то херня

ошибки примерно такого рода 2018-04-26 03:42:50 ERROR Utils:91 - Aborting task com.amazonaws.AmazonClientException: Unable to complete transfer: null

очень полезные

php+apache linux centos установлен

на чем?

думал может nginx попробовать

думал может nginx попробовать

ты о чем?)

у нас тут большого стека группа

а если ты про апаче который хттп сервер это не сюда

он про заббикс, который мониторинг

такое даже пьяным не придумать

хошь научу? (курс от автора крон 2.0)

научите меня scala’е, я хочу в big data блэт :(

и, да, я ненавижу питон.

давай крон двануль это типа эифрлоу да?

вон те данила уже сказал

не хочешь петон вон те крон 2.0

научите меня scala’е, я хочу в big data блэт :(

открываешь apache zeppelin и фигачишь на скале

все вот так всегда просто

взял короч ноутбук и все работает

чики пуки

научите меня scala’е, я хочу в big data блэт :(

короче, дело так. Скала — это ребенок Джавы и Питона. Вот и всё что нужно знать, всё остальное фигачишь

короче, дело так. Скала — это ребенок Джавы и Питона. Вот и всё что нужно знать, всё остальное фигачишь

непризнанный эксперт просто

не сказал бы что скала это ребенок питона… java-based - мб, но щитон нну неее)

главное интерактив, чтоб не компилить по полчаса свой файлик с кодом

не сказал бы что скала это ребенок питона… java-based - мб, но щитон нну неее)

да для питонистов есть только два языка - питон - и все остальные

ну и питон бейзд

главное интерактив, чтоб не компилить по полчаса свой файлик с кодом

Вчера компилировал 10 минут)) Мне норм

за 10 мин я world на fbsd пересобираю)

я 10 минут патчу нджинкс под хадуп на сентосе

10 минут? что там патчить?)

10 минут? что там патчить?)

питон, дитя фламинго

я имел ввиду - долго же)

я за 10 минут ждал в азуре, пока хадуп сессия инициализируется)

мажоры блин