Hive - ворочать сложные большие джобы не оглядываясь на память и ядра. Impala - быстро поработать с готовой витринной, которая к тому же ещё и кешируется при повторных запросах :)

Давай без этого плиз, горит от людей, которые так делают. Если не в 1 лицо кластер используется такого стоит избегать.

Давай без этого плиз, горит от людей, которые так делают. Если не в 1 лицо кластер используется такого стоит избегать.

ну можно добавить "в рамках выделенной квоты на yarn" ))

А сколько данных / железа в ваших кейсах было-есть?

это мне готовое досталось, перенесли таблицы из оракла в HBase, сказали что хотят видеть репорты такие-же как в оракле были. В запросе пяток таблиц но фишка в том что одни и те-же таблицы в запросе несколько раз. Так вот запросе из оракла хайв уходил в ступор а тот-же запрос на фениксе работал норм. Я пробовал Tez разницы с Mr не заметил.

Потому что тез слабо оптимизирован в сравнении со спарком. Единственное преимущество - работа с транзакциями

А сколько данных / железа в ваших кейсах было-есть?

Я не знаю как ответить но постирают. От 3 до 160 нод. От нескольких мб, до сотен тб :)

ну если сравнивать оптимизаторы, то catalyst наверное самый продвинутый... смотрел код оптимизатора Phoenix, там вообще слезы по количеству возмжных вариантов, в Hive меня простыни java кода убили, поэтому в детали не вникал )

У меня есть 100 воркеров. Они обрабатывают мой Rdd. 7 зафейлилось. Я правильно понимаю что процесс обработки дальше пойдет и я просто потеряю эти куски ?

Нет.

Спарк перезапустит их на других ногах.

Даже не так. 20 воркеров, 100 партишенов.

Нафига б он нужен был такой, неизвестно какое количество данных обработать.

Так если падение, потому что я сам дурак, и именно на этой выборке всегда будет NPE, он будет перезапускать и оно будет падать

Ну я имею в виду когда%productname% работал не так хорошо как хотелось

Так если падение, потому что я сам дурак, и именно на этой выборке всегда будет NPE, он будет перезапускать и оно будет падать

ну он по моему ограниченное количество раз перезапускает (вроде 3), а потом падает целиком

не помню только, это настройки yarn или самого spark

Спасибо, буду свои лыжи правильно смазывать.

Оно не работает из коробки стабильно :(

А какая у вас версия CDH/Impala. У нас в проде уже год и пока даже пальцем не пришлось шевелить. Используется для глупой загрузки таблиц (от пары мб до сотен гб в дневной партишине) и потом над этими таблицами любопытные пользователи запросы делают.

А какая у вас версия CDH/Impala. У нас в проде уже год и пока даже пальцем не пришлось шевелить. Используется для глупой загрузки таблиц (от пары мб до сотен гб в дневной партишине) и потом над этими таблицами любопытные пользователи запросы делают.

Опыт был на 4.x ещё Оракловой. Давно не обновлялись. Не топлю за то, что знания по Impala очень актуальны, но судя по комментариям коллег изменилось не многое.

если пишем запрос в phonix он долго висит, начинает жрать проц и умирает, если в запросе установить лимит, то без проблем работает, как мне настроить hbase hive чтобы программисту ненужно было писать лимит?

если пишем запрос в phonix он долго висит, начинает жрать проц и умирает, если в запросе установить лимит, то без проблем работает, как мне настроить hbase hive чтобы программисту ненужно было писать лимит?

я конечно давно не пользовался, но ты про LIMIT? или про что

я конечно давно не пользовался, но ты про LIMIT? или про что

лимит на число записей, sql

о. самое любимое от наших разработчиков "а почему тут не так как в Oracle?" ) можно уменьшить phoenix.query.timeoutMs чтобы такие запросы раньше отвалилвались по таймауту, но это немного не то

раскрой побольше, а то в произвольном случае любая бд / что угодно одинаково себя поведет при фетче к примеру всей таблицы без наличия необходимых ресусрво на машине

о. самое любимое от наших разработчиков "а почему тут не так как в Oracle?" ) можно уменьшить phoenix.query.timeoutMs чтобы такие запросы раньше отвалилвались по таймауту, но это немного не то

ну типа есть hbase hdfs в неё положили 11 млн записей, и программист хочет их на клиента вывести

все

ну пусть выводит, ты хочешь что бы он 11 лямов одним запросом дергал?

ну пусть выводит, ты хочешь что бы он 11 лямов одним запросом дергал?

это он хочет, чтобы я настроил так, чтобы он мог это сделать

интересно вот ты настроишь, а у него памяти будет чтоб в держать 11 лямов объектов сразу?

это типа 20 гигов оперативы для отображения одной странчики которую никто за раз прочесть не сможет даже на оч большом мониторе

а потом еще начнутся в памяти фильтры, сортировки

да

ну короче в твоем случае вариант - дать больше ресурсов

если ты и правда хочешь 11 лямов одним запросом

тот же самый zeppelin рубит вывод когда более 1Мб данных передается, ибо никому это не нужно на клиенте

ну очевидно что в логике клиентской тут ошибка

ну либо делать выгрузку в csv, и путь они себе их в excel крутят как хотят

то что можно гипотетически сделать что угодно - эт конечно да

только зачем - хз

он деманд надо тащить вероятно в этом случае ему; и на клиенте делать простеньие лимиты оффсетов вычисление; или как там быстрее будет работать феникс.

программист хочет, написать 1 запрос вытащить всё, который потом будет частями отдаваться на клиента, там будет сортировка и тп

он мне сказал настроить так, чтобы это стало возможным

типа вот есть таблица А, в ней 16 млрд записей, и они перекововывают сортируясь в горячую зону

ну тут можно только посочувствовать и посоветовать убедить программиста, что это ему не нужно. ну либо пусть в качестве примера приведет готовую систему, где есть такое...

потому что тянуть миллионы записей что в hbase, что в oracle, да где угодно это не есть хорошая идея

ну в оракл мы для олапов тянули

на прошлой работе

тут тоже надо будет вытягивать данные под олапы

ну тут можно только посочувствовать и посоветовать убедить программиста, что это ему не нужно. ну либо пусть в качестве примера приведет готовую систему, где есть такое...

у меня проблема в том, что программист не хочет ничего юзать, у чего нет драйвера для го

ке, ошибка в постановке задачи. эт надо не программиста, а аналитика терзать... на кой столько разом вытягивать

ке, ошибка в постановке задачи. эт надо не программиста, а аналитика терзать... на кой столько разом вытягивать

Его нет

Как вида

Их можно было бы и не разом, но программист тоже лишнего писать не хочет

у меня проблема в том, что программист не хочет ничего юзать, у чего нет драйвера для го

Мб через thrift попробовать раздавать? Сам не использовал но пишут что можно за рестики дёргать, гошечка справится

Их можно было бы и не разом, но программист тоже лишнего писать не хочет

значит, надо вправить мозги программисту. можно даже кувалдой. нашего брата это, останавливать надо иногда

программист хочет, написать 1 запрос вытащить всё, который потом будет частями отдаваться на клиента, там будет сортировка и тп

дай больше просто ресурсов и все заработает

ну или Alexey предложил действенный вариант тоже)

Ещё можно на питоне наваять вебсервис который держит SparkSession с доступом до данных, принимает по рест sql и отдаёт csv

Больше велосипедов

#job #вакансия #hadoop #spark #vacancy #java #bigdata Всем привет! Меня зовут Екатерина, я ищу Bigdata разработчиков в нашу команду. Мы процессим более 10 миллиардов событий в день и имеем один из самых больших кластеров в стране. У нас просто куча работы в любой части hadoop инфраструктуре и есть задачи как для middle, так и для Senior специалистов. Локация: Мск/Спб (с переездом поможем) Условия: очень комфортабельный офис (спорт, библиотека, чай/кофе/пиццы/фрукты), ДМС и английский Зарплата: давайте обсуждать это после первичного знакомства, но мы абсолютно точно договоримся и уровень заработной платы Вас приятно удивит. Я буду раза рассказать подробнее о компании/вакансии/задачах и познакомлю Вас с нашим техническим специалистом. Пишите в личные сообщения. Всем хорошего пятничного вечера!

digdata как новое название для bigdata+data mining

дай больше просто ресурсов и все заработает

А их пока нет

digdata engineer это те кто анализируют результат вывода утилиты dig

digdata engineer это те кто анализируют результат вывода утилиты dig

тогда надо в клаудфлару

Я поправила!

Ребята, еще я буду очень благодарна за рекомендации! За успешную рекомендацию платим 100К.

рекомендую правильно питаться! когда мне ждать денег?

#job #вакансия #hadoop #spark #vacancy #java #bigdata Всем привет! Меня зовут Екатерина, я ищу Bigdata разработчиков в нашу команду. Мы процессим более 10 миллиардов событий в день и имеем один из самых больших кластеров в стране. У нас просто куча работы в любой части hadoop инфраструктуре и есть задачи как для middle, так и для Senior специалистов. Локация: Мск/Спб (с переездом поможем) Условия: очень комфортабельный офис (спорт, библиотека, чай/кофе/пиццы/фрукты), ДМС и английский Зарплата: давайте обсуждать это после первичного знакомства, но мы абсолютно точно договоримся и уровень заработной платы Вас приятно удивит. Я буду раза рассказать подробнее о компании/вакансии/задачах и познакомлю Вас с нашим техническим специалистом. Пишите в личные сообщения. Всем хорошего пятничного вечера!

спарк на жаве ?

спарк на жаве ?

Да, кейс не самый частый, но мы действительно используем spark из java тоже)

Да, кейс не самый частый, но мы действительно используем spark из java тоже)

очень грустно

очень грустно

)))

типа вот есть таблица А, в ней 16 млрд записей, и они перекововывают сортируясь в горячую зону

Увеличь тайм-аут в фениксе, пусть подавится

А уж если он такой суровый го программист, то пусть фигачит чистыми гет запросами в хбейз

Через рест

#job #вакансия #hadoop #spark #vacancy #java #bigdata Всем привет! Меня зовут Екатерина, я ищу Bigdata разработчиков в нашу команду. Мы процессим более 10 миллиардов событий в день и имеем один из самых больших кластеров в стране. У нас просто куча работы в любой части hadoop инфраструктуре и есть задачи как для middle, так и для Senior специалистов. Локация: Мск/Спб (с переездом поможем) Условия: очень комфортабельный офис (спорт, библиотека, чай/кофе/пиццы/фрукты), ДМС и английский Зарплата: давайте обсуждать это после первичного знакомства, но мы абсолютно точно договоримся и уровень заработной платы Вас приятно удивит. Я буду раза рассказать подробнее о компании/вакансии/задачах и познакомлю Вас с нашим техническим специалистом. Пишите в личные сообщения. Всем хорошего пятничного вечера!

А название компании можно узнать?

А название компании можно узнать?

Конечно) Давайте в лс пообщаемся

Конечно) Давайте в лс пообщаемся

Написал в личку.

А уж если он такой суровый го программист, то пусть фигачит чистыми гет запросами в хбейз

Скорее он просто получил задачу, нафиг ему не сдавшуюся

у меня проблема в том, что программист не хочет ничего юзать, у чего нет драйвера для го

Лол

В смысле соболезнования

А название компании можно узнать?

Как можно не узнать мейлу )

А что плохого в мейлру?

А что плохого в мейлру?

А что хорошего? Есть опыт общения с инженерами оттуда.

А что хорошего? Есть опыт общения с инженерами оттуда.

Андрей, привет! Да-да, помню мы общались лет 6 назад) Хочешь, пообщаемся снова?

=_= где подвох

мб это бывшая Андрея

от которой он скрывается. Но неудачно

Ахахха)) Да, скрываться от меня - это правда плохая идея, я же рекрутер, и что бы найти какую-то информацию мне редно нужно больше 2х минут. Но дело не в этом, конечно. А в том, что мы ищем лучших специалистов на проект с с более чем 10PB, у нас есть деньги и железо и много интересных задач. Если кто-то хочет обсудить это со мной или моими коллегами - мы с радостью, мы всегда за разговоры по делу)

?

от которой он скрывается. Но неудачно

Вот здесь подловил ?

Андрей, привет! Да-да, помню мы общались лет 6 назад) Хочешь, пообщаемся снова?

Привет, а ведь и правда, забыл уже, что собеседовался к вам. Пообщаться можно.

Переобученная модель

Как можно не узнать мейлу )

Рядом, но не мейлру ;-))

Рядом, но не мейлру ;-))

Хоум кредит?