вот это да, спасибо

так всю книгу можно прочитать

да\

я очень советую этот сервис

и подписку оформить

потому что там есть всегда книги очень актуальные, прям сейчас наверное можно найти книги, которые будут публиковать только в декабре

Привет! Я читаю книгу «data algorithms» (Mahmoud Parsian) на Букмейте. Думаю, тебе может понравиться: https://bookmate.com/books/gFGrxIdM

так всю книгу можно прочитать

Тоже предлагаю сервис букмэйт. Месяц можно прочитать что угодно бесплатно без привязки карточки)

Удобно, спасибо!

Подскажите плиз, хочу развернуть для тестов хадуп стэк и меня спрашивают нужен ли прямой доступ к транзакционным системам или можно их изолировать и через 1 комп гонять данные в него?

Для безопасности лучше изолировать нахер

А Кафка или nifi тоже на отдельных машинах будут, и доступ нужен будет только им?

Подскажите плиз, хочу развернуть для тестов хадуп стэк и меня спрашивают нужен ли прямой доступ к транзакционным системам или можно их изолировать и через 1 комп гонять данные в него?

если будете перекачивать большие объемы данных из RDBMS в Hadoop с помощью Sqoop, то доступ к RDBMS будет нужен со всех дата-нод кластера

привет, нужен менеджер тасок в хадупе. Запускать по расписанию, запускать поочереди и в зависимости от результата предыдущей. кто что использует?

oozie?

а что сейчас стоит

народ использует airflow

Ози, тоже как вариант, но если с веб интерфейсом каким( В ПОСТАВКЕ HUE идет)

народ использует airflow

мы выкинули его и полностью на aws batch переехали

oozie?

https://datamoth.github.io

мы выкинули его и полностью на aws batch переехали

ВЕНДОРЕ ЛОКЕНУ

ВЕНДОРЕ ЛОКЕНУ

да там короче ребята сгорели и решили пока залочиться

спасибо

посмотрю туда

мля)

да там короче ребята сгорели и решили пока залочиться

а чего сгорели?

а чего сгорели?

https://github.com/raster-foundry/raster-foundry/blob/78ec045ccc89e29ce76295d0a766df49b7419629/docs/architecture/adr-0019-workflow-manager.md

сп с

причем, рибята питонисты сгорели и девопсы любители петона

аааааааааааааааааааааааааааааааааааа

Есть подозрение, что всё таки с питоном если работаешь, то в вакансии указывают навык стрессоустойчивость

не знаю, я с питона сгораю с пол оборота, не для меня

мы выкинули его и полностью на aws batch переехали

а по функционалу как? аирфлоу немного тыкал, с batch не знаком

код на питоне писать нужно? ?

ну в крадце - не смогли добиться с эирфлоу стабильности и консолидации аутпутов / логов код над писать на питоне только, все даги питоновые а клиенты были

понял, спасибо)

отвелкся) а клиенты были и нужна была стабильность

конечно Кривда верно заметил что нужно абстрагироваться от вендора

ну в крадце - не смогли добиться с эирфлоу стабильности и консолидации аутпутов / логов код над писать на питоне только, все даги питоновые а клиенты были

а можете пригласить в чат этих ребят? очень интересно их негативное мнение об Airflow

а можете пригласить в чат этих ребят? очень интересно их негативное мнение об Airflow

можно спросить в ишше на гитхабе; а то и язык не тот и телеграммом не пользуются

мы тоже вовсю его используем, мучаемся, но пока не сдаемся... реальных альтернатив не вижу

мы тоже вовсю его используем, мучаемся, но пока не сдаемся... реальных альтернатив не вижу

да не то что негативный опыт, устали с ним бороться и нужен был уже прод

если будете перекачивать большие объемы данных из RDBMS в Hadoop с помощью Sqoop, то доступ к RDBMS будет нужен со всех дата-нод кластера

Спасибо, чуть понятнее стало

если будете перекачивать большие объемы данных из RDBMS в Hadoop с помощью Sqoop, то доступ к RDBMS будет нужен со всех дата-нод кластера

А как Sqoop в этом случае относится к плохим каналам связи?

Здесь вопрос доступности. Много ли я смогу сделать, если между базами предприятия и хадупом будет мой комп

А как Sqoop в этом случае относится к плохим каналам связи?

плохо относится. суть Sqoop в том, что он генерирует по заданному SQL-запросу на извлечение данных из RDBMS MR-job из 4 (по дефолту) мапперов. каждый маппер запускается в рамках YARN на отдельном контейнере в дата-ноде. если связь между дата-нодой с зпущенным маппером и RDBMS будет плохой - маппер упадет. можно регулировать кол-во попыток перезапуска -Dmap.retry.numRetries=N -Dmapreduce.map.maxattempts=N

плохо относится. суть Sqoop в том, что он генерирует по заданному SQL-запросу на извлечение данных из RDBMS MR-job из 4 (по дефолту) мапперов. каждый маппер запускается в рамках YARN на отдельном контейнере в дата-ноде. если связь между дата-нодой с зпущенным маппером и RDBMS будет плохой - маппер упадет. можно регулировать кол-во попыток перезапуска -Dmap.retry.numRetries=N -Dmapreduce.map.maxattempts=N

понял, спасибо.

Возможно глупый вопрос, но как по-человечески останавливать spark streaming джобы?

Yarn application -kill

Возможно глупый вопрос, но как по-человечески останавливать spark streaming джобы?

def stop_check(rdd): if check_for_stop_key(): ssc.stop() stream.foreachRDD(stop_check)

а про телеграм канал полезный можно написать?

полезный кому?

полезный кому?

это тригернет маркетинговый рассказ правильный вопрос "о чем?"

это тригернет маркетинговый рассказ правильный вопрос "о чем?"

лол

полезный тем, кто хочет не пропустить разные конференции, митапы, хакатоны, гранты и тдё

разные или какие-то конкретные?

не понятно зачем вот мне не пропускать конференцию по Js

если я не профессионал в Js

они с тегами, для it, для финтеха, для биотеха, по разным новым технологиям

https://t.me/startupchances

короче)

не про криптовалюту и на том спасибо

))) их чего-то очень много

def stop_check(rdd): if check_for_stop_key(): ssc.stop() stream.foreachRDD(stop_check)

Спасибо!

Есть проект юзающий hive-exec 1.2.1 джарку и соответственно hive-metastore той же версии. Теперь стоит задача перевести все на свежие версии хайва. Нормально пользовать 2.3.2 или оно только для Hive2 актуально?

в hive-1.2.2 при апгрейде на hive -2.3.2 возникли проблемы

но у нас в 2.3.2 в качестве движка mapreduce, если будет tez - то возможно проблем не будет

проблемы решились обновлением hive-exec

спасибо. у нас вроде тез на кластере

но тебе нужно будет полностью hive обновить, и метастор и хайвсервер2

Господа, hive и impala поддерживают кириллицу в sql?

hive да

по крайней мере, с сериалайз енкодингом точно - ROW FORMAT SERDE ‘org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe’ WITH SERDEPROPERTIES(“serialization.encoding”=’UTF-8′);

Кто нибудь сравнивал hive+llap с impala ?

всем привет

есть ли большая разница между процессом установки 2.х и 3.0?

и имеет ли смысл ставить мини кластер хадупа в виртуалки на один физический хост?

прототип хотим построить

Быстрее взять клаудеру

почему?

Или хдп сандбоксы

клаудера втащила 3ку?

клаудера афайк жадная

клаудера втащила 3ку?

Нет конечно

прототип хотим построить

Прототип чего

клаудера афайк жадная

Ну вот ейдж ноды на виртуалки вынести можно

клаудера афайк жадная

если вы хотите саппортить сами, то нет разницы с коробкой без поддержки

Прототип чего

хотим попробовать хадуп

девелоперы хотят

я сисадмин

и никогда с этой штукой дела не имел

хотим попробовать хадуп

HDP ставь через ambari, host os = Cent OS

смотрите, попробовать можно и на локальной машине запустить, а если что - то прод реди , то нужно железо