давайте вызовем сотону.

Это менеджер ресурсов кластера. Он старается эффективно распределять ресурсы кластера (память, цпу) в условиях множественных конкурирующих задач

МУЖИК!!! Спасибо большое за мануал!!!

Завелось ?

Завелось ?

Да, уже к финишу подхожу, были траблы но из за рук, ман четкий понятно хоть что куда и как, в данный момент не стартует датанода, но над просто перепроверить похоже чет натыкал, блин чтоб я без тебя делал) ща наконец то доставлю и пойду теорию читать.

по спарку можно послушать курсы на курсере от яндекса и смотреть туториалы на оф сайте spark.apache.org

Спасибо!

Ребята чет фаловер нерабоает, может кто подскажет. 8/07/19 18:06:03 INFO zookeeper.ZooKeeper: Initiating client connection, connectString= name.node:2181,name1.node:2181,data1.node:2181 sessionTimeout=5000 watcher=org.apache.hadoop.ha.ActiveStandbyElector$WatcherWithClientRef@1139b2f3 18/07/19 18:06:03 FATAL tools.DFSZKFailoverController: DFSZKFailOverController exiting due to earlier exception java.lang.NumberFormatException: For input string: "2181 " хотя хосты доступен, служба кворума тоже запущена на них

Ребята чет фаловер нерабоает, может кто подскажет. 8/07/19 18:06:03 INFO zookeeper.ZooKeeper: Initiating client connection, connectString= name.node:2181,name1.node:2181,data1.node:2181 sessionTimeout=5000 watcher=org.apache.hadoop.ha.ActiveStandbyElector$WatcherWithClientRef@1139b2f3 18/07/19 18:06:03 FATAL tools.DFSZKFailoverController: DFSZKFailOverController exiting due to earlier exception java.lang.NumberFormatException: For input string: "2181 " хотя хосты доступен, служба кворума тоже запущена на них

пробел в конце порта лишний

пробел в конце порта лишний

For input string: "2181 " хм, он не может быть лишним в zoo.cfg а вот в hdfs проверял там норм, но тем не менее видмо вы правы, проверю еще раз

пробел в конце порта лишний

да, глаз замылился,спасибо за помощь!

да, глаз замылился,спасибо за помощь!

кавычки не просто так ставят, будьте бдительней.

Да, спасибо!

Приветствую, у кого есть опыт в связке kafka-flume-hive? Пытаюсь реализовать схему, когда флюм пишет стандартным hive sink в stage таблицу (stored as orc), а потом эти данные мержатся хайвом в основную таблицу (тоже orc). Пытался сделать стэйджиговую таблицу с партицированием по дате, но такое чувство, что flume требует только статические партиции. org.apache.hive.hcatalog.streaming.ConnectionError: HiveEndPoint {metaStoreUri='thrift://xxxx:9083', database='default', table='table_orc_stage', partitionVals=[] } doesn't specify any partitions for partitioned table

С флюмом грустно как-то. Я делал на Spark, работает хорошо. Если много мелких ORC файлов то в hive удобно мержить через ALTER TABLE ... PARTITION (...) CONCATENATE

Приветствую, у кого есть опыт в связке kafka-flume-hive? Пытаюсь реализовать схему, когда флюм пишет стандартным hive sink в stage таблицу (stored as orc), а потом эти данные мержатся хайвом в основную таблицу (тоже orc). Пытался сделать стэйджиговую таблицу с партицированием по дате, но такое чувство, что flume требует только статические партиции. org.apache.hive.hcatalog.streaming.ConnectionError: HiveEndPoint {metaStoreUri='thrift://xxxx:9083', database='default', table='table_orc_stage', partitionVals=[] } doesn't specify any partitions for partitioned table

почему стейдж таблица as ORC? у нас такая же связка. мы пишем в CSV и раз в час перекладываем в Parquet. потом раз в сутки еще раз перекладываем часовые паркетины в суточную

@dos65 Вадим, подскажи, а ваша платформа она что именно охватывает (этапы разработки и внедрения моделей)? Верхнеуровнево. А то я возможно забыл её включить в список для расследования.

почему стейдж таблица as ORC? у нас такая же связка. мы пишем в CSV и раз в час перекладываем в Parquet. потом раз в сутки еще раз перекладываем часовые паркетины в суточную

Да, так сложилось .... До того, как таблицу пересоздали как партицированную - оно работало прекрасно, пока не возник вопрос о ежесуточном мерже в основную таблицу. Решили сделать партиции по датам, а оно вот как....

а в csv пишите своим каким-то синком ? из стандартных я что-то не вижу в доках по флюму....

С флюмом грустно как-то. Я делал на Spark, работает хорошо. Если много мелких ORC файлов то в hive удобно мержить через ALTER TABLE ... PARTITION (...) CONCATENATE

Мне тоже spark больше по душе.... но, в данном случае - "...пробуем достичь однообразия в заливке данных...". Поскольку используется, hive sink, который пишет в hive таблицу, то далее просто выполняем MERGE INTO table USING table_stage ....

@dos65 Вадим, подскажи, а ваша платформа она что именно охватывает (этапы разработки и внедрения моделей)? Верхнеуровнево. А то я возможно забыл её включить в список для расследования.

охватывает постразработку - то есть можешь модельки натренить, задеплоить их туда, мониторинг аномального поведения (входы/выходы) повесить. сейчас в процессе прикучивание возможность собрать данные с реального использования, чтобы потом ретеренинг можно было проводить

всякое аб и версионность есть?

всякое аб и версионность есть?

ага

ага

я вдруг захотел почитать детали)

там доку недавно подвезли

??

ток ссылку в ридми забыли добавить https://hydrosphere.io/serving-docs/

спасиб

Мне тоже spark больше по душе.... но, в данном случае - "...пробуем достичь однообразия в заливке данных...". Поскольку используется, hive sink, который пишет в hive таблицу, то далее просто выполняем MERGE INTO table USING table_stage ....

Тогда можно через промежуточную таблицу. Flume -> Tmp Table -> Partitioned Table

Тогда можно через промежуточную таблицу. Flume -> Tmp Table -> Partitioned Table

Так это уже громоздко..... мне потом в конечном итоге нужна таблица без партиций с уникальным ключём..... ладно, я победил флюм тем что в настройках синка прописал шаблон по дате и указал автосоздание партиций. Шаблон на основе поля никак не работал....

Так это уже громоздко..... мне потом в конечном итоге нужна таблица без партиций с уникальным ключём..... ладно, я победил флюм тем что в настройках синка прописал шаблон по дате и указал автосоздание партиций. Шаблон на основе поля никак не работал....

а есть возможность пошарить) ?

https://blog.cloudera.com/blog/2013/07/morphlines-the-easy-way-to-build-and-integrate-etl-apps-for-apache-hadoop/

Как вариант, работает партицирование по полю. Могу поискать рабочий пример, если надо.

Привет! Кто-нибудь писал в хайв из питона без спарка и вызова баша?)

External таблицами, да

Спс

Есть еще pyhive)) from pyhive import hive conn = hive.Connection(host="YOUR_HIVE_HOST", port=PORT, username="YOU")

Если HiveServer2, то pyhs2

Если HiveServer2, то pyhs2

А оно через что работает, через http умеет чтоб прокси пройти?

Если HiveServer2, то pyhs2

Нам больше impyla зашла, кстати

прокси в окружении можно задать, import os, потом proxy = ‘http://user:pass@proxy:port’, потом os.environ[‘http(и / или https)’] = proxy ну и твой код. но в connection увы прокси описать нельзя

Нам больше impyla зашла, кстати

Тоже вариант)

прокси в окружении можно задать, import os, потом proxy = ‘http://user:pass@proxy:port’, потом os.environ[‘http(и / или https)’] = proxy ну и твой код. но в connection увы прокси описать нельзя

Это я к работу через нокс с керберизованным кластером. Ясно, спс

@pomadchin пару месяцев назад ты говорил что спарк трифт сервер это плохо. Напомни чем плохо?

@pomadchin пару месяцев назад ты говорил что спарк трифт сервер это плохо. Напомни чем плохо?

Спарк трифт сервер? Лучше контекст добавь)

Я мог говорить что спарк сервер ниоч и что трифт старый

ну который jdbc гейт

который как отдельное приложение работает и sql делает

А ты про трифт сервер, не про него ничо не говорил)

погоди, а ты про какой говорил?)

так, а если не трифт, то кот?

погоди, а ты про какой говорил?)

Я багеты на жоп сервер выкладывал

Хитро, хитро

Да старая тема кстати) добавляются и в никах реклама

Приветы, ambari это читерство или норм?

Приветы, ambari это читерство или норм?

сноси эту пакость!

сноси эту пакость!

ага так и думал), н очто с ней не так?

Да все с ней так, на самом деле. Все равно придется иногда руками подкручивать.

По моему опыту норм, обычный опенсорс

Ага, ок, а impala в docker норм живёт? Просто не охота отделный сервак под неё

Ага, ок, а impala в docker норм живёт? Просто не охота отделный сервак под неё

Все норм в докерах при наличии прямых рук

Все норм в докерах при наличии прямых рук

tnx, просто до этого с hadoop дела не имел совсем, а хочется попробовать http://spot.incubator.apache.org и по-быстрому.

Opensource cybersecurity сильно конечно

Opensource cybersecurity сильно конечно

ну... такое вроде как нахваливают. Я так понимаю это тот же apache-metron/cloudera только опен сорс. у нас не так много серваков (~700) чтоб покупать коммерческое решения

Смотря что за проект. Вообще звучит как оксюморон по моему))

Смотря что за проект. Вообще звучит как оксюморон по моему))

дык обычный хостинг