Всем привет! Анонсирую прием тем на Moscow Spark #3. Если у вас есть что-то интересное рассказать, то присылайте мне в личку название доклада и аннотацию. Обращаю внимание, что хотелось бы поддерживать формат технологиеских докладов, поверхностный маркетинговый буллшит не пройдет! ) Примерная дата мероприятия - 16 ноября.

Ты выступаешь ?

надо

@pomadchin давай! Это будет круто!

https://www.confluent.io/blog/using-ksql-to-analyse-query-and-transform-data-in-kafka

сможет ли кто-нибудь обуздать кафку?

https://www.confluent.io/blog/using-ksql-to-analyse-query-and-transform-data-in-kafka

> We’ll use Kafka Connect to pull the data from Twitter. Пусть сначала зальют в постгрю и потом из постгри кафка коннектом прочитают =/

Видно читать твиттер для них экономически важнее.

К сожалению пока "Do not run KSQL against a production Kafka cluster while KSQL is in developer preview." Хотя штуковина полезная для быстрого анализа

Всем привет!

Можно как-нибудь ограничить heap space для каждого пользователя hive?

можно, если пользователь Hive пользуется Hive через спарк

А через hive никак?

К слову имелось ввиду не для каждого пользователя, а например для всех ограничение 50 процентов.

через группы ярна можно попробовать

Добрый день! А почему в Spark нет типов unsigned: UInt32, UInt64? Очень неудобно при работе, например, со строго типизированными БД (например ClickHouse), что после выгрузки таблицы в спарк, все типы меняются. Например, когда выгружаю UInt64 спарк конвертирует его в decimal(20) т.к. он не помещается в bigint, а при записи обратно в БД, тип меняется на Float64, т.к. в БД нет decimal

Добрый день! А почему в Spark нет типов unsigned: UInt32, UInt64? Очень неудобно при работе, например, со строго типизированными БД (например ClickHouse), что после выгрузки таблицы в спарк, все типы меняются. Например, когда выгружаю UInt64 спарк конвертирует его в decimal(20) т.к. он не помещается в bigint, а при записи обратно в БД, тип меняется на Float64, т.к. в БД нет decimal

потому что в жаве нет uint

нет беззнаковых ):

Есть

Откройте к примеру Long и удивитесь их реализации )

но эт не то, что в крестах тех же

А можно их как-то добавить?

unsigned

Откройте к примеру Long и удивитесь их реализации )

конечно удивлюсь, такой оп 2^64 лишил положить и все норм; открытие

ток операции надо переопределять наверное

конечно удивлюсь, такой оп 2^64 лишил положить и все норм; открытие

Ну для этого есть BigInt )

Ложи скок хочешь

хотя не скок хочешь

но я даже цифру эту представить не могу)

наложить то можно сколько хочешь

Откройте к примеру Long и удивитесь их реализации )

релизация не есть стандарт

Что значит не стандарт? Есть спецификация на Integer и он везде одинаковый

Что значит не стандарт? Есть спецификация на Integer и он везде одинаковый

Инт не везде одинаковый...

Что значит не стандарт? Есть спецификация на Integer и он везде одинаковый

и как ты в int впишешь uint

Инт не везде одинаковый...

два чая Вам.

В той же вертике Инт больше, чем лонг Явы...

и как ты в int впишешь uint

Влет вообще

просто все что больше в 2^31-1 будет писаться с отрицательным знаком

просто все что больше в 2^31-1 будет писаться с отрицательным знаком

ты совсем что ле?

а потом сделаешь toString

но опять же

это не переносимо

int не предназначен для хранения uint

у кого nifi стоит в стендэлон режиме, в прод режиме вы по него сколько чего выделяете по ресурсам?

это не переносимо

С чего эт вдруг)

С чего эт вдруг)

ну потому что это потом может сериализоваться

Переносимо ещё как) а ту стринг ну явно нужен свои

и отправляться по сети

И что

ну ты передаёшь счётчик кликов

а потом он должен передаться в протобафе каком в другую систему

и там еще сложиться

Ты ж сишник, не знаешь чтоль как uint кодируется ?

у тебя платформой не опредлено

и размеры для интов не указаны , на разных целевых платформах тоже самое

В джаве размер инта всегда одинаковый

Ты ж сишник, не знаешь чтоль как uint кодируется ?

плюс на разных платформах в сучае переполнения разное поведение может быть

На и порядок байтов в общем случае тоже

В джаве размер инта всегда одинаковый

а почему ты в си тычешь?

На и порядок байтов в общем случае тоже

но ты можешь общаться с внешней системой

с вертикой к примеру, а потом запишешь туда минус, а аналитик сделает какой-нибудь сам полей

и получит неверный результат

да сложно это = неудобно

ну всегда когда типы у тебя и в среде разные, возникают конфузы постоянные

плюс на разных платформах в сучае переполнения разное поведение может быть

Это уже перебор, тут просто нужно соответствие типов данных между системами, как в классическом ETL

Это уже перебор, тут просто нужно соответствие типов данных между системами, как в классическом ETL

ну вот они не соотвествуют

лучше не использовать тогда лонги и использовать инты

что значит не соответствуют

вам надо из одной системы одни типы приводить к другим типам в другой системе

все

плевать, что инт из одной системы не сходится с интом другой

ну вот лонг не соотвествует u64 , значит явно следует запретить ситуации с числами больше u63

ну мож ник имеет ввиду что-то типа такого: https://github.com/nystrom/scala-unsigned/blob/master/src/main/scala/passera/unsigned/ULong.scala

та какая разница, это не переносимо, всё что не переносимо - плохо

потом никогда ошибку не найдете и данные при записи испортите

java long тож не пересносим так-то)

тут нужно определять жесктие правила декодинга

и если они есть, то эт не проблема

причем эти правила от случая к случаю могут изменятся

и вообще у меня нетти потек, я из-за тебя забыл релиз сделать)

How to copy a file to Hdfs cdh5 which is in aws from my local

Do you have access to ssh console on Amazon Master Node server? Is there Ambari installed on cloudera?

Do you have access to ssh console on Amazon Master Node server? Is there Ambari installed on cloudera?

Go to hadoopinrealworld it is giving access to 3node cloudera cluster

hdfs dfs -put localpath hdfspath ?

есть ли тут люди с экспертизой в streamsets dc?

But local for cdh5 is ec2

1) ssh to your ec2 instance where cloudera is located 2) run: hdfs dfs -put /path_to_file /path_to_file_on_hdfs