@hadoopusers

Страница 21 из 182
 
Nick
21.07.2017
19:41:45
А должны?

 
KrivdaTheTriewe
21.07.2017
19:43:04
А должны?
я больше не знаю русскоязычного чата по хадупу , если не здесь , то нигде

 
Nick
21.07.2017
19:44:35
А в чем вопрос был

 
А вижу

Google
 
Nick
21.07.2017
19:45:12
@pomadchin ты зачем смайл с Фомкиным кидаешь?

 
Grigory
21.07.2017
19:45:47
даже не знаю как отреагировать, звучит как комплемент для него, полагаю

 
Nick
21.07.2017
19:46:04
Ну ведь похож

 
Я кстати не понял, зачем переименовывать колонки

 
https://issues.apache.org/jira/plugins/servlet/mobile#issue/HIVE-474

 
Не про это ли?

 
Grigory
21.07.2017
19:48:32
когда делаешь джойн, и у тебя с двух сторон одинаковые имена аолонок, спарк не понимает что к чему джойнить; нужно или уникальное имя или как-то (я не помню просто можно ли так сделать) абс имена указывать

 
Nick
21.07.2017
19:49:39
Это если ты их выбираешь все

 
А зачем? Можно же выбрать сразу нужное

 
Да и алиасы есть

 
Grigory
21.07.2017
19:52:37
Да и алиасы есть
да

 
Nick
21.07.2017
19:54:15
Или он не про hive спрашивал?

 
Честно, вообще вопроса не понял

Google
 
Nick
21.07.2017
19:54:50
Коллеги, подскажите плз. Есть a.join(b, условие, "left). Условие - равенство трех колонок и функция над четвертой. Хочется избежать переименования колонок в втором DF с целью исключения дубликатов имен в результате. Можно как нибудь совместить Seq("col_1", "col_2", "col_3") и вторую функцию в условии? Чтобы это не выглядело ужасно в коде?
Расскажи подробнее что нужно сделать

 
Grigory
21.07.2017
19:55:31
я думал джойн на спаркскуле

 
DF = dataframe

 
Nick
21.07.2017
19:55:53
Аааа

 
Grigory
21.07.2017
19:56:33
ну можно типа df1.col1 = df2.col2 писать (алиасы про которые ты говорил)

 
Nick
21.07.2017
19:58:39
Дык там ж есть sql, вроде даже вполне годный

 
KrivdaTheTriewe
21.07.2017
20:00:28
когда делаешь джойн, и у тебя с двух сторон одинаковые имена аолонок, спарк не понимает что к чему джойнить; нужно или уникальное имя или как-то (я не помню просто можно ли так сделать) абс имена указывать
хайв тоже оч глючил , совсем плохо было , сплошной майндфак был

 
Nick
21.07.2017
20:00:32
@krivdaallstarts нафиг ты акку трогаешь

 
KrivdaTheTriewe
21.07.2017
20:00:44
@krivdaallstarts нафиг ты акку трогаешь
она под мои задачи подходит

 
Nick
21.07.2017
20:01:03
@pomadchin а ты не пробовал Игната трогать?

 
она под мои задачи подходит
Эт какие?

 
KrivdaTheTriewe
21.07.2017
20:02:17
Эт какие?
пользовательские события

 
Nick
21.07.2017
20:02:34
И каким боком тут акка

 
Ты ж хаилоад хочешь

 
KrivdaTheTriewe
21.07.2017
20:02:51
она дистрибутед

 
Nick
21.07.2017
20:03:09
Что с событиям делается?

 
KrivdaTheTriewe
21.07.2017
20:03:35
ну всякие события фиксируются , статусы выставляются , убиваются старые пользователи

 
и по ним инфу запросить можно

 
а что кроме акки тут ?

 
Nick
21.07.2017
20:04:10
Ну и зачем тут акка

Google
 
KrivdaTheTriewe
21.07.2017
20:04:37
не, ну можно на голом нетти все решить и с блокировками там

 
Nick
21.07.2017
20:05:10
Зачем с блокировками?

 
KrivdaTheTriewe
21.07.2017
20:05:57
ну а как? но модель акторов очень естественно на такую задачу ложится

 
Nick
21.07.2017
20:06:33
Зачем?)

 
У тебя ивенты порождают другие ивенты?

 
KrivdaTheTriewe
21.07.2017
20:06:59
да

 
Nick
21.07.2017
20:07:06
А зачем

 
KrivdaTheTriewe
21.07.2017
20:07:35
А зачем
таков мир, взмах бабочки в одном конце мира шатает макабу в гонконге

 
Nick
21.07.2017
20:09:07
У нетти кстати в нормальных случаях не нужны блокировки, там канал к потоку привязан

 
А если взять какой нить епол механизм, то вообще адская кухня получается

 
KrivdaTheTriewe
21.07.2017
20:11:25
эти инструменты слишком примитивны, если работаешь с некоторой бизнеслогикой достаточно сложной , но не фиксированной

 
Nick
21.07.2017
20:12:34
эти инструменты слишком примитивны, если работаешь с некоторой бизнеслогикой достаточно сложной , но не фиксированной
Бизнес логика какого рода?

 
Ты впринципе можешь сунуть портянку кода в воркер треде и ничего страшного не будет

 
Andrey
21.07.2017
20:15:25
я писал про спарк, да :) про датафреймы

 
если джойнить по простому условию равенства колонок, то можно указать Seq("col1","col2","col3")

 
но это не прокатывает, если условие сложнее, например с функциями какими нибудь, или больше меньше там

 
KrivdaTheTriewe
21.07.2017
20:18:21
Ты впринципе можешь сунуть портянку кода в воркер треде и ничего страшного не будет
могу, но зачем , что мне это даст ?модель акторов это то, что мне нужно

 
Andrey
21.07.2017
20:18:35
и во втором случае если ты пишешь a.join(b, a("col1") === b("col1"), ... ), то в результате будет две колонки с одинаковым именем

 
поэтому вопрос был можно ли этого как то избежать :)

 
кроме как переименовать колонки одного из DF и впилить несколько строк условия

Google
 
Andrew
21.07.2017
20:20:19
а если после джойна добавить drop(b("col1")) ?)

 
Andrey
21.07.2017
20:20:33
то будет исключение

 
тк спарк не поймет какую колонку дропнуть :)

 
Andrew
21.07.2017
20:21:21
так вы же указываете, что drop(b("col1"))

 
Andrey
21.07.2017
20:21:54
что касается sql пути - да, безусловно можно делать sql(.... join ...) но в случае сложных трансформаций код начинает походить на какое то говно :X

 
Andrew
21.07.2017
20:22:00
не drop("col1"), а drop(b("col1"))

 
Andrey
21.07.2017
20:22:14
так она больше не b("col1")

 
а просто col1

 
хотя я так вроде не пробовал

 
надо будет проверить :)

 
Andrew
21.07.2017
20:22:44
я буквально сегодня так делал, всё работало)

 
Andrey
21.07.2017
20:22:58
о, круто тогда :)

 
спасибо

 
Andrew
21.07.2017
20:23:07
не за что

 
Nick
21.07.2017
20:55:13
могу, но зачем , что мне это даст ?модель акторов это то, что мне нужно
Реализация прост не самая лучшая.

 
KrivdaTheTriewe
21.07.2017
21:09:17
Реализация прост не самая лучшая.
чем тебе она не устраивает

 
Nick
21.07.2017
21:13:18
нет контроля за исполнением)

 
@pomadchin лол, кароч он меня в projvm забанил. @vndzzz и не говори после этого, что это был переход на личности

 
Andrey
22.07.2017
06:20:49
троли везде троли >.<

 
Nick
22.07.2017
06:28:42
Эт очень удобное слово для бана всех подряд

Google
 
Nick
22.07.2017
06:32:12
@pomadchin полюбас ты идею ему скинул))

 
Grigory
22.07.2017
06:33:39
не)

Страница 21 из 182