
Grigory
06.12.2016
17:05:16
да нормально; мне кажется не там время сокращать пытаются)
но мм кто знает как оно поведет себя; нигде нет реальных бенчмарков; как последнее что попытаться замерить можно попробовать
но я не понимаю почему юнион должен быть быстрее

KrivdaTheTriewe
06.12.2016
17:06:24
ну просто задачка уже в моем виде крутиттся и пики резкие тянет

Google

KrivdaTheTriewe
06.12.2016
17:06:52
и еще какое-нибудь
просто на каждый таск ресурсы тратятся, но у меня стойкое ощущение, что просто от того, что мы в цикле будем сериализовать несколько разных сущностей при том,. что сущностей будет оч много, проиграем на JIT компиляции

Grigory
06.12.2016
17:09:12
и функции дольше применяться могут
сложные дополнительные бонусные ифы
интересный вопрос ты задал конечно

KrivdaTheTriewe
06.12.2016
17:11:48
ну я особо в интерналсы не лез, простой логикой пользовался. Я подозреваю, что такое есть смысл делать если размер микробатча маленький

Grigory
06.12.2016
17:12:17
ага; я сейчас мини эпп запустил; это 100% инфа
юнион снижает колво тасков

KrivdaTheTriewe
06.12.2016
17:12:42
снижает
короч говно какое-то получается городить

Grigory
06.12.2016
17:13:30
ну эпп мини, по скорости мне не дало разницы)) возьми время на ресерч и проверь - круто будет)

KrivdaTheTriewe
06.12.2016
17:14:34
вы кстати, как джобы конфигурируете, всё application.config или как-то через scopt какой параметры передаете?

Google

Grigory
06.12.2016
17:16:18
или при старте передаем; -- conf, executors, cores; или дефолтные при разворачивания кластера задаются которые используются в 90% задачах
да и все спарксабмитом;
был опыт когда через глобальные переменные обычным конфом; только который сам копипастил конф файлы с хдфс в рабочую директорию
не знаю даже что удобнее

KrivdaTheTriewe
06.12.2016
17:18:33
ну не, я про другое
там может параметры внутренние для джобы

Grigory
06.12.2016
17:20:22
а, ага; scopt / и конфиги которые таскаются с хдфс
scallaop можно еще но у нее проблемы с лицензией
или он как-то так назывался

KrivdaTheTriewe
06.12.2016
17:24:09
scopt крутой, правда с опшонал валью плохо немножко
ПРовести расчёт , если оно не передано , нужно городить велосипед

Grigory
06.12.2016
17:25:23
есть такой способ: http://stackoverflow.com/a/3183991/1092399
очень простой и классный способ парсить)

Aleksei
06.12.2016
17:26:21
scallop мы юзаем

KrivdaTheTriewe
06.12.2016
17:26:37
после скопта тяжело и непонятно зачем свой вело городить)

Aleksei
06.12.2016
17:26:57
https://github.com/scallop/scallop

KrivdaTheTriewe
06.12.2016
17:27:12
оп оп, скпала оп оп :)

Grigory
06.12.2016
17:27:25
скопт лучше)

Aleksei
06.12.2016
17:27:46
ну хз, тут опять вопрос вкусов видимо
я под скаллоп даже свой маппер на мапу написал без особого головняка

Grigory
06.12.2016
17:28:18
эт да; удобно валидацию и распаковку параметров в скаллопе делать

Google

KrivdaTheTriewe
06.12.2016
17:29:43
нужны линзы
к скоптук
а то всё copy copy copy

Aleksei
06.12.2016
17:30:39
я когда заикнулся про линзы, меня назвали хаскелистом, я не понял надо было обижаться или нет =)

Grigory
06.12.2016
17:31:32
хорошо было бы если бы заиспользовав линзы становился бы хаскелистом

KrivdaTheTriewe
06.12.2016
17:32:34
просто берешь си программу, вторгаешься ей в жвм процесс и правишь кейз класс
@ SCALA МУТАБЕЛЬНА

Grigory
06.12.2016
17:37:34
кстате интересный момент
что файналы, что валы, приватные / не приватные можно менять из си

Ilya
06.12.2016
17:38:36
:D

Vladislav
06.12.2016
18:39:11
Ребята, девушка зашла ??

guga
06.12.2016
18:40:55
Делаем ставки hr это или нет.

Анастасия
06.12.2016
18:41:18
Что такое hr?)

Lev
06.12.2016
18:41:49

Vladislav
06.12.2016
18:41:55
Может это троллинг просто чей-то??

Admin
ERROR: S client not available

?Томат?
06.12.2016
18:42:02

KrivdaTheTriewe
06.12.2016
18:42:31
Го мутить

Google

KrivdaTheTriewe
06.12.2016
18:42:32
Ой

Lev
06.12.2016
18:43:22
а у нас есть ответственные модераторы, которые будут хэштегом помечать окончание флуда?

Aleksei
06.12.2016
18:43:37
делать чтоли нех?

KrivdaTheTriewe
06.12.2016
18:43:46

Lev
06.12.2016
18:44:09
чувствую, что если отойду на минуту, тут будет 200+ сообщений =/

Aleksei
06.12.2016
18:44:33
могу тереть их, чтобы не было обидно

Lev
06.12.2016
18:44:46
хотя… если вброс не пройдёт…
может лучше джавистов позвать?

Vladislav
06.12.2016
18:45:25
Зачем? Я тут

Lev
06.12.2016
18:45:32
или этих… котлинистов…

Andrew
06.12.2016
18:45:40
Ребят, какой есть метод чтобы из двух массивов выбрать одинаковые элементы?

Vladislav
06.12.2016
18:45:40
И на котлине в том числе писал

guga
06.12.2016
18:45:55

KrivdaTheTriewe
06.12.2016
18:45:59
Ребята , а где почитать про хибирнейт , хороший гайд?

Lev
06.12.2016
18:46:36
это такое же пустое множество, как и успешные котлинисты

KrivdaTheTriewe
06.12.2016
18:46:38
Ну вот видите, мой вброс самый лучший

Lev
06.12.2016
18:47:31

Kirill
06.12.2016
18:48:02
странный вопрос, тут ссут на всё, что не связано со скалой и недостаточно функционально

guga
06.12.2016
18:48:03
А вообще, откуда такая не любовь к джавистам?

Aleksei
06.12.2016
18:48:31
опять казачок активизировался )

Google

Oleksandr
06.12.2016
18:49:05
каждый хвалит свое болото

KrivdaTheTriewe
06.12.2016
18:49:10

Lev
06.12.2016
18:49:18

Kirill
06.12.2016
18:49:46
кто тут казачок?