https://github.com/saurfang/sbt-spark-submit ?

что-то бесполезное ):

что-то бесполезное ):

ну оно по идее и сделано, чтобы дописывать твои депенденси в сабмит

фактически надо ориентироваться на хадупо класспаф; он там сто лет одинаковый уже при "правильной" установке спарк должен палить класпаф хадупа

Но я словил не хадупо проблему , тут чисто скалавская библиотека

без сраных ассемблей, которые сами по себе ещё требуют ритаулов

без сраных ассемблей, которые сами по себе ещё требуют ритаулов

https://github.com/saurfang/sbt-spark-submit/blob/master/examples/sbt-assembly-on-yarn/project/plugins.sbt#L7

https://github.com/saurfang/sbt-spark-submit/blob/master/examples/sbt-assembly-on-yarn/project/plugins.sbt#L7

это только начало

Привет! Кто-нибудь закручивал slick streaming из mysql в akka stream source? Я выгуглил все возможные хаки для того, чтобы streaming был streaming'ом и не выгружал данные сначала в память, но все равно не заводится, через какое-то время gc сходит с ума Делаю следующее val mldb = Database.forConfig("db.mldb") val enableJdbcStreaming: (java.sql.Statement) => Unit = { statement ⇒ if (statement.isWrapperFor(classOf[com.mysql.jdbc.StatementImpl])) { statement.unwrap(classOf[com.mysql.jdbc.StatementImpl]).enableStreamingResults() } } val searchRequests = mldb.stream( DataModel.searchRequests.result.transactionally.withStatementParameters( fetchSize = Integer.MIN_VALUE, rsType = slick.jdbc.ResultSetType.ForwardOnly, rsConcurrency = slick.jdbc.ResultSetConcurrency.ReadOnly, statementInit = enableJdbcStreaming) ) val flow = Source.fromPublisher(searchRequests) .runForeach { ...тут пока просто переливка в csv файл для простоты... }

https://github.com/saurfang/sbt-spark-submit/blob/master/examples/sbt-assembly-on-yarn/project/plugins.sbt#L7

потом ты пишешь отдельный sbt на две страницы, о том как конкатенировать конфиги

потом ты пишешь отдельный sbt на две страницы, о том как конкатенировать конфиги

да и это нормально; такое ощущение что ты как-то по-другому мердишь конфиги жирных жарников не спаркоспецифичные

и тебе прям нужен жирный джарник

да и это нормально; такое ощущение что ты как-то по-другому мердишь конфиги жирных жарников не спаркоспецифичные

да, я их не мержу

ну я мержу почти все 4 строчным мержом

большинство тех, кто умеет читать конфиги, умеют сами читать и мержить множественные ресурсы, включая тайпсейф, логбэк и т.п.

поэтому обычный packageBin работает в 15 раз быстрее, не требует отслеживания хитрых багов от того, что ты выбросил то, что нужно смержить или наоборот

да, packageBin в некоторых случаях хорош; особенно в случае клаудеры где у них ограничение на длину названия файла

а главное, не вызывает конфликтов, если попытаться с этим джарником использовать другой, юзающий другие версии либ

в общем, ассембли-дно

Да, спасибо, собрать жирный джарник и скормить его получилось, правда пришлось добавить "provided" к либам Spark "org.apache.spark" %% "spark-core" % "2.1.0" % "provided", "org.apache.spark" %% "spark-sql" % "2.1.0" % "provided", проблема решилась, но я хочу попробовать ещё поразбираться с зависимостями, ибо: 1) assembly выполняется дольше, нежели package 2) это чуток "костыль" сейчас попробоую с другими либами в зависимостях

Да, спасибо, собрать жирный джарник и скормить его получилось, правда пришлось добавить "provided" к либам Spark "org.apache.spark" %% "spark-core" % "2.1.0" % "provided", "org.apache.spark" %% "spark-sql" % "2.1.0" % "provided", проблема решилась, но я хочу попробовать ещё поразбираться с зависимостями, ибо: 1) assembly выполняется дольше, нежели package 2) это чуток "костыль" сейчас попробоую с другими либами в зависимостях

Ну провайдед не костыль )

это зависимости которые ты не хочешь включать в джарник

я его добавил из-за того, что assembly так просто не хотел собираться там были deduplication found error-ы

для этого тесть стратегии мерджа

https://github.com/sbt/sbt-assembly#merge-strategy

Привет! Кто-нибудь закручивал slick streaming из mysql в akka stream source? Я выгуглил все возможные хаки для того, чтобы streaming был streaming'ом и не выгружал данные сначала в память, но все равно не заводится, через какое-то время gc сходит с ума Делаю следующее val mldb = Database.forConfig("db.mldb") val enableJdbcStreaming: (java.sql.Statement) => Unit = { statement ⇒ if (statement.isWrapperFor(classOf[com.mysql.jdbc.StatementImpl])) { statement.unwrap(classOf[com.mysql.jdbc.StatementImpl]).enableStreamingResults() } } val searchRequests = mldb.stream( DataModel.searchRequests.result.transactionally.withStatementParameters( fetchSize = Integer.MIN_VALUE, rsType = slick.jdbc.ResultSetType.ForwardOnly, rsConcurrency = slick.jdbc.ResultSetConcurrency.ReadOnly, statementInit = enableJdbcStreaming) ) val flow = Source.fromPublisher(searchRequests) .runForeach { ...тут пока просто переливка в csv файл для простоты... }

либо бить в бубен по примеру https://github.com/slick/slick/issues/1218 либо делать костыльный стриминг через получение данных чанками при помощи limit\offset

для этого тесть стратегии мерджа

спасибо, буду знать!

> @leammas стриминг через получение данных чанками при помощи limit\offset Ага, вот те хаки и пробовал, как раз Вот и пытаюсь OFFSET избежать, на том сете, который обрабатываю, оно убийственно

кто-нибудь в курсе - есит ли способ сериализовать не экземляр класса, а именно сам класс Class[_] ?

fqcn ?

это же все что описывает класс. Или я неправильно тебя понял. И ты хочешь переслать класс туда где его нет?

переслать-сохранить не важно. но суть да - есть класс который скомпилен в рантайме по шаблону (естественно это перформанс ради), компилировать каждый при старте сотню шаблонов - дело накладное. поэтому хочется закешировать результат. скомпилить через скалац через внешний процесс тоже конечно можно, но хочется сначало посмотреть нет ли варианта попроще через рантайм)

Звонили с Тинькофф банка. Предлагают работу (я им отправлял резюме раньше). Я отказался, но ради интереса попросил рассказал подробнее о вакансии. Девушка мне отвечает: "Нам нужен торговый представитель со своей машиной для работы с клиентами" Забавная ситуация

случай когда лучше не спрашивать

Звонили с Тинькофф банка. Предлагают работу (я им отправлял резюме раньше). Я отказался, но ради интереса попросил рассказал подробнее о вакансии. Девушка мне отвечает: "Нам нужен торговый представитель со своей машиной для работы с клиентами" Забавная ситуация

:))

Это на мидла или сеньора?)

Хахаха

демпингуют рынок скалы

Это на мидла или сеньора?)

Solution Architect

Звонили с Тинькофф банка. Предлагают работу (я им отправлял резюме раньше). Я отказался, но ради интереса попросил рассказал подробнее о вакансии. Девушка мне отвечает: "Нам нужен торговый представитель со своей машиной для работы с клиентами" Забавная ситуация

Соглашаися неглядя

Звонили с Тинькофф банка. Предлагают работу (я им отправлял резюме раньше). Я отказался, но ради интереса попросил рассказал подробнее о вакансии. Девушка мне отвечает: "Нам нужен торговый представитель со своей машиной для работы с клиентами" Забавная ситуация

так а опыт скалы какой нужен? монады, коты, скалаз - вот это всё?

так а опыт скалы какой нужен? монады, коты, скалаз - вот это всё?

опыт олега нужен; плюсом будет наличие карточки тинькоффа

Не пытайся покинуть, главное

Звонили с Тинькофф банка. Предлагают работу (я им отправлял резюме раньше). Я отказался, но ради интереса попросил рассказал подробнее о вакансии. Девушка мне отвечает: "Нам нужен торговый представитель со своей машиной для работы с клиентами" Забавная ситуация

Ну если там со Scala только в водители берут, то что будет если java резюме послать

Ну если там со Scala только в водители берут, то что будет если java резюме послать

Возьмут смотрящий за кухней, что бы люди не ели больше часа в день.

Такие уже есть

кто-нибудь в курсе - есит ли способ сериализовать не экземляр класса, а именно сам класс Class[_] ?

вобщем класс порожденный через toolbox.compile прекрасно вычленяется через compiledClass.getClassLoader.getResource(compiledClass.getName.replace('.','/')+".class").openStream() - байтики сохраняем куда хотим, потом прекрасно грузим через обычный URLClassLoader. только надо compiledClass.name тоже кешировать ибо он там страшный сильно)

А как насчёт Typed Actors ?

кто нибудь использует ?

Пипл, я туплю что-то. Есть какая-то сериализация объектов в строку/байтсиквенс, чтобы при десериализации оно само выдавало объект нужного типа. И чтобы без костылей типа таких: trait WsMessage case class Letter(from: String, to: String, text: String) extends WsMessage case class Auth(from: String) extends WsMessage . . . def decode(wsJson: String): Option[WsMessage] = { val parseResult: Try[WsMessage] = Try(parse(wsJson).extract[WsData]) flatMap { case WsData(WsDataType.LETTER, data) => Try(parse(data).extract[Letter]) case WsData(WsDataType.AUTH, data) => Try(parse(data).extract[Auth]) case WsData(_, _) => Failure(new WrongIncomingData) } parseResult match { case Success(wsMessage) => Some(wsMessage) case Failure(_) => None } }

Пипл, я туплю что-то. Есть какая-то сериализация объектов в строку/байтсиквенс, чтобы при десериализации оно само выдавало объект нужного типа. И чтобы без костылей типа таких: trait WsMessage case class Letter(from: String, to: String, text: String) extends WsMessage case class Auth(from: String) extends WsMessage . . . def decode(wsJson: String): Option[WsMessage] = { val parseResult: Try[WsMessage] = Try(parse(wsJson).extract[WsData]) flatMap { case WsData(WsDataType.LETTER, data) => Try(parse(data).extract[Letter]) case WsData(WsDataType.AUTH, data) => Try(parse(data).extract[Auth]) case WsData(_, _) => Failure(new WrongIncomingData) } parseResult match { case Success(wsMessage) => Some(wsMessage) case Failure(_) => None } }

pushka

О! Спасибо! Жаль, конечно, что json. Хотелось бы в нечитаемом виде хранить

ты же сам привел пример в жсоне и одна из опций была "строка"

для бинарика если случай простой, то и обычная ява сериализация подойдет

ой, а pushka не подходит... вот в примере read[User](json)

а я не знаю, что там User

ты же сам привел пример в жсоне и одна из опций была "строка"

это я привёл пример с классом обёрткой

это я привёл пример с классом обёрткой

она вроде как наследников подхватывает сама. @fomkin подскажет

А как насчёт Typed Actors ?

они ж вроде ещё недоделаны

О! Спасибо! Жаль, конечно, что json. Хотелось бы в нечитаемом виде хранить

circe еще глянь)

они ж вроде ещё недоделаны

По-моему akka-typed недоделана, а proxy-based typed actors доделаны, хотя и говно

По-моему akka-typed недоделана, а proxy-based typed actors доделаны, хотя и говно

А че там недоделанно?

О! Спасибо! Жаль, конечно, что json. Хотелось бы в нечитаемом виде хранить

kryo

или https://github.com/suzaku-io/boopickle

ERROR: S client not available

протобуф там еще

сейчас выбирать буду)

По-моему akka-typed недоделана, а proxy-based typed actors доделаны, хотя и говно

Да я про proxy-based Похоже на то, а чем они плохи ?

как-то тут тихо сегодня...

Работа.

Праздник, правда, непрофессиональный

Служивших много наверное здесь, в ридонли сидят просто

коси@забивай

А, что в РФ 23 февраля — выходной?

да

и ещё 3 дня потом

И 24?

Недавно узнал, что сооснователь Хекслета Кирилл Мокевнин 2 года отслужил в Президентском Полку

И отрабатывать не надо?

И там вообще жесткач творился

Дедовщина, уставщина вот это вот все

И 24?

там перенесли с какого-то января

Дедовщина, уставщина вот это вот все

да ужос, нафиг так жить

в 2017 служить

такое себе

о, у меня знакомый как-то писал воспоминания про армию, очень годно

но он служил 9 месяцев, в Украине + музыкантом

Я служил в армии :/ даже шрам с "темной" остался

У нас все не так жестко как у Кирилла было конечно

если кому интересно http://pipilit.net/army-all.pdf

Но тоже дедовщина: жизнь по понятиям и традициям, "борзые", "бичи" и очень много еще всего

https://security.googleblog.com/2017/02/announcing-first-sha1-collision.html

Но тоже дедовщина: жизнь по понятиям и традициям, "борзые", "бичи" и очень много еще всего

а сколько лет назад служил?

зима 2012-2013

https://developer.valvesoftware.com/wiki/Dota_Bot_Scripting

Омг, а зачем это?