да

лады, пойду туда, что тут не эфир не засорять

KrivdaTheTriewe нет, спарк эт не хадуп стек

маркетологи считают, что хадуп стек :)

@krivdathetriewe прям на сайте спарка есть?

хадуп стек можно легко продать

очень много легаси на хадупе

а тут бац и новый клеви сочни спарк

можно ж сказать, мы спарк, мы кароч сбоку и умеем хадуп

но можем и без хадупа

ну на сайте спарка нету, на других есть

всё равно , как я понял, все строят решения поверх cdh или hdp, а это явно всё вокруг хадупа

@krivdathetriewe а зачем хадуп ? вот ради hdfs если ток

но мне бы работать удобно с партиционированными таблицами

за партицирование на стороне спарка для хайв таблиц, я не поясню нормально, потому , но вот хайв партицирует бай дизайн нормально, если табличку создать правильно и инсертить в нее данные

но мы вот думаем ceph притащить

я думаю с spark будет хорошо работать

@krivdathetriewe а зачем хадуп ? вот ради hdfs если ток

ну собсвтенно это и есть hdfs + yarn ( как ресурс менеджер)

но мы вот думаем ceph притащить

просто hdp , cdh хорошо мониторятся и работают по-сути из коробки, и разные компоненты нормально работают друг с другом

@krivdathetriewe ну вот можно и без hadoop)

@krivdathetriewe ну вот можно и без hadoop)

не, ну можно конешн )

Я верно понимаю, что Coproduct из котов весьма узкоспециализирован, т.к. работает только для типов с дыркой, где дырка еще и одинаковая? Т.е. не получится заменить им Coproduct из шейплесса просто потому, что мне не хочется его тащить в проект?

Да, там копродукт для функторов

Я верно понимаю, что Coproduct из котов весьма узкоспециализирован, т.к. работает только для типов с дыркой, где дырка еще и одинаковая? Т.е. не получится заменить им Coproduct из шейплесса просто потому, что мне не хочется его тащить в проект?

"тащить" в проект библиотеку - это тяжёлый труд в нынешнее время, понимаю. Но каких возможностей вы хотите от Coproduct? В скале такими типами с дыркой вполне могут быть алиасы из разряда type Id[X] = X или type Const[A, X] = A, так что формально вы мощности не теряете

можно на "ты" :) мне банально нужно показать несколько типов ошибок, и сделать partial match по ним. Утяжелять интерфейс дополнительными типами при этом не хочется

можно на "ты" :) мне банально нужно показать несколько типов ошибок, и сделать partial match по ним. Утяжелять интерфейс дополнительными типами при этом не хочется

вот чтобы не утяжелять дополнительными типами, лучше юзать нормальные копродукты, вот что-то типа примера неправильного использования котокопродуктов https://scalafiddle.io/sf/fhaMAcJ/0

:)

Во-во, сунуть туда Nothing через одно место было первым порывом)

однако, cats.data.Coproduct - это ведь lifted Either, в случае типов первого порядка, чем просто Either не копродукт?

Тем, что он дерево, а я хочу с сахарком)

Тем, что он дерево, а я хочу с сахарком)

какой сахар есть у cats Coproduct и нет у Either?

у Cats, по-видимому, никакого, я думал, там что-то может быть заныкано, о чем я не знаю

т.е. мне именно shapeless-like нужен

ну тогда даже не знаю, стоит ли тащить библиотеку в проект, если нужна именно она

можно просто написать ещё раз то же самое

вот так https://github.com/akka/akka-http/tree/d0b7829dc6d7091cf106dd9b51c4980c82729e70/akka-parsing/src/main/scala/akka/shapeless

а что плохого в зависимости от shapeless?

там так редко что то меняется

вот так https://github.com/akka/akka-http/tree/d0b7829dc6d7091cf106dd9b51c4980c82729e70/akka-parsing/src/main/scala/akka/shapeless

snatchless

а что плохого в зависимости от shapeless?

тут скорее риторический вопрос "зачем тащить что-то, без чего, вероятно, можно обойтись". Но в целом "раз нельзя, то взять и затащить"

У кого-то было такое на scala проекте ?)

И падает постоянно

Idea 2017.1.1, плагин последний

е-мое, что же за проект там такой...

миллионы строк кода?

факториал, наверное

неа, бот для slack

Память где-то течёт?

Не в идее, в программе

программа не запущена

кто-нибудь сдруживал akka-http с Monix Task? Хотелось бы как-то generically, без ручной ковертации во Future

ERROR: S client not available

миллионы строк кода?

22032 строчек

надо профилить наверно, мож бага идеи или плагина

а то как-то мало строк

=)

Память где-то течёт?

А это когда падает при компиляции или дебаге?

это когда просто класс открываешь

У кого-то было такое на scala проекте ?)

не падает, 10гб не жрет

с котлином было что-то похожее

когда-то давно

Гм странно...

может когда пытается ast проекта построить валится? где-то рекурсия какая-то или тип того

хз

Vitalii попробуй сбросить кэши и рестартовать проект

Не ну такой жор памяти я только рекурсией без выхода могу объяснить... Но так чтобы это просто при открытии класса? Гм...

а что не так с жором памяти? это с джава и если у тебя xmx большой, то она резервирует много

кто-нибудь сдруживал akka-http с Monix Task? Хотелось бы как-то generically, без ручной ковертации во Future

trait MonixSupport { implicit def taskToResponseMarshallable[A]( task: Task[A] )(implicit A: ToResponseMarshaller[A]): ToResponseMarshallable = new ToResponseMarshallable { override implicit def marshaller: ToResponseMarshaller[Task[A]] = Marshaller { implicit ec => task => task.runAsync(Scheduler(ec)).flatMap(A(_)) } override def value: Task[A] = task override type T = Task[A] } } object MonixSupport extends MonixSupport

и можешь спокойненько писать complete(someTask)

Nick мне не жалко, пусть кушает просто проект виснет и после этого идея не юзабельная, только убивать процесс раньше давал 2 гб, с этим проектом давал 4-8 теперь 10, сколько бы не давал все сжирается, после открытия класса

благодарю

можно обощить до такого trait MonixSupport { implicit def genericToResponseMarshallable[M[_], A](ma: M[A]) (implicit toResponseMarshaller: ToResponseMarshaller[A], evalMToFuture: M ~> Future): ToResponseMarshallable = new ToResponseMarshallable { override implicit def marshaller: ToResponseMarshaller[M[A]] = Marshaller { implicit ec => ma => evalMToFuture(ma).flatMap(toResponseMarshaller(_)) } override def value: M[A] = ma override type T = M[A] } }

а что не так с жором памяти? это с джава и если у тебя xmx большой, то она резервирует много

Не ну как я понял, у человека проблема просто при открытии класса в IDE?..

Nick мне не жалко, пусть кушает просто проект виснет и после этого идея не юзабельная, только убивать процесс раньше давал 2 гб, с этим проектом давал 4-8 теперь 10, сколько бы не давал все сжирается, после открытия класса

ну посмотри дамп

trait Foo[M[_]] // classOf[Foo[_]] doesn't compile classOf[Foo[M] forSome { type M[_] }] Можно ли это записать проще?

можно обощить до такого trait MonixSupport { implicit def genericToResponseMarshallable[M[_], A](ma: M[A]) (implicit toResponseMarshaller: ToResponseMarshaller[A], evalMToFuture: M ~> Future): ToResponseMarshallable = new ToResponseMarshallable { override implicit def marshaller: ToResponseMarshaller[M[A]] = Marshaller { implicit ec => ma => evalMToFuture(ma).flatMap(toResponseMarshaller(_)) } override def value: M[A] = ma override type T = M[A] } }

ну да, если взять либу effect4s, то там есть type class Async