Хороший код попадает на гитхаб а плохой куда?

в энтерпрайз

в прод

на sourceforge

Хороший код попадает сразу в рай для хорошего кода, поэтому в реальности его не найти

На порнохаб

govnokod.ru ещё есть

хороший код - отсутствие кода ж

О там php восновном)

Привет котаны, что сейчас в тренде?

akka и mongodb

vue.js еще

в прод

соу тру

друзья, а кто-то запускает на спарке свое приложение целиком? типа, набольшой рест сервис, чтобы дергать ad hoc запросы?

стриминг или батч процессинг?

не, обычное akka-http приложение, которое висит и делает запросы, как к обычной БД

но только вместо БД - спарковый контекст

Мне очень понравилась строчка в sbt для 1.0-beta Scala version used by the build is updated to 2.10.6. #2311 by @eed3si9n

друзья, а кто-то запускает на спарке свое приложение целиком? типа, набольшой рест сервис, чтобы дергать ad hoc запросы?

я запускаю. У нас спарк апп висит как лонг ранниг сервис. При этом является частью акка кластера. Принимает сообщение, выполняет джобы параллельно, ждет дальше. Не совсем akka-http, но принцип тот же.

а вопрос какой?

Да вопрос просто узнать насколько продакшн реади. Во всех примерах - или стриминг, или батч, или какой-то Джоб сервер сбоку

Да вполне себе отлично. Есть бока в керберос кластере, но решаемы, в целом.

Spark job server был той еще лажей. Сейчас не знаю. Последний раз туда смотрел год назад.

Он тогда вообще не сапортил сабмит джоб в пределах одного спарк контекста. Хоть это вроде сделали

окей, спасибо. буду тестить

окей, спасибо. буду тестить

ты пиши если что. Мы довольно много граблей собрали со спарком на проде.

ты пиши если что. Мы довольно много граблей собрали со спарком на проде.

какие, например?

что первое в голову пришло. по секьюрити части: 1. вечная проблема с делегейшен токенами. 2. очень кривая поддержка impersonation'a (могу подробнее об этом, если интересно). общие спарковские бока: 1. Постоянная борьба с коджен эксепшенами. Особенно если датасет очень широкий, и ты пытаешься перегнать RDD в DataFrame. 2. Мелкие траблы со схемой, например точки в именах колонок. Пробелы в именах колонок, когда источник данных - CSV, а сохранить ты хочешь в паркет. И тд и тп. 3. Встроенный CSV ридер - это обнять и плакать, к сожалению. Поддерживает довольно ограниченное количество видов датасетов. А выведенных настроек чуть менее чем недостоачно, чтоб хендлить коннер кейсы. 4. поддержка UDAF. полное разочарование, пришлось отказаться. 5. и многое многое.

то есть спарк очень крут. но как только делаешь что-то дальше word count, начинается борьба. Борьба с самим спарком, а не реализацией логики.

все время пытаешься обойти ограничения, или не самый удачный дизайн

с кешированием были бока точно. Не помню точно что, но упиралось в ограничения по размеру, когда спарк сбрасывал данные на диск.

интересно, спасибо

Мне очень понравилась строчка в sbt для 1.0-beta Scala version used by the build is updated to 2.10.6. #2311 by @eed3si9n

Эм, они же хотели на 2.11 или 2.12 переехать? или это в моих снах было?

Эм, они же хотели на 2.11 или 2.12 переехать? или это в моих снах было?

ну офф чейджлог для беты4 :) а хотеть то хотели , наверное

Если релиз будет с 2.10, это будет полный провал

а с другой стороны, какая разница?

если это какой-то бинарь

https://t.me/jvmchat

у нас тут дискуссия появилась

когда нужны мохнады в прикладнухе

милости просим шарящих присоединиться к обсуждению

пусть сюда идут

https://t.me/scala_ru <---- большой выбор монад и аппликативных функторов на любой вкус!

@like

что первое в голову пришло. по секьюрити части: 1. вечная проблема с делегейшен токенами. 2. очень кривая поддержка impersonation'a (могу подробнее об этом, если интересно). общие спарковские бока: 1. Постоянная борьба с коджен эксепшенами. Особенно если датасет очень широкий, и ты пытаешься перегнать RDD в DataFrame. 2. Мелкие траблы со схемой, например точки в именах колонок. Пробелы в именах колонок, когда источник данных - CSV, а сохранить ты хочешь в паркет. И тд и тп. 3. Встроенный CSV ридер - это обнять и плакать, к сожалению. Поддерживает довольно ограниченное количество видов датасетов. А выведенных настроек чуть менее чем недостоачно, чтоб хендлить коннер кейсы. 4. поддержка UDAF. полное разочарование, пришлось отказаться. 5. и многое многое.

Все претензии сводятся к тому что у вас кривые данные и у них кривые дата фреймы

Имхо, самое кривое место у спарка - это его стриминг. Чо-то не верится что он хоть какую-то нагрузку держит.

ничего не скажу за стримминг, особенно структурированный

Все претензии сводятся к тому что у вас кривые данные и у них кривые дата фреймы

ну тогда все в жопе. Потому что некривых данных не существует :)

если у вас конечно не 3 колонки в датасете

Имхо, самое кривое место у спарка - это его стриминг. Чо-то не верится что он хоть какую-то нагрузку держит.

3к событий в секунду

не знаю, много это или мало, на двух экзекьюторах хорошо живёт

Там только с рейтом проблемы, в том плане, что нужно знать нагрузку заранее, динамически ресурсы не выделяются

Там только с рейтом проблемы, в том плане, что нужно знать нагрузку заранее, динамически ресурсы не выделяются

Так есть же динамический алокейшен в спарке с ярном. Или не работает со стриммингом?

ну ты для кафки рейт же максимальный всё равно задаешь пер екзекьютор

Ааааа, кафка

аааа в Африке кафка вот такой ширины

аааа в Африке кафка вот такой ширины

я сейчас чуть не умер

https://github.com/linuxkit/linuxkit/blob/master/docs/security.md#type-safe-system-daemons эх, и ни слова про скалу %)

скаланатив спешит на помощь

поскорее бы её заметили

а то щас весь линукс на тайпсейф языки перепишут, а скалка не у дел!

как джависту объяснить , что null это не оч наиболее эфективно

как джависту объяснить , что null это не оч наиболее эфективно

In 2009 C.A.R. Hoare stated[7][8] that he invented the null reference in 1965 as part of the Algol W language. In that 2009 reference Hoare describes his invention as a "billion-dollar mistake": I call it my billion-dollar mistake. It was the invention of the null reference in 1965. At that time, I was designing the first comprehensive type system for references in an object oriented language (ALGOL W). My goal was to ensure that all use of references should be absolutely safe, with checking performed automatically by the compiler. But I couldn't resist the temptation to put in a null reference, simply because it was so easy to implement. This has led to innumerable errors, vulnerabilities, and system crashes, which have probably caused a billion dollars of pain and damage in the last forty years.

как джависту объяснить , что null это не оч наиболее эфективно

"не оч наиболее эфективно"

ERROR: S client not available

если ты так обьясняешь, то вообще никому ничего не обьяснишь

не только лишь всем

как джависту объяснить , что null это не оч наиболее эфективно

Скажи, что для того чтобы это не делать даже Option в Java завезли

Но вообще есть же jvm языки, которые активно используют null как first-class value, тот же clojure или..... Kotlin возможно

Друзя, есть мастера akka-streams, можете посоветовать? Мне нужно создать Source, который будет по сути рекурсивно конкатенировать несколько Source, и параметры, с которыми будет создаваться каждый следующий Source, будут известны только по завершению предыдущего.

Scalalaz #19 - Гомотопический http://scalalaz.ru/series-19.html

как джависту объяснить , что null это не оч наиболее эфективно

сначала нужно у него узнать, какая эффективность имеется ввиду

Друзя, есть мастера akka-streams, можете посоветовать? Мне нужно создать Source, который будет по сути рекурсивно конкатенировать несколько Source, и параметры, с которыми будет создаваться каждый следующий Source, будут известны только по завершению предыдущего.

я бы смотрел в сторону Source.unfoldAsync

я бы смотрел в сторону Source.unfoldAsync

Не особо получается - он заставляет полностью материализовать каждый сорс

А гость 19-го выпуска подкаста в чатике есть?

Который Дмитро Митин

А гость 19-го выпуска подкаста в чатике есть?

Да. @DmytroMitin

Спасибо ?

Не особо получается - он заставляет полностью материализовать каждый сорс

Не вижу возможности по-другому получить параметры из предыдущего сорса

http://www.scala-lang.org/news/releases-1Q17.html

http://docs.scala-lang.org/sips/completed/trailing-commas.html?_ga=1.58152168.355225214.1482148898

Ну теперь-то заживём!

Ну теперь-то заживём!

в тайплевельном давно было

в тайплевельном давно было

Там много что давно, но не во всех есть дух бунтарства :(

чёт в последнем скалалазе печально со звуком, особенно у гостя

Кстати, два вопроса: чем слушать по списку подкасты на Андроиде? И зачем убрали оглавление со всеми подкасты и?

https://softwaremill.com/comparing-scala-relational-database-access-libraries/

а кто как собирает логи со спарка в облако?

https://github.com/typelevel/cats/issues/1617

Кстати, два вопроса: чем слушать по списку подкасты на Андроиде? И зачем убрали оглавление со всеми подкасты и?

Я юзаю beyondpod

Есть знатоки макросов? Имею: trait Transaction[+T] trait TransactionWrapper[Tx[_] <: Transaction[_], N[_]] { def wrap[T](repr: N[T]): Tx[T] def unwrap[T](tx: Tx[T]): N[T] } case class LocalDBIOTransaction[T](dbio: DBIO[T]) extends Transaction[T] Есть подобный бойлерплейт: implicit object LocalDBIOTransactionWrapper extends TransactionWrapper[Transaction, DBIO] { override def wrap[T](repr: DBIO[T]): Transaction[T] = LocalDBIOTransaction(repr) override def unwrap[T](tx: Transaction[T]): DBIO[T] = tx match { case LocalDBIOTransaction(dbio) => dbio } } Пишу макрос: def instance[Tx[_] <: Transaction[_], N[_]]: TransactionWrapper[Tx, N] = macro transactionWrapperImpl[Tx, N] def transactionWrapperImpl[Tx[_] <: Transaction[_], N[_]](c: blackbox.Context) (implicit txTag: c.WeakTypeTag[Tx[_]], nTag: c.WeakTypeTag[N[_]]): c.Expr[TransactionWrapper[Tx, N]] = { import c.universe._ val txTpe = txTag.tpe val nTpe = nTag.tpe val txTermNme = TermName(txTpe.typeSymbol.name.toString) c.Expr[TransactionWrapper[Tx, N]]( q""" new TransactionWrapper[$txTpe, $nTpe] { override def wrap[T](repr: $nTpe[T]): $txTpe[T] = $txTermNme[T](repr) override def unwrap[T](tx: $txTpe[T]): $nTpe[T] = tx match { case ${cq"$txTermNme(repr) => repr"} } } """ ) } TransactionWrapper.instance[LocalDBIOTransaction, DBIO] В последней строке ругается, что Any does not take type parameters. Дело не в реализации методов, пробовал менять на ??? - то же самое. Возможно что-то в сигнатурах, но что?

при этом в логе выглядит всё хорошо, если этот код вставить в файл - он компилится http://prntscr.com/ey5kzw

Спасибо, попробую. У меня Смарт как читалка, поэтому детский вопрос.

Спасибо, попробую. У меня Смарт как читалка, поэтому детский вопрос.

У меня podcast addict

Из платных Pocket Casts лучший.

https://github.com/typelevel/cats/issues/1617

во кстати, к вопросу о сырости котов