@pomadchin ты у себя storm не юзаешь?

неа

удобнее спарк стримминг научить, т.к. лифтить рдд функции до стримов просто

spark streaming не стримминг )

spark streaming не стримминг )

таки на этот вопрос нельзя ответить однозначно)

@optician_owl а вы у себя что для стримминга юзаете?

флинк

апач заполонил планету)

скорее планета заполонила апач

а что скажет чем они все отличаются?)

а что скажет чем они все отличаются?)

ты про движки потоковые? конкретно в моих задачах спарк и флинк равноценны

да и в моих

а сторм

шторм

он кстати чет не релизился

сомтря про что ты говоришь

год почти

шторм КОР или шторм микробатчинг который

он легаси со слабой производительностью

кароч рулит srpark)

я думаю что основная цель разнообразия стриминговых фреймворков проверить разные подходы

heron как эволюция

ну и они в целом монопенисуальны; может какие-то кейсы конкретные есть; но я не видел примеров и отлично будет если кто-то сюда набросит пример когда что-то значительно лучше чего-то

хм

а херон еще и на dcos есть

ну все герон пушка

есть общеизвестный кейс с лейтенси, где спарк медленее есть различия по пропускной способности у разных движков и различия по функциональности (всякие оконные возможности и джоины к примеру)

вот с последним у себя мы наверное вляпаемся в ближайшее время, тогда будет более конкретный рассказ

хм

давай, держи в курсе

а херон не под апачем?

твиттер

твиттер

бла латенси

пока всё что слышал о нем, что он концептуально сложнее прочих

задач не столько, чтобы все движки перепробовать)

они когда тестировали видимо флинк подумали что невидят особой разницы с остльным и написали свою тулзу

а херон с кафкой как сурс умеет?

кстате я видел в обсуждениях по поводу мува свпарка на 2.12 что твиттер заинтересованы в форсировании задачи на обновление спарка под 2.12

блин, я чем не понимаю

если у них есть херон

кстате я видел в обсуждениях по поводу мува свпарка на 2.12 что твиттер заинтересованы в форсировании задачи на обновление спарка под 2.12

так его ж можно сейчас самому собрать

нах им спарк)

так его ж можно сейчас самому собрать

эт да

слушай а там все депенси вышли под 2.12 на спарк?

хз, у меня собственные еще не могут целиком на 2.12 перейти(

там же чет было с датафреймами муть какаято к томуж (может баги ранней 2.12 конечно)

https://issues.apache.org/jira/browse/SPARK-14220 UP^

целый план

> Cross-publish Kafka for Scala 2.12 %)

да вроде это уже запаблишено

и бриз запаблишен

Jakob Odersky ?

да

устроил родственника)

мне его https://github.com/jodersky/sbt-jni нравится

так что посоветуете

спарк или херон

хаип или то что давно работает )

монгу с аккой?)

очевидно херон не посоветуем за неимением опыта с ним

я просто воздержусь от советов; попробуй оба варианта

что быстрее взлетит то и используй

спарк явно более матюрный проект

ты ж понимаешь, что это надо купить 100 серверов)

почему сто

для теста те 3-5 нод и вперед

но лучше юзай херон, вляпывайся, ищи ответы, контрибьють))

ДА

сделай супер скала апи

ну вас на херон)

а то там нетуть

или сделай свой большой херон на скала нативе

он будет выглядеть как стикер выше?)

красиво?

@optician_owl а у вас есть визуализация стримов?

как все красиво переливается или просто циферки?

первое конечно

я всё хочу запилить для кафки нечто такое но руки не доходят

а так во флинке по этапам есть цифры, нам хватает

ну для кафки стата не сильно интересна

https://hortonworks.com/blog/part-4-sams-stream-builder-building-complex-stream-analytics-apps-without-code/

чет типа такого есть?

вполне интересна как мониторинг с алертами

плюс у меня там еще одна мысль есть

datadog вроде имеет интеграцию с кафкой

если тебе мониторинг интересен

чет типа такого есть?

детально надо смотреть, но возможно это то, что я и хочу сделать

поэтому стоит наверное херон брать

у нас мониторингов сейчас пилотируется... и нет ни одного кто решал бы все мои хотелки

ну эт про мониторинг

а мне интересно именно flow видеть