но мое мнение - достаточно ci чтоб в контейнерах ранил все под нужной весрией оси / докера; локлаьно то в жопу вагрант)

@pomadchin да все проще, юзай sbt nativepackager и пусть он делает образы)

а я кстате не сторонник его

это лучше, чтоб дятлы докерфайл писали)

а вообще у меня ниразу не было таких проблем

у нас везде докеры прост новые

@pomadchin тащи уже к себе dcos

будем вместе контрибьютить

докерсбт это оч хорошо, а что помадчин не юзает, так это всё уже (

вопрос знатокам - https://stackoverflow.com/questions/46153105/how-to-get-kafka-offsets-with-spark-structured-streaming-api

решил попробовать заюзать structured streaming

и как успехи?

Пока только щупаю

Пока только щупаю

как только появится свежая версия спарка впилю у нас и никому не скажу :D

так в 2.2.0 вроде сказали, что production ready

ну честно говоря, смотрю на этот код есть такое чувство, что Спарк уже не тот

Proposed API Some concerns: The best way to keep Java compatibility is writing the API in java. It’s easy to deal with Java classes/interfaces in Scala, but not vice-versa.

с одной стороны это нормально, кафка уже проходила через это с другой стороны это больше айбиэмовских кодеров, так как он один из самых активных контрибьютеров %)

ну вот есть подозрение, что будет куча каких-то абстракций и кровавый энтерпрайз в итоге

Proposed API Some concerns: The best way to keep Java compatibility is writing the API in java. It’s easy to deal with Java classes/interfaces in Scala, but not vice-versa.

полностью адекватная вещь, имхо держать финальный апи на джаве, но подкапотные механизмы на скале — относительно надежный способ снизить полет фантазии скалистов

а то понагородют своих макроимплиситов, потом без пол-литра не разберешь?

зато после поллитры ты уже не понимаешь как жил без этого раньше))

эм, понимаю, чудесно жил)

ну дело в том, что там что интерфейс, что подокапотные механизмы на джаве

кстати, из всего что я видел просто читаю код (сам не щупал только), то мне больше всего понравился Apache Flink

они хотя бы сразу вроде догадались унифицировать batch/streaming

и завезли себе apache calcite вместо самописного оптимизатора в спарке (хотя они гордятся что там всего-ничего скала кода)

дык в спарке тоже calcite

https://github.com/apache/spark/search?utf8=%E2%9C%93&q=calcite&type=

что-то невидно его )

было у них в блоге, что мы сами наеб…ли на скале крутой оптимизатор

что-то да, я думал, там кальцит

рубрика ликбез по спарку http://www.russellspitzer.com/2017/09/01/Spark-Locality/

что сейчас из дистрибуций канонично в облаке использовать?

Dcos

Ты б хоть цели описал

Вопрос скорее , к ак организовать привычный паплайн ( Спарк + ХБЕЙЗ + хайв + хдфс + кафка ) в амазоновском облаке,стоит класические дистрибутивы использовать или есть что-то по-лучше

ХБЕЙЗ + хайв + хдфс собирать самому то еще удовольствие спарк и кафка сбоку

а кто какие сборки юзает? (клаудера, хортон, мапр)

хортон

хортон

клаудера

Какие сборки с хадупом выиспользуете? cloudera – 14 ??????? 45% horton – 11 ?????? 35% свое творчество – 3 ?? 10% другое – 3 ?? 10% mapr ▫️ 0% ? 31 people voted so far.

кто жмякнул "другое" — что именно?)

@krivdaallstarts @pomadchin запиньте опрос

а типа emr

это какая сборка

это "другое"?

типа все тут используют клаудеру и хортон; а амазон никто

где амазон и где кровавый энтерпрайз(

@krivdaallstarts @pomadchin запиньте опрос

дал права, если маневры для бота нужны админов добавлять можно

добавь emr в опрос

В России выгнать энтерпрайз в общее облако... Эх, мечты...

где амазон и где кровавый энтерпрайз(

Вот встал вопрос, что можно в облаке использовать и стоит ли использовать клаудеровскую дистрибуцию в облаке, если локально всё в клаудере

а что если приходится поддерживать и клаудеру, и хортон, и emr, и даже ныне мертвый BigInsights, то что выбирать?

хортон как-то более шустро развивается , если честно (имхо)

честно говоря, начиная с версии так 5.7 Cloudera Manager стала мне намного приятнее, чем Ambari

с другой стороны, интегрировать сервисы юзай питон + API (Ambari) приятнее, чем bash (Cloudera)

питон то питон, но там всё оч криво было

это тоже правда. интерфейсы, скажем так, не оч продуманы

чтобы добавить в мониторинг новую джобу, нужно было извратиться

добавь emr в опрос

я не уверен что можно менять опрос

пусть амазон в другое падает, и так мало по цифрам

https://www.safaribooksonline.com/public/cms2017-ense/?promotion_code=SAVEENSE

0 мапр, неплохо

не ожидал что столько хортона

хотя голосовало мало народу, многие возможно из одной организации

не ожидал что столько хортона

но он реально много где есть сейчас , Хортон по моему опыту приятнее оказался

Мы тестировали обладеру

@krivdaallstarts как вариант ты реально можешь поднять dcos, там в универсе есть и хадуп и кафка и все такое