Editor’s Note: Mesos integration is not currently supported by Cloudera, thus the setup described below is not recommended for production use.]

а нах тебе клаудера

чтоб мастшабировалось и отлично манагилось

энтерпрайз же, а не облако

ну мы пытались динамически хдфс свой + хбейз свой + зукиперы на дсос и это было не тривиально

зукипер там сразу поднимается

hdfs ставится на самом деле 1 командой

зукипер это ты сам руками кога ноды дсос поднимаешь

он в universe есть

хдфс это только та которая там

а если я хочу свою

почему только та

делаешь docker образ и вперед

ничего подобного

именно поэтому там есть всякая херня типа калико

или можно даже без докера со своим юниверсом

которая провикдывает сетку еще локальную между контейнерами

именно поэтому там есть всякая херня типа калико

да блин, у нас сейчас все эт есть и работает

ничоси

работает дсос значет уже

сетку мезось прокидывает

надо пробовать опять.

ну не та

dcos прост обертка ж

я хочу скажем 2 ноды на одной тачке

ну тип ты понял

2 ноды чего

пошарить ресурсы больших тачек

скжаем у мя 4 жирных тачки я на них хочу 8 нод спарка

именно поэтому там есть всякая херня типа калико

вопрос, есть опыт работы с pipe ? в спарке, как вообще лучше организовать подход использования моделей написанных на питоне в спарке? пока ток pipe юзаем

воркеров*

скжаем у мя 4 жирных тачки я на них хочу 8 нод спарка

и?

есть для этого constraints)

ну это из коробки не взлетит; надо калико накидывать?

и вот к примеру у мя свои контейнеры

взлетит все

ну я вот год назад пробовал и для этого мне нужна была калико / вив которые не работали тогда

я не пробовал кафку, но эт точно не проблема ее поднять и прибить гвоздями

кафка?

тьфу

кафку я как раз пробовал

спарк)

я конечно понимаю что за год чтото они сделали; но я так понял они больше в $ пошли; эсли ты говоришь что можно раскинуть дсос и сделать то что мне надо то пойду пробовать

да и контейнеры не надо никак спецом приготавливать?

нет

хотя...

отлично м

марофоном пихать их?)

в dcos есть своя морда под ней марафон

к примеру раньше кассандра она оч странно раскидывалась они использовали свой апи чтоб развренуть касандру

да он по адресу /марафон спс)

ну в юниверсе там сейчас есть

там образы часто магию делают

ну постой мне вот не нужен юниверс) мне свои дистры нужны)

да я вот заметил и это не всегда подходит.

ну своим можно

не проблема

мы вот консул свои делали

эт ОС?

сейчас элк скорее всего свои сделаем и в юниверс сунем

или приват

а ну юниверс

а там над с апи каким взаимодействовать?

не, там в юниверсе не все работает

точнее может и работает, но не так как мы хотели бы

поэтому мы сейчас готовим свои json и докер образы)

и потом pr

ERROR: S client not available

вот у нас rabbitmq еще свои

и zipkin походу

ну лан; но короче раньше было гораздо проще стартануть ранчер и поддерживать его

мб дс ос сейчас прелестнее

а дс ос со своей магией; кассандра оч странно там бутстрапилась

ме

может быть

ну эт и логично, это ж stateful апликуха)

но вот с докером у нас реально постоянно е***

даже universal container, который experimental, работает лучше

ну эт и логично, это ж stateful апликуха)

да и спарк там интересный свой. (тесный мезоспарк)

https://github.com/mesosphere/universe/tree/version-3.x/repo/packages/S/spark/25

ну да, не простой)

вот у нас rabbitmq еще свои

кстати говоря, сталкивались с проблемами с пропускной способностью? что-то быстро очереди и коннекшны уходят во flow, а пока не ясно, куда копать

какую идею можно придумать для пет-проекта на скале для освоения? чтобы можно было поиграться с типами и попробовать какую-нибудь библиотеку типо cats, но в то же время без интенсивного использования java и необходимости разбираться в каких-то сторонних протоколах/драйверах(привет, телеграм боты)

кстати говоря, сталкивались с проблемами с пропускной способностью? что-то быстро очереди и коннекшны уходят во flow, а пока не ясно, куда копать

нет, он у нас на легке работает

какую идею можно придумать для пет-проекта на скале для освоения? чтобы можно было поиграться с типами и попробовать какую-нибудь библиотеку типо cats, но в то же время без интенсивного использования java и необходимости разбираться в каких-то сторонних протоколах/драйверах(привет, телеграм боты)

я выше предлагал

докер на скале ?

какую идею можно придумать для пет-проекта на скале для освоения? чтобы можно было поиграться с типами и попробовать какую-нибудь библиотеку типо cats, но в то же время без интенсивного использования java и необходимости разбираться в каких-то сторонних протоколах/драйверах(привет, телеграм боты)

json парсер

я пока матрицы считаю )

докер не годится, чувак только scala for the impatient прочитал, ему бы освоить сам язык и его фишки, с фп как таковым он очень хорошо знаком

тоже хотел предложить парсер, но вообще можно брать любой проект из красной книжки и допиливать до готовности либо пока не надоест

докер не годится, чувак только scala for the impatient прочитал, ему бы освоить сам язык и его фишки, с фп как таковым он очень хорошо знаком

парсер c headers file и генерация оберток для scala-native)

https://github.com/frgomes/scala-bindgen

вот типа это

только, юзать clang c api, а не cpp

парсер c headers file и генерация оберток для scala-native)

да там уже хардкор какой-то, хочется придумать что-то несложное и не такое тяжеловесное, но чтобы можно было посидеть поиграться с более скажем так теоретической частью языка

там не сложно

есть clang api

для него над просто сделать обертки и написать текстом scalafile

ты походу хочешь меня подбить, чтобы я чувака заставил сделать то, что тебе хочется но лень))

да