флоу мне тоже нужен на самом деле это тесно связано с мониторингом

у нас так точно мнго процессов переплетается

выделите уже отдел на эт

в опен сорс

над спарком)

нам больше кафка пока интереснее) людей ищем в принципе, если будет ресурс рабочий, то мож и будет

@optician_owl если есть идея, то можно стартануть проект вне тинькова)

у меня как раз есть хороший реактчик)

ну и они в целом монопенисуальны; может какие-то кейсы конкретные есть; но я не видел примеров и отлично будет если кто-то сюда набросит пример когда что-то значительно лучше чего-то

новый Спарк стримминг оч аппетитно выглядит

есть общеизвестный кейс с лейтенси, где спарк медленее есть различия по пропускной способности у разных движков и различия по функциональности (всякие оконные возможности и джоины к примеру)

у спарка с динамической аллокацией ресурсов при росте потока оч плохо

да; надо предугадывать такое :\

но на задачах , где результат не нужен прям через 10мс очень все ожидаемо себя ведёт и хорошо , поэтому @gurinderu советую тебе со спарка начать , тем более он у тебя по клику мышкой запускается

эт да

заморочки в основ с продьюсерами у спарка

@optician_owl если есть идея, то можно стартануть проект вне тинькова)

инфраструктурный бизнес то еще удовольствие, ну его нафиг лучше в оупенсорс отдать небольшую тулзу, чем ради бизнеса городить отдельных велосипедов, изображая полезный самодостаточный тяжелый продукт

инфраструктурный бизнес то еще удовольствие, ну его нафиг лучше в оупенсорс отдать небольшую тулзу, чем ради бизнеса городить отдельных велосипедов, изображая полезный самодостаточный тяжелый продукт

никто не говорит о бизнесе, можно в опенсорс отдать, а олежке продавать)

никто не говорит о бизнесе, можно в опенсорс отдать, а олежке продавать)

ник выступает как злой демон - искусситель

Ребят, а из Питера есть кто-то сильный в Hadoop или Spark тут, пишущий на Java?

Теперь официально https://rambler-co-e-org.timepad.ru/event/533749/ Приходите сами, зовите друзей и коллег! Ждем всех!

@optician_owl https://www.youtube.com/watch?v=fcTAkGPqa-w

смотрел?)

я не думал, что он бигдатой занимается

не, не видел надо нанять секретаря, чтобы пересказывал кратко содержание всех новых видосов

ну он про спарк говорил

не думаю, что ты для себя чтот новое откроешь)

Коллеги, вопрос назрел, чем вы синхронизируете справочники( окромя баш скриптов) между хайвом и реляционками?

Sqoop

Ребят, а кто локально как поднимает для разработки?

Cloudera quickstart VM?

Ребят, а кто локально как поднимает для разработки?

смотря что разрабатывать, если спрак чистый, то достаточно любимой ide

Spark + Hive

просто спарк ставишь и все

Что за спам здесь?

Что за спам здесь?

Проклятье, не успел потереть!

Слоупок)

Клуб людей, которые всегда и везде делают деньги!!! ????? Делюсь мануалами, практическими советами и темами, которые проверены лично на моем опыте и опыте моих близких! ?Вступайте в мой паблик прямо сейчас: @moneycl

Опять тут спам у нас???

summon @pomadchin

Вот не работаю по утам эту неделю все в гавне

@pomadchin вы используете hdfs c fuse ?

Полтора/два года назад использовали

не взлетает?

почему перестали?

нет, думаю как лучше сделать

а я работу сменил

думаю у них до сих пор фьюз с хдфс, удачное решение как мне кажется

ну те есть гдет дата ноды и простое монтирование ?

да

fstab?

а что если кластер лежит в этот момент?

да

А ничего, он просто достучаться не сможет

но замонтирует?

ммм я не помню как оно :/

но если ты за монтировал один раз, то потом пофиг что с нодой

ну мне интересно именно на старте)

там ж и днс может не резолвить и все такое

а ты хочешь чтоб у тя несколько сервислв сразу стартовали?

Проверь, придется ждать подема нод мне кажется

мне хочется стартануть ноду с lazy монтированием

и какое-то ограничение есть, нельзя в контйнер монтировать

а потом когда-нибудь hdfs поднимется

можно конечно для конфигов nfs юзать

а чо ты хочешь? Генерить конфиги и синхить между тачками?

да в принципе не сложно сделать демон который бы ожидал инита датанод

не

я хочу прост шарить конфиги на нодах

просто от этих конфигов зависят сервисы, которые могут кататься

почему я хочу взять для этого hdfs я хз)

может гластер взять и не париться?

Послушай

А разве фьюзом маунтишь когда ты не неймноды адрес передаешь в конфиг?

Он сам разрулит ближайшее ноды

главное что б неймнода была жива

в том то и дело, что неимнода может быть мертва

Запусти две