Да сча Вадим и сам мож пояснит

вот его можно тыкать про сервинг - @b_lutfullin

mist - чисто придблуда под менеджемент спарк жоб serving - оно для сервинга различных мл моделей - туда просто делоишь бинарь и меты - тебе автоматом сервис с ней экспозится + всякая статистика и детектинг аномальных интпутов там

ну тогда еще @b_lutfullin

но заранее на одну только часть могу отвеить - скорее всего если ты хочешь поднять одну ноду спарка ради чего-то - то это неверно)

он все только замедлит

но заранее на одну только часть могу отвеить - скорее всего если ты хочешь поднять одну ноду спарка ради чего-то - то это неверно)

Да понятно, что это крайней вариант и в плане производительности будут накладные расходы, но как первая итерация может пройти. Плюс весь код можно реюзать

А так интересно, что у hydro-serving под капотом, читал какую-то статью от них, что они хотят mllib-local использовать. А в mllib-local пока ничего практически нет и не понятно когда будет(

Всем привет! Есть некоторое количество моделей, которые обучает spark. Теперь нужно их развернуть в production для realtime обработки. Кто что использует? Экспорт в PMML/PFA/MLeap? Запускать микросервис со standalone нодой spark’a? Еще видел https://github.com/Hydrospheredata/hydro-serving Есть какие-нибудь guide lines, плюсы, минусы, грабли?

Там хитрый враппер, чтобы модель без спарка сервать

Так, я правильно понял, что все спарковские модели он поддерживает?

А так интересно, что у hydro-serving под капотом, читал какую-то статью от них, что они хотят mllib-local использовать. А в mllib-local пока ничего практически нет и не понятно когда будет(

мож расскажешь что конкретно за кейс у тебя, а ребята скажут можно ли и как сделать на их инструменет

Так, я правильно понял, что все спарковские модели он поддерживает?

Вроде как да

Кейс простой, на кластере обучаются spark модельки, а теперь их нужно где-то разворачивать, для обработки в реальном времени. Приходит запрос от клиента, мы делаем predict от нескольких моделей и возвращаем результат

формат моделей?

а в чем проблема просто локал спарк в проде дергать ?

в проде то что, кластер или?

формат моделей?

Не совсем понял вопрос. Сейчас там батч обучение, модельки пишутся в hdfs, сейчас там регрессии и деревья в основном, но будут появляться новые

а в чем проблема просто локал спарк в проде дергать ?

вопрос в порядке и автоматизации

Не совсем понял вопрос. Сейчас там батч обучение, модельки пишутся в hdfs, сейчас там регрессии и деревья в основном, но будут появляться новые

это может иметь значение, если инструмент прибит к определенному стэку

Кейс простой, на кластере обучаются spark модельки, а теперь их нужно где-то разворачивать, для обработки в реальном времени. Приходит запрос от клиента, мы делаем predict от нескольких моделей и возвращаем результат

Предикт от нескольких моделей это пайплайн или какой-то свой ансамбль?

в проде то что, кластер или?

В проде кластер и веб морды на которых должен происходить predict

это может иметь значение, если инструмент прибит к определенному стэку

SparkML, pyspark

Предикт от нескольких моделей это пайплайн или какой-то свой ансамбль?

Независимые, по разным данным. Но в самих моделях может быть свой pipeline

а в чем проблема просто локал спарк в проде дергать ?

Как начальный вариант норм, но хотелось бы избежать накладных расходов

@dos65 @b_lutfullin Может есть какие-нибудь статьи или benchmarks?

Вадим @dos65 замерял наш враппер с ванильным Спарком, прирост был, но подробных цифр не имею

Вадим @dos65 замерял наш враппер с ванильным Спарком, прирост был, но подробных цифр не имею

если у вас враппер, то от чего прирост? вы все прогретым держите по максимуму?

если у вас враппер, то от чего прирост? вы все прогретым держите по максимуму?

нет, все просто у многих моделей в методе transform есть кусок кода с самой имплементацией модели, которая работает с локальными структурами - мы вынесли это на передовую и обернули в свое подобие DataFrame у тех моделей, которые не имеют такой отдельной имплементации (код - лапша из udf в transform) - мы адаптировали под локальные структуры

@b_lutfullin А в сторону экспорта моделей вы не смотрели? MLeap/PFA?

@b_lutfullin А в сторону экспорта моделей вы не смотрели? MLeap/PFA?

в каком плане экспорт? враппер грузит спарковские паркеты с моделями MLeap все равно требует наличия SparkContext для вычислений с PFA не знаком

PFA и PPML это форматы сериализации pipeline модели. Соответсвенно экспортируешь pipeline, а потом десериализуешь её где нужно и используешь, вне зависимости от инструмента в которым ты эту модель создавал

mllib вроде как могет в pmml, но он поддерживает очень ограниченное множество моделей в итоге решили не полагаться на третью сторону, а использовать паркет

Понятно, спасибо!

@akalinovskiy вот тут есть бенчи в ридмихе под другой враппер - https://github.com/Hydrospheredata/fastserving в сервинге у нас используется вот этот - https://github.com/Hydrospheredata/spark-ml-serving и он где-то в раза в 2 шустрее первого

Супер, спасибо!

@b_lutfullin А для spark 2.3 вы планируете релизиться?

@b_lutfullin А для spark 2.3 вы планируете релизиться?

да, я сейчас этим и занимаюсь

да, я сейчас этим и занимаюсь

Отлично!

с ходу читается как "падажи чутка, я еще не встал с кровати", но с хбейзом надо морально ко всему готовым быть

а какой лог на мастере?

хдфс не в сейф моде?

яб посоветовал выключитьа потом включить

с удалением всей меты из волюмов и зуу

хдфс не в сейф моде?

Не переводил его в этот мод, ша дам лог.

Погуглю ваши предположения, спасибо!

хдфс не в сейф моде?

Decommission Status : Normal На двух дата нодах, смотрел вот так hadoop dfsadmin -report

Похоже не поднялся регион и не может hbase таблицы синхронизировать hbase:meta,,1 is not online on data1.node,16020 ? https://pastebin.com/RD6pDeBk

ну регион и регион-сервер не одно и то же

нода мож поднялась, но не перешла в рабочий статус

Ну регион как приложение запустился

регионсервер запустился а регион это кусок данных грубо говоря в нем

я к тому что возможно какой-то кусок оказался не оч цел или еще что то

понял, спс

#jobs Всем привет! Такое дело, у меня в команде открылись две вакансии Senior Spark Engineer и Spark Engineer. Будем рады вашим резюме, могу отвечать на вопросы )) https://nvidia.wd5.myworkdayjobs.com/NVIDIAExternalCareerSite/job/Russia-Moscow/Data-Scientist_JR1909912 https://nvidia.wd5.myworkdayjobs.com/NVIDIAExternalCareerSite/job/Russia-Moscow/Spark-Engineer_JR1917272

У NVIDIA много вакансий постоянно открыто в Москве , что-то там явно не так)

У NVIDIA много вакансий постоянно открыто в Москве , что-то там явно не так)

например, работы больше чем рук

У NVIDIA много вакансий постоянно открыто в Москве , что-то там явно не так)

Ты, наверное, имеешь в виду текучку? Ее нет, тут люди по 5-15 лет изи работают. По моему опыту уровень компенсации и условия - это просто топ в России (я в Сбере, если что, на 14 грейде поработать успел )). А вот то, что у компании дофига бабла и ей надо активно расти - это правда (тут рост цены акций за последние 1.5 года за меня говорит)

#jobs Всем привет! Такое дело, у меня в команде открылись две вакансии Senior Spark Engineer и Spark Engineer. Будем рады вашим резюме, могу отвечать на вопросы )) https://nvidia.wd5.myworkdayjobs.com/NVIDIAExternalCareerSite/job/Russia-Moscow/Data-Scientist_JR1909912 https://nvidia.wd5.myworkdayjobs.com/NVIDIAExternalCareerSite/job/Russia-Moscow/Spark-Engineer_JR1917272

Это ремоут?

Нет, офис, но у нас есть практика работы из дома 1-2 дня в неделю, если необходимо.

нвидиа девопсов 3 года ищет

прост девопсы не нужны

нвидиа девопсов 3 года ищет

Последние пару месяцев я каждый понедельник на телеке в кухне вижу по 2-3 свежевыдших девопса. Они нам нужны, много, да

лол

норм

прост девопсы не нужны

кто-то должен легаси мейнтейнить

кто-то должен легаси мейнтейнить

И этого легаси с каждым днем все больше и больше, да ))

И этого легаси с каждым днем все больше и больше, да ))

Ну с около машинлернингом у вас ок, другое на любителя

btw платят ок, акции отсыпают, платят за учебу и т.п

btw платят ок, акции отсыпают, платят за учебу и т.п

Эт где

Эт где

nvidia ежжи

https://habr.com/company/okmeter/blog/420937/

Ты, наверное, имеешь в виду текучку? Ее нет, тут люди по 5-15 лет изи работают. По моему опыту уровень компенсации и условия - это просто топ в России (я в Сбере, если что, на 14 грейде поработать успел )). А вот то, что у компании дофига бабла и ей надо активно расти - это правда (тут рост цены акций за последние 1.5 года за меня говорит)

а зачем nvidia spark?

а зачем nvidia spark?

мутить топ штуки (тему доклада Паши пальни)

а зачем nvidia spark?

Телеметрию молотить и гейм сессии

Ну и топ штуки канеш

Топ штуки?

мутить топ штуки (тему доклада Паши пальни)

Спарк и топ в одном предложении ?)

Топ штуки?

Анализировать насколько у всех тормозит пугб

Наверное

Всем привет! Вопрос к сообществу каким образом создать следующий процесс: есть центральный сервер, на котором в папке создаются под папки с чилосвым занчением. В каждой подпапке есть файл, который нужно перевести на удаленный сервер с тем же числовым значением. Также необходимо создать обратный процесс перевода файла с удаленного сервера на центральный. Размер файлов несколько сот мега. У процесса должна быть возможность для alerts, необходим мониторинг желательно через GUI, а также version control если будут делать изменения. Возможное ограничение: на удаленных серверах установлен Windows Embedded (например на нем нельзя установить IIS). Дополнительное требование: ограничение доступа пользователей. Пока пытаюсь проверить может ли Apache Nifi сделать это. Может есть другие платформы или несколько решения для такого процесса?

Всем привет! Вопрос к сообществу каким образом создать следующий процесс: есть центральный сервер, на котором в папке создаются под папки с чилосвым занчением. В каждой подпапке есть файл, который нужно перевести на удаленный сервер с тем же числовым значением. Также необходимо создать обратный процесс перевода файла с удаленного сервера на центральный. Размер файлов несколько сот мега. У процесса должна быть возможность для alerts, необходим мониторинг желательно через GUI, а также version control если будут делать изменения. Возможное ограничение: на удаленных серверах установлен Windows Embedded (например на нем нельзя установить IIS). Дополнительное требование: ограничение доступа пользователей. Пока пытаюсь проверить может ли Apache Nifi сделать это. Может есть другие платформы или несколько решения для такого процесса?

Судя по всему, най-фай вам подойдёт идеально

И по техническим возможностям, и по требованиям к экспертизе

Кто-нибудь сталкивался при включенном kerberos в hadoop с ошибкой выполнения нативных (написанных на java) джобов на этапе локализации в ярне? Ошибка возникает при запуске appmaster и выглядит примерно так: 2015-04-27 22:30:49,463 INFO localizer.ResourceLocalizationService (ResourceLocalizationService.java:update(932)) - DEBUG: FAILED { hdfs://datanode5.in.ibm.com:8020/user/dsadm/.staging/AppMaster.jar, 1430154129414, FILE, null }, Failed on local exception: java.io.IOException: org.apache.hadoop.security.AccessControlException: Client cannot authenticate via:[TOKEN, KERBEROS]; Host Details : local host is: "datanode3.in.ibm.com/9.126.90.234"; destination host is: "datanode5.in.ibm.com":8020; 2015-04-27 22:30:49,463 INFO localizer.LocalizedResource (LocalizedResource.java:handle(196)) - Resource hdfs://datanode5.in.ibm.com:8020/user/dsadm/.staging/AppMaster.jar transitioned from DOWNLOADING to FAILED Т.е. appmaster при запуске на воркере не может получить доступ к hdfs, чтобы загрузить необходимые файлы в локальный usercache. С клиентской машины, откуда запускается проблемный джоб, без проблем запускаются всякие супер пи из примеров, запросы в hive из beeline, и проблем с доступом к hdfs из шелла тоже нет, с аутентификацией все ок. Не может ли это означать, что в самом коде этого джоба не заложена аутентификация в hdfs по керберосу?

И по техническим возможностям, и по требованиям к экспертизе

Спасибо. А Streamsets может быть алтернативой? Подключиться к Windows есть возможность? В документации есть только о логах через Edge

Спасибо. А Streamsets может быть алтернативой? Подключиться к Windows есть возможность? В документации есть только о логах через Edge

Огромное множество технологий может быть альтернативой, например рсинк. Но с вашей экспертизой попробуйте най-фай, вход дешёвый, функционал коробки богатый

Огромное множество технологий может быть альтернативой, например рсинк. Но с вашей экспертизой попробуйте най-фай, вход дешёвый, функционал коробки богатый

Хорошо. Так и сделаю?

Кто-нибудь сталкивался при включенном kerberos в hadoop с ошибкой выполнения нативных (написанных на java) джобов на этапе локализации в ярне? Ошибка возникает при запуске appmaster и выглядит примерно так: 2015-04-27 22:30:49,463 INFO localizer.ResourceLocalizationService (ResourceLocalizationService.java:update(932)) - DEBUG: FAILED { hdfs://datanode5.in.ibm.com:8020/user/dsadm/.staging/AppMaster.jar, 1430154129414, FILE, null }, Failed on local exception: java.io.IOException: org.apache.hadoop.security.AccessControlException: Client cannot authenticate via:[TOKEN, KERBEROS]; Host Details : local host is: "datanode3.in.ibm.com/9.126.90.234"; destination host is: "datanode5.in.ibm.com":8020; 2015-04-27 22:30:49,463 INFO localizer.LocalizedResource (LocalizedResource.java:handle(196)) - Resource hdfs://datanode5.in.ibm.com:8020/user/dsadm/.staging/AppMaster.jar transitioned from DOWNLOADING to FAILED Т.е. appmaster при запуске на воркере не может получить доступ к hdfs, чтобы загрузить необходимые файлы в локальный usercache. С клиентской машины, откуда запускается проблемный джоб, без проблем запускаются всякие супер пи из примеров, запросы в hive из beeline, и проблем с доступом к hdfs из шелла тоже нет, с аутентификацией все ок. Не может ли это означать, что в самом коде этого джоба не заложена аутентификация в hdfs по керберосу?

Хорошо гуглится эта ошибка

Хорошо гуглится эта ошибка

Гуглится хорошо, но ответа найти не могу, поэтому написал здесь.

Привет, извините за оффтоп. Кто нибудь проходил техническое интервью в Zalando? Хотелось бы понять что он из себя представляет и к чему готовиться?