я бы на вашем месте заменил юпитер на цепелин

я бы на вашем месте заменил юпитер на цепелин

Что есть. Я пока что стажер, не мне это решать.

ясно

я бы на вашем месте заменил юпитер на цепелин

А можно подробнее?

в чем беда джупитера?) я просто не занимаюсь питоном (обычно), интересно

у меня он плохо дружился со спарком

полгода полет нормальный

вылезала куча всяких мелких надоедливых ошибок - с переменными окружения, с доступами и т д

цеппелин тоже не подарок, но в целом показался мне более стабильно работающим

+ поддерживает скалу

Учитывая, что pyspark - это питонячий процесс, который через py4j в jvm ходит. То куча ошибок с правами доступа - это забавно

я уже точно не помню :)

+ поддерживает скалу

Toree

Мы наоборот ушли от зепелина :д

Toree

и как, норм работает?

да мы в итоге питоно биндинги сделали из скалы

):

Ахахаха

у меня с этим Toree прикол был, он упорно не хотел видеть apply из объекта-компаньена

Но вот тот ноутбук, который я на последнем митапе открывал, он на тори

Хз все ок и даже макросы)

интересно, что же я не так сделал)

https://habrahabr.ru/post/330986/

https://databricks.com/blog/2017/06/06/simple-super-fast-streaming-engine-apache-spark.html

https://medium.com/netflix-techblog/evolving-the-netflix-data-platform-with-genie-3-598021604dda

Всем привет! Ищу Lead Data Science engineer в крупную авиакомпанию. Задачи как связанные с руководством командой, так и по разработке. Проектов много, например, по телеметрии данных с датчиков самолетов и прогнозированию поломок, проект по оптимизации складских запасов. Стэк: Hadoop, Hive, Impala, Spark, Python (NumPy, Pandas, Scikit-learn) Работа в офисе Москвы, полный рабочий день, белая ЗП до 300 т.р. Подробности: https://hh.ru/vacancy/20612529 или в личных сообщениях, присылайте резюме! #вакансия #офис #работа

Всем привет! В международное Рекламное Агентство требуется Java Developer Ключевые обязанности: Внедрение, доработка и поддержка работоспособности маркетинговой платформы, включающей компоненты по управлению данными (Hadoop, Spark, Kafka и т.п.), компонент оптимизации и размещением рекламы и компонент сбора и разработки статистики; Участие в разработке архитектуры продуктов; Формирование и контроль исполнения технических требований к продуктам; Участие в приемке результатов разработки внешних подрядчиков. Обязательные требования: Опыт работы 2-3 года; Java SE 1.6-1.8 (collections, reflection, concurrent и т.п.); Понимание того, как работает JVM (устройство памяти в JVM, принципы работы GC) Умение работать с различными форматами данных (XML/JSON/YAML и т.п.); Навыки работы с различными протоколами обмены данных (HTTP/SFTP/FTP и т.д.); Опыт работы с VCS (Git/SVN) и трекинговыми системами (Jira/Redmine); Опыт работы с Hadoop (MapReduce/HDFS/HBase). Желательные требования: Опыт работы со Spark и Kafka; Опыт разработки на Python; Опыт работы в сфере Digital или TV рекламы; Английский не ниже Pre-Intermediate. Условия: - Полная занятость. - Плюшки, печеньки и чай. - Зарплатная вилка 150к-200к, готовы обсуждать с успешным кандидатом. Всё зависит от ваших умений. - Тёплый и уютный офис в центре Москвы Контакты: js@sm-hr.ru

Сделал канал куда будут размещаться все bigdata related вакансии , +репост с других групп/каналов. @bigdatajobs

Команда Rambler объявляет старт приёма заявок на доклады на следующий Apache Spark meetup: "Как мы и обещали на первой встрече, наш уютный митапчик становится регулярным. И мы начинаем принимать заявки на доклады! Если у вас есть что-то, о чем вы хотите рассказать нашему сообществу, то присылайте тему и короткую аннотацию мне ответным письмом. До части из вас я постараюсь достучаться адресно и попросить сделать доклад ) Планируемая дата следующей встречи – середина июля!" Тем кому интересно что-то рассказать, следует писать на адрес p.klemenkov@rambler-co.ru

А послушать можно всем желающим ?

А послушать можно всем желающим ?

ну прошлый митап они выкладывали на фейсбуке , ну и можно постараться обогнать сбертеховцев и успеть зарегистрироваться )

А ссылки на регу ещё нет ?

:)

А ссылки на регу ещё нет ?

Ну это у них всё еще в планах, так что , думаю - нет

Принято

Регистрация будет открыта всем желающим. Ссылку на регистрацию анонсируем как только соберем доклады)

Регистрация будет открыта всем желающим. Ссылку на регистрацию анонсируем как только соберем доклады)

а к какому ориентировочно надо иметь вам все доклады? в open data science уже пнули с датами))

а к какому ориентировочно надо иметь вам все доклады? в open data science уже пнули с датами))

а это что за группа?

а это что за группа?

http://ods.ai/

в слаке сообщество / чатик / хз как праивльно это говорить в отношении слака

я как-то регистрировался путем нахождения ссылки на регистрацию где-то в интернетах; а сейчас видать форма только, ссылку найти на прямую регистрацию не могу

я как-то регистрировался путем нахождения ссылки на регистрацию где-то в интернетах; а сейчас видать форма только, ссылку найти на прямую регистрацию не могу

спасибо !

Гайз, открыта интересная позиция в СПБ. Ведущий разработчик JAVA||SCALA (hadoop, hdfs, spark) в направлении Advanced analytics и Machine learning. Главное очень профессиональная JAVA, по машинному и биг дате компания готова подтягивать на месте. По з/п нет ограничений, с 360 т.р смотрели и выше. http://telegra.ph/Vedushchij-razrabotchik-JAVASCALA-SPB-ofis-m-CHyornaya-rechka-do-350-tr-06-20

Ниху себе

Ниху себе

Ник сразу решил бросил натив и пошел писать ентерпруйз джаву с елементами скалы

@optician_owl дароу, я думал ты тут уже есть

да этих чатов по хадупу... и польза везде под вопросом

пока в слаке самое полезное

хз в слаке тож сомнительный опендата сайнс

@optician_owl тут илита прост

ну у нас тут есть ник да сразу илитарность топ левел

А кто-то тут работал с графаной?

#Москва #Вакансия #Hadoop Всем привет! У меня есть несколько вакансий в крупном интеграторе на проект Big Data в банке, стек Hadoop/Java/Scala. Основныеные требования: Знание технологического стека Hadoop и опыт работы с ним (Sqoop/Flume/Kafka/Strom, etc), знание Java/Scala. Условия: - Полная занятость. - Зарплата белая, возможно обсуждать до 170 000руб. - Офис в шаговой доступности от метро - Соц. пакет По всем вопросам в личку)

#Москва #Вакансия #Hadoop Всем привет! У меня есть несколько вакансий в крупном интеграторе на проект Big Data в банке, стек Hadoop/Java/Scala. Основныеные требования: Знание технологического стека Hadoop и опыт работы с ним (Sqoop/Flume/Kafka/Strom, etc), знание Java/Scala. Условия: - Полная занятость. - Зарплата белая, возможно обсуждать до 170 000руб. - Офис в шаговой доступности от метро - Соц. пакет По всем вопросам в личку)

после последних предложении - слабовато

А кто-то тут работал с графаной?

я

после последних предложении - слабовато

З/п)?

Гайз, открыта интересная позиция в СПБ. Ведущий разработчик JAVA||SCALA (hadoop, hdfs, spark) в направлении Advanced analytics и Machine learning. Главное очень профессиональная JAVA, по машинному и биг дате компания готова подтягивать на месте. По з/п нет ограничений, с 360 т.р смотрели и выше. http://telegra.ph/Vedushchij-razrabotchik-JAVASCALA-SPB-ofis-m-CHyornaya-rechka-do-350-tr-06-20

вот

У меня датасорс - еластик. Данные типа {время:время, значение:значение}. Можно ли как-то на уровне графаны поиграться со значением? Например если значение это стринг, матчить его реджексом например. @gurinderu

вот

Как есть, что ж уж поделаешь...

Всем привет! А тут разбирались авторизационные моменты?

Всем привет! А тут разбирались авторизационные моменты?

неа , везде где видел была достаточно условная

Ну мы сейчас пробуем ldapGroupMapping на hdfs(пока все хорошо), а вот дальше : kafka acls, hbase acls, impala... С группами будет почти нереально как мне видится, а вот с пользователями AD должно сработать. Также вопрос: kerberos кто включал на 40+ нодах?

а кто-то пишет со спарка в редшифт?

а кто-то пишет со спарка в редшифт?

Случается. А что, ты хочешь спросить, стоит ли использовать компонент от DataBricks, и как с ним бороться?

Господа, тут кто-нибудь занимался автоматизацией процесса repair для кассандры?

Какие у тебя интересные задачи