Привет

Кто-нибудь уже пользовался новой интеграцией с Spark SQL в metabase?

Всем привет! Заранее извиняюсь, если для кого-то мое сообщение оказалось спамом! У меня идея летнего отпуска для тех, кто не хочет сидеть без дела: 11 дней на острове технарей. В рамках «Острова 10-21» мы возьмем желающих на настоящий остров, и там за 11 дней российские и зарубежные ученые, предприниматели и эксперты в области технического развития закачают вас знаниями по 15-ти направлениям, начиная с Big Data и AI и заканчивая личной эффективностью и HR, помогут сформировать проектные команды и завести нужные знакомства. Это будет действительно полезным отдыхом. Все, кому интересно, могут писать в ЛС, отвечу на все вопросы!

Зато тепло

ну как успехи?

how to convert flume data (twitter) to structured hive table format?

всем привет! подскажите, кто-то из присутствующих использует Oracle Big Data Appliance?

how to convert flume data (twitter) to structured hive table format?

1) load to HDFS (like this - https://www.rittmanmead.com/blog/2014/05/trickle-feeding-webserver-log-files-to-hdfs-using-apache-flume ) 2) create in Hive external table mapped with your HDFS dir of flume data 3) write HiveQL (with parsing) for loading into parquet/orc-based table from external table

thank you bro!!

#job #вакансия #москва #Senior Data Engineer Всем доброго времени суток. Я руковожу подразделением professional services в компании CleverDATA. Мы разрабатываем и внедряем решения для автоматизации digital-маркетинга с помощью ИИ и больших данных. Ищу себе в команду Senior Java-инженера в Москве. От кандидата ожидаю: - компетенции в Java, Hadoop, Spark, Kafka - знать, как решать задачи по обработке данных и интеграциям - высокую отдачу, ответственность, желание изучать технологии, желание делать “хорошо” - умение работать в команде и писать читаемый код Что могу дать взамен: - интересные и сложные задачи по параллельной обработке больших массивов данных, вычислении в реальном времени, разработке высоконагруженных и отказоустойчивых сервисов - возможность принимать самостоятельные решения в части реализации - дружную команду, которая любит свое дело, технологии и своих клиентов - возможность участвовать в релевантных конференциях (в т.ч. за пределами России) - офис в Москве м. Автозаводская - гибкий рабочий график и возможность один день в неделю работать удаленно - белую зп от 180 до 250 т.р. на руки Немного о компании: Трудовые будни команды CleverDATA - это создание продуктов для обработки терабайт данных в день и сотен тысяч запросов в секунду. Это разработка предиктивных моделей для повышения эффективности бизнеса на миллионы рублей в месяц. Это участие в качестве экспертов на конференциях и вебинарах по технологиям. Если вам это интересно или появились вопросы, пожалуйста, пишите в личку @AlexanderBolshakov.

Ребята, привет! Есть среди вас кто-то занимался задачами типа Spam Detection Classifier (http://bit.ly/2LvV179)? У меня есть схожая задача по выделению писем определенной тематики. Была бы рада с кем-то проконсультироваться по этой теме и возможно поработать.

Это к саентологам скорей

да может тут тоже кто найдется

Это к саентологам скорей

почему так сразу?

пока только предстоит

Ну тут про модель ж больше разговор

хм закину к ним в чатик

Ребята, привет! Есть среди вас кто-то занимался задачами типа Spam Detection Classifier (http://bit.ly/2LvV179)? У меня есть схожая задача по выделению писем определенной тематики. Была бы рада с кем-то проконсультироваться по этой теме и возможно поработать.

Лучше конкретный вопрос задать, тогда начнётся предметное обсуждение.

хм закину к ним в чатик

Ну и есть opendatascience.slack.com очень мощное сообщество в слаке.

Так то можно через гугловое апи прогонять

Ну и есть opendatascience.slack.com очень мощное сообщество в слаке.

да, там шансы на помощь с таким вопросом больше

Так то можно через гугловое апи прогонять

не всегда это возможно

Ну и есть opendatascience.slack.com очень мощное сообщество в слаке.

спасибо! я хочу найти человека, который присоединится к моей команде, поэтому хотелось бы, чтоб он по-русски говорил. не все разработчики англоязычные. но я попробую там

эт что хайринг))

спасибо! я хочу найти человека, который присоединится к моей команде, поэтому хотелось бы, чтоб он по-русски говорил. не все разработчики англоязычные. но я попробую там

это русскоязычное сообщество для поиска людей в проект там есть отдельный канал "_call_4_collaboration"

не всегда это возможно

Ясное дело, но и задача абстрактная

Да и дорого это

эт что хайринг))

ну хз, если человек в этом разбирается и готов пилить проект со мной — пусть будет хайринг

ну в вопросе звучали "различные тематики" так что это не антиспам)

Так то можно через гугловое апи прогонять

про google prediction думали, но чет дороговато

Там был движок для нлп

Который умел выделять топик

ну в вопросе звучали "различные тематики" так что это не антиспам)

да, верно. нужно определить письма конкретной тематики, не спам

если тексты русские то не оч верю в гугловый нлп

не русские, только английский

если тексты русские то не оч верю в гугловый нлп

Вообще насколько я помню с русскими корпусами чот всё не оч

Или я не там смотрю

Я когда ner начинал делать, все было не оч. Википедию мучал

русские корпуса есть

ну в общем согласен с @sherzodv что надо справшивать в одс, там оч большое сообщество есть канал для общих вопросов, когда не знаешь куда "theory_and_practice" и тот что выше для поиска соратников на проект

русские корпуса есть

Где взять?

ну в общем согласен с @sherzodv что надо справшивать в одс, там оч большое сообщество есть канал для общих вопросов, когда не знаешь куда "theory_and_practice" и тот что выше для поиска соратников на проект

спасибо, буду пробовать

http://rusvectores.org/ru/about/

ну в общем согласен с @sherzodv что надо справшивать в одс, там оч большое сообщество есть канал для общих вопросов, когда не знаешь куда "theory_and_practice" и тот что выше для поиска соратников на проект

На сколько они токсик? Относительно скалы, например

У меня одноклассник из основы, и чот сразу отбивает желание туда писать

На сколько они токсик? Относительно скалы, например

там все ок просто люди, гнобление только тем кто вакансии выкладывает)

но по бигдатным вопросам, имхо, лучше сюда здесь активнее и помогают чаще хотя там есть хорошие спецы

http://rusvectores.org/ru/about/

видели их! у нас есть еще проект, там как раз векторы строили, но опять же на английском

Ну и есть opendatascience.slack.com очень мощное сообщество в слаке.

Как туда попасть? "Contact the workspace administrator for an invitation" эээ

Просто надо запросить invite (там разве не указано как?) Там быстро его дадут.

Как туда попасть? "Contact the workspace administrator for an invitation" эээ

http://ods.ai/

Спасибо

там на самом деле была прямая ссылка на регу

но я не смог ее найти второй раз

ну и для hr навсякий, вас там забанят

Привет Есть у меня упавшее непонятно почему спарк приложение. В основном логе EMR оно пожаловалось, что не смогло в Caused by: java.lang.NoClassDefFoundError: Could not initialize class org.xerial.snappy.Snappy Я полез в history server чтобы посмотреть подробные логи, но на том экзекуторе, где произошли ошибки нет логов. Может сталкивался кто? Хочу посмотреть что именно там случилось. (После перезапуска все отработало успешно.)

Коллеги, привет! А кто-нибудь использовал flip-6 mode во flink?

Привет Есть у меня упавшее непонятно почему спарк приложение. В основном логе EMR оно пожаловалось, что не смогло в Caused by: java.lang.NoClassDefFoundError: Could not initialize class org.xerial.snappy.Snappy Я полез в history server чтобы посмотреть подробные логи, но на том экзекуторе, где произошли ошибки нет логов. Может сталкивался кто? Хочу посмотреть что именно там случилось. (После перезапуска все отработало успешно.)

у вас кассандра?

у вас кассандра?

Не, EMR , s3

странно ._.

О, у меня тоже был Unable to locate logs...

Если пофиксите - напишите плиз)

Привет Есть у меня упавшее непонятно почему спарк приложение. В основном логе EMR оно пожаловалось, что не смогло в Caused by: java.lang.NoClassDefFoundError: Could not initialize class org.xerial.snappy.Snappy Я полез в history server чтобы посмотреть подробные логи, но на том экзекуторе, где произошли ошибки нет логов. Может сталкивался кто? Хочу посмотреть что именно там случилось. (После перезапуска все отработало успешно.)

Вы используете снаппи кодек? Я отключала кодеки на тачке, где живёт Спарк :( у меня был lzo и с ним не взлетало

Да испрльзуем

А можете скинуть кусочек конфига, где вы задаете кодеки?

У вас cdh?

Amazon EMR, дефолтный конфиг) где его посмотреть?)

По-моему, если не ошибаюсь, это в core-site.xml было

Или в mapred-site Я что-то запамятовала)

и там и там

Google Big Query может кто поделится впечатлениями?

По-моему, если не ошибаюсь, это в core-site.xml было

core-site <property> <name>io.compression.codecs</name> <value>org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.BZip2Codec,org.apache.hadoop.io.compress.SnappyCodec,com.hadoop.compression.lzo.LzoCode c,com.hadoop.compression.lzo.LzopCodec</value> </property> <property> <name>io.compression.codec.lzo.class</name> <value>com.hadoop.compression.lzo.LzoCodec</value> </property>

how to do this ? Do this in hive. Problem Statement: • City wise list all the Condos which is not less than ten thousand. • In GALT city which residential type has more than 800sq__ft. Display their respective details street,sq__ft,sale_date,city. • Which is the cheapest Condo in CA. name the city,street and price for the Condo. • List top 5 residency details which lie in the budget of 60000-120000, an area more than 1450, sold after 17th may, min bedroom 3 and, min bathroom 2. • separate list of residential apartments with more than 2 beds. Also include columns in following order City,Baths,Sq_feet,Price,flat_type,Beds respectively.

guyz plz give me the solution

hey @Doodleman this is a group for questions and help; not for doing your homework for you. pls frame your questions better ¯\_(ツ)_/¯

hey @Doodleman this is a group for questions and help; not for doing your homework for you. pls frame your questions better ¯\_(ツ)_/¯

sry mann...will try and post when i het into trouble

hey @Doodleman this is a group for questions and help; not for doing your homework for you. pls frame your questions better ¯\_(ツ)_/¯

вот ты жестокий

вот ты жестокий

зато правдив

человеку мб жизнь сломал