Спасибо . прикол в том что я на том кластере ничего посмотреть не могу, они его поднимают шаблоном и типа как есть. просто чтоб знать кто виноват, а что делать будем думать.

сингл нода? начит что одна тачка была? а сейчас больше чем одна нода?

сингл нода? начит что одна тачка была? а сейчас больше чем одна нода?

даю в сингл ноде все на одной тачке

Привет

Никто не сталкивался - 2018-03-19T12:39:10,342 WARN [main ()] org.apache.hadoop.hive.llap.daemon.impl.LlapDaemon: Failed to start LLAP Daemon with exception java.lang.NoSuchMethodError: org.apache.hadoop.security.authentication.util.KerberosUtil.hasKerberosTicket(Ljavax/security/auth/Subject;)Z at org.apache.hadoop.security.UserGroupInformation.<init>(UserGroupInformation.java:653) ~[hadoop-common-2.8.3.jar:?] at org.apache.hadoop.security.UserGroupInformation.loginUserFromSubject(UserGroupInformation.java:844) ~[hadoop-common-2.8.3.jar:?] at org.apache.hadoop.security.UserGroupInformation.getLoginUser(UserGroupInformation.java:803) ~[hadoop-common-2.8.3.jar:?] at org.apache.hadoop.security.UserGroupInformation.getCurrentUser(UserGroupInformation.java:676) ~[hadoop-common-2.8.3.jar:?] at org.apache.hadoop.hive.llap.daemon.impl.LlapDaemon.<init>(LlapDaemon.java:154) ~[hive-llap-server-2.3.2.jar:2.3.2] at org.apache.hadoop.hive.llap.daemon.impl.LlapDaemon.main(LlapDaemon.java:521) [hive-llap-server-2.3.2.jar:2.3.2]

Andrey версии либ где-то не те на нодах на всех и на клиентах версии должны совпадать

да, спасибо, нашел

немного оффтопа - кто использовал CloudWatch для загрузки системных логов с ec2 на s3? У них прайс какой-то дикий получается - $0.50 за передачу 1ГБ логов с источника в CloudWatch. Это реально так? За 1ТБ сырых логов придется заплатить $500? Или они там как то жмутся перед отправкой в CloudWatch ?

#Job Коллеги, приветствую! Вброшу хорошую вакансию. В крупную российскую авиакомпанию S7 airlines (Москва, м. Тверская) активно ищем Data Engineer. Есть крупный отдел из 10+ Data Scientist'ов, сейчас они сами выполняю функции инженеров. Хотим разделить обязанности, для этого ищем хороших инженеров в штат. В задачах - организовывать витрины/дата сеты для аналитиков (с вас песочница, с аналитика - алгоритмы). Стек - Hive, Impala, AeroSpike -> Hadoop, Spark. Объемы - зависят от проекта. От 10гб до нескольких Тб. По деньгам - в рынке. Меня никак не ограничивали, будем обсуждать с каждым индивидуально. Белые, соцпакет, плюс очень дешевые билеты для своих. Если есть любые вопросы или хотите прислать резюме, то пишите в личку или на почту alavrov@star-staff.ru

Апну вакансию. Всё еще актуально.

Почему может падать Спарк-стриминг джоб с too many open files? ulimit увеличен до 500к

Почему может падать Спарк-стриминг джоб с too many open files? ulimit увеличен до 500к

лимит на всех тачках выставлен? лимит выставлен для пользака под которым запускается процесс?

на одной тачке 100к заметил. Насчет пользователя аж задумался, проверю сейчас

Ну да, я ж из-под пользователя смотрю. Падает спустя 24 часа где-то

Апну вакансию. Всё еще актуально.

так вы заинтересуйте! не пишут - значит не интересно. как ни удивительно, но все хорошие специалиЗды уже сидят в тепленьких местах. они вообще не так уж и любят работу менять (кресло удобное дали, кофе с печеньками пополняют, задач интересных нарезали). причем речь даже не о деньгах. хотя наверняка многих сподвигнет зашевелиться речь о нематериальных стимулах. например, гарантируйте наличие симпатичных девушек в команде ))

так вы заинтересуйте! не пишут - значит не интересно. как ни удивительно, но все хорошие специалиЗды уже сидят в тепленьких местах. они вообще не так уж и любят работу менять (кресло удобное дали, кофе с печеньками пополняют, задач интересных нарезали). причем речь даже не о деньгах. хотя наверняка многих сподвигнет зашевелиться речь о нематериальных стимулах. например, гарантируйте наличие симпатичных девушек в команде ))

не променяли бы 20% прибавки к зп на симпатичных девушек ?

так вы заинтересуйте! не пишут - значит не интересно. как ни удивительно, но все хорошие специалиЗды уже сидят в тепленьких местах. они вообще не так уж и любят работу менять (кресло удобное дали, кофе с печеньками пополняют, задач интересных нарезали). причем речь даже не о деньгах. хотя наверняка многих сподвигнет зашевелиться речь о нематериальных стимулах. например, гарантируйте наличие симпатичных девушек в команде ))

Для кого-то это стимул, а для кого-то нет. Хорошим DE я пишу в личку на линкедине, там заинтересовываю уже индивидуально - это как прямые продажи. А здесь это скорее как реклама, кто заинтересуется - обратится с вопросами и купит сам.

А для девушек дают симпатичных мальчиков в команде :D ?

А для девушек дают симпатичных мальчиков в команде :D ?

учитывая % соотношение девушек к мальчикам в IT - шанс намного выше

у нас в двх примерно поровну)

у нас в двх примерно поровну)

интересно. Это случайно так или у вас квоты?

я бы чет не рискнул брать на работу персонажа, которого завлекли юбками)

@happyogre вот видите, гендерный вопрос сразу поднимает градус обсуждения! сейчас найдем вам кандидатов/ток ;)

интересно. Это случайно так или у вас квоты?

квот нет, само получилось

ахахах) у нас тоже поровну - когда два человека на спарк в команде это проще :)

Хорошо про квоты может рассказать СЕО S7 техлаба как раз. Она из США, там прямо вынуждали набирать женщин, негров и латиносов. Она когда переехала развивать российский офис IBM, ей все равно приходилось отчитываться, почему она не наняла ни одного негра

гуталин решает проблемы отчетности

вот с этого и надо было начинать: "ищем программиздов в штат, чтобы разбавить негров и латиносов" - уже интрига. уже интересно

вот с этого и надо было начинать: "ищем программиздов в штат, чтобы разбавить негров и латиносов" - уже интрига. уже интересно

Команда, кстати, у них очень сильная. Ребята из ШАДа, из Окфорда... тимлида из YaDF перетянули недавно.

s/негра/узбека/ для наших условий

но это есть такая у мерикосов дурь, сталкивался.

Самое ироничное, это когда минорити пробили эксперемент по найму в крупные компании через "слепое собеседование". Найм их только упал. Так что они срочно стали обратно бороться за свои квоты.

Хорошо про квоты может рассказать СЕО S7 техлаба как раз. Она из США, там прямо вынуждали набирать женщин, негров и латиносов. Она когда переехала развивать российский офис IBM, ей все равно приходилось отчитываться, почему она не наняла ни одного негра

женщина негр по какой статье идет ?

женщина негр по какой статье идет ?

сразу по двум, берут без собеседования, дают должность без обязанностей, используют как "а вот в прошом году мы наняли Шалилу, мы не расисты".

на самом деле вся эта их гипер-толлеранотность это такой расизм

а женщина-негритянка-лесбиянка уж точно самый востребованный вариант %)

женщина-негритянка-лесбиянка-датаинженер

Зачем женщины в команде, если есть кафка?

#Job Коллеги, приветствую! Вброшу хорошую вакансию. В крупную российскую авиакомпанию S7 airlines (Москва, м. Тверская) активно ищем Data Engineer. Есть крупный отдел из 10+ Data Scientist'ов, сейчас они сами выполняю функции инженеров. Хотим разделить обязанности, для этого ищем хороших инженеров в штат. В задачах - организовывать витрины/дата сеты для аналитиков (с вас песочница, с аналитика - алгоритмы). Стек - Hive, Impala, AeroSpike -> Hadoop, Spark. Объемы - зависят от проекта. От 10гб до нескольких Тб. По деньгам - в рынке. Меня никак не ограничивали, будем обсуждать с каждым индивидуально. Белые, соцпакет, плюс очень дешевые билеты для своих. Если есть любые вопросы или хотите прислать резюме, то пишите в личку или на почту alavrov@star-staff.ru

На вакансию, главное, посмотрите. У нас команда, к сожалению, не сильно смешанная, в основном все москвичи, короме CEO :) Тем не менее, все ребята очень сильные в плане IT, с удовольствием примем в команду 2х DE.

в одной из контор, где я работал, в американском офисе была начальница-открытая лесбиянка. вполне нормально с ней работать было, вела себя как мужик.

странно что в этом чате еще не вспомнили Голден Карау

На вакансию, главное, посмотрите. У нас команда, к сожалению, не сильно смешанная, в основном все москвичи, короме CEO :) Тем не менее, все ребята очень сильные в плане IT, с удовольствием примем в команду 2х DE.

яп не указаны, каждый пишет на чем хочет?

я бы чет не рискнул брать на работу персонажа, которого завлекли юбками)

а я бы рискнул

а я бы рискнул

сначала надо юбок взять

яп не указаны, каждый пишет на чем хочет?

Ну, учитывая то, что все ДСы сами под себя поднимают хадуп/спарк, обычно это питон. Но сейчас открыто в этом плане подходим к кандидатам. Разницы, на чем хадуп настраивать, не видим.

Но есть же разница

Как я понял, что сейчас нет DE, поэтому и стека конкретного нет. Есть уже поднятые кластеры, но они и так работают. Эта вакансия скорее про новые. Вот когда команду из 2х хотя бы наберем, тогда и понятно будет, каких нужно добирать. На всякий случай спросил у тимлида, отвечу попозже.

ну если так, то можете еще в скаловом чате про работу забросить

Как я понял, что сейчас нет DE, поэтому и стека конкретного нет. Есть уже поднятые кластеры, но они и так работают. Эта вакансия скорее про новые. Вот когда команду из 2х хотя бы наберем, тогда и понятно будет, каких нужно добирать. На всякий случай спросил у тимлида, отвечу попозже.

пока просто хотите в бигдату поиграться без конкретных юзкейзов?

пока просто хотите в бигдату поиграться без конкретных юзкейзов?

Бигдата уже есть. У них один самолет привозит 2Тб данных с рейса, как тут без бигдаты?

если есть 10 сатанистов, то вероятно пришла пора навести порядок)

Просто обязанности разделить. Когда саентист, который не специализируется в поднятии кластера, тратит на это Х времени, когда Дата Инженер потратил бы Х/2... получается в разы выгоднее.

но дата инженер не занимается поднятием кластера, этим ханимаются девопсы

Если нет девопса, он выполняет его функции

Ну окей, поднятием кластера, перекачкой туда нужного типа данных, организации дата сетов.

но дата инженер не занимается поднятием кластера, этим ханимаются девопсы

скорее тут miscommunication вряд ли вопрос в поднятии

потом еще впихнуть алгоритм ДСа в прод.

Но опять же, ребят, я рекрутер. Шарю, но по верхам. Тимлид на интервью расскажет в разы лучше.

а давайте just for fun захантим рекрутера из S7?

Вы же рекрутер не из s7, а из какого-то агенства...(

потом еще впихнуть алгоритм ДСа в прод.

Если алгоритм не "впихивается"? Учитывая что подавляющее большинство дс-ов в РФ - приблатненные кореша, сваты, любовницы и т.п. гендира, сто и прочих

у них же из ШАДа оксфорда с почётными медалями грамотами и победители межгалактических конкурсов

потом еще впихнуть алгоритм ДСа в прод.

Иногда не реально

Иногда не реально

тогда вертай взад :)

Все ребята дсы адекватные, если не "впихивается", то сесть вместе и подумать, как бы его так поменять, что бы хорошо вошёл в прод

Тогда нужно построить процесс разработки с учетом особенностей архитектуры

Тогда нужно построить процесс разработки с учетом особенностей архитектуры

Понятное дело, там не в вакууме разработка

Уже всё есть, все работает. Просто нужен тот, кто заберет на себя часть непрофильных обязанностей

Коллеги, для data quality open source порекомендуйте плз.

Коллеги, для data quality open source порекомендуйте плз.

А такое бывает? Я думал, что особенности задач data quality везде свои, не похожие на другие проекты, и универсальных решений нет.

Коллеги, для data quality open source порекомендуйте плз.

https://www.talend.com/products/talend-open-studio/data-quality-open-studio/

Спасибо. Качаю. Сейчас проверим.

Всем привет! Кто-то решал задачу записи данных в hbase из structured streaming? Поделитесь пожалуйста опытом, с какой стороны зайти. Столкнулся с некоторыми трудностями в этой задаче

кто-то в курсе может в какой jar-ке находится класс org.apache.hadoop.metrics2.sink.WasbAzureIaasSink? А то мелкософтовский саппорт морозится с ответом почему-то

а в hadoop-common его нет, видимо какая-то сугубо мелкософт версия существует

В клаент нету?

Hadoop client

И какие вообще жарники в класспасе лежат?

И какие вообще жарники в класспасе лежат?

hadoop-common, hadoop-hdfs, hadoop-hdfs-client, hadoop-auth, hadoop-azure, azure-storage

в hadoop-client вроде ка никакого кода вообще нету, там только pom.xmlки

Всем привет! Кто-то решал задачу записи данных в hbase из structured streaming? Поделитесь пожалуйста опытом, с какой стороны зайти. Столкнулся с некоторыми трудностями в этой задаче

Я решал таким способом https://github.com/hortonworks-spark/shc/issues/205

спасибо, а не помните, кроме shc какие еще зависимости от hbase надо подгрузить в джобу?

спасибо, а не помните, кроме shc какие еще зависимости от hbase надо подгрузить в джобу?

Для hbase только SHC, т.к. я обычно делаю убер джарники, то в сбт билд прописываю все спарковские, в частности для кафки...

понял, спасибо! с ходу не получилось подружиться с shc, попробую еще тогда

понял, спасибо! с ходу не получилось подружиться с shc, попробую еще тогда

А в чем сложность?

ну разные ошибки валятся, плюс я из pyspark пытался это реализовать

ну разные ошибки валятся, плюс я из pyspark пытался это реализовать

Там у них с версиями какой-то непонятный сумбур, плюс надо в сабмите передавать не только —packages, но и —repositories, других проблем я не замечал

я у себя собрал shc snapshot, передаю как --jar

в hadoop-client вроде ка никакого кода вообще нету, там только pom.xmlки

а я не увидел что это в azure и поэтому видимо в azure пакете должно быть

в hadoop-azure посмотри

в hadoop-client вроде ка никакого кода вообще нету, там только pom.xmlки

WindowsAzureETWSink.* jar тебе нужен

эта либа для интеграция в метриками ажуры

WindowsAzureETWSink.* jar тебе нужен

спасибо

думаю если в настройках кластера поковыряешься, и прост из лог4ж потрешь все ссылки на отсылание даннх в метрики эта проблема уйдет без поиска джарника

эта либа для интеграция в метриками ажуры

на мейвене оно есть где-то?