она пишет

а логи ноды какие

Вот сейчас ковырять пытаюсь

да посмотри в больших конечно последние строчки

но не уверен что это надо

а не

все верно

нодменеджера же порт

Ничерта там нет, кроме службных INFO сообщений :(

а чтото старый лог

это тоно он?

в смысле старый? вчерашний

актуальный посмотри

стукнись в ноду и в момент стучания в ноду посмотри что в логах ового появится

Данных там пара терабайт, во время работы джобы фиксируем вот такой график использования дисков Non-HDFS

ну то есть это точно она, как так получается, что запись мимо hdfs идет?

#job #вакансия #IT #офис #Москва #datascientist Компания Stafory, которая работает над полноценной диалоговой системой для проведения интервью с соискателями, ищет в команду человека на позицю Data Scientist . Основная работа ведется в области NLP,есть большие массивы текстов вакансий и резюме, диалоги кандидатов с роботом и рекрутерами. ?Требования: Знание Python Знание и опыт работы с алгоритмами машинного обучения:word-embedding, RNN, LSTM, seq2seq Опыт работы с фреймворками word2vec, fastText, tensorflow, pytorch Знание и опыт работы с СУБД, а также NoSQL-базами данных. ?Обязанности: Разработка алгоритмов машинного обучения в сфере диалоговых систем и HR Обучение и настройка word-embedding сетей Внедрение функционала с элементами машинного обучение в основной продукт Работа с данными, подготовка данных для обучения Тестирование моделей, работа с метриками: accuracy, recall, precision и др. ?Условия: метро Курская Белая ЗП до 250 000 рублей «на руки» Оформление по ТК

хех

стукнись в ноду и в момент стучания в ноду посмотри что в логах ового появится

Сранно. В общем стукался по разному, лог не меняется - последние записи в логменеджере за вчера и только INFO. И заметил, что с последнего рестарта нет сообщений в логе о том, что на порту 8042 хоть что-то поднялось.

Хотя по netstat -at4np порт 8042 прослушивается

Сранно. В общем стукался по разному, лог не меняется - последние записи в логменеджере за вчера и только INFO. И заметил, что с последнего рестарта нет сообщений в логе о том, что на порту 8042 хоть что-то поднялось.

не те логи значит палишь мож

Дык, а какие еще? Я и не видел то других

Именно в этиз логах писалось до этого "запущено-выключено", "запущено-выключено". А тут пусто...

а ты локально поднимаешь все?

Нет, три машины: master, slave1, slave2

дебиан на всех

манутишь? мож криво маунтится

зайди на тачки прям

и руками чекни логи

сейчас

логи хадуп пишет в HADOOP_LOG_DIR помоему; который $HADOOP_HOME/logs по дефолту

степится эта переменная в хадуп енве

для чистоты эксперимента можешь даже все кильнуть переназначить лог дир

и руками чекни логи

там тоже самое написано. Ничего нового :(

кильни нод менеджер и руками стартани; он аутпут будет кидать в консоль мне кажется

момент

момент

я не помню точно что надо пускать, но я имел ввиду что-то по типу hdfs datanode для поднятия датаноды хдфс; она заатачится к консоли

Пардон, но жаба Хоум и прочее точно правильно выставлено? По ходу просто не стартует

Пардон, но жаба Хоум и прочее точно правильно выставлено? По ходу просто не стартует

Ну до этого то стартовало. И я переменные точно не менял.

https://pastebin.com/68VVbQ8g Кто-нибудь сталкивался с такой проблемой в spark sql? такая колонка на самом деле есть, как там видно

По этой колонке в отличие от всех других было партиционирование

там их две

он прост не понимает по какой

SELECT attr._accountId AS app_id, ... FROM adroll_attributions as attr JOIN adroll_deliveries as del ON attr.campaign_eid=del.campaign_eid

Там такой запрос, если вкратце Почему он не понимает?

Без птичек

посмотри ипут коломнс список: _accountId, report_date, …, has_approved_consent_solution, _accountId,

ты гдето там del._accountId зовешь

¯\_(ツ)_/¯ сча скуль эксперты подбегут мож.

Я и дел и аттр пробовал в том месте ?

через датафрейм апи работает?

https://docs.databricks.com/spark/latest/faq/join-two-dataframes-duplicated-column.html ^

можно попробовать

там хотяб побогаче ошибки могут вылести

df.select(..).join(..., Seq(“campaign_eid”)) ?

Годная ссылка, спасибо

я не помню точно что надо пускать, но я имел ввиду что-то по типу hdfs datanode для поднятия датаноды хдфс; она заатачится к консоли

В общем не помогля даже ручное останавливание нодманагера и запуск его по новой.

Тупо скопировал все настройки, и накатил хадуп по новой.

Все заработало.

Благо там ничего толком не лежало важного.

Хорошее повтори и ещё раз повтори

Urgent Requirement Networking & Vmware Client: WWT Visa: Opt,H1B Ping me offline

Apache Beam кто-нибудь пробовал?

Apache Beam кто-нибудь пробовал?

это по сути опенсорс-вариант гуглового Dataflow, а тот очень неплох

http://www.vldb.org/pvldb/vol8/p1792-Akidau.pdf

Емнип google как раз активно вкладывается в apache beam

Скорее их dataflow построен на основе beam

вначале это было закрытой разработкой, потом заопенсорсили

initial design - команда в гугле, причем from the good parts of google

Data Engineers are in Greater Demand than Data Scientists https://www.infoworks.io/2018/04/23/data-engineers-greater-demand-data-scientists/

Apache Beam кто-нибудь пробовал?

судя по всему он бесполезный, если есть спарк 2.0

они раннер 1.6 ток поддерживают, а спарк 2 раннер - нет

The Spark runner currently supports Spark’s 1.6 branch, and more specifically any version greater than 1.6.0.

питон 3 версии тож не умеет

Господа, использует кто такое http://www.alluxio.org/ ?

Господа, использует кто такое http://www.alluxio.org/ ?

+ тоже интересно

Я использовал

Лучше игнайта (полный отстой) но не надо верить алюксио рпзрабам

Все зависит от конкретных данных и data access patterns

Если используется заоптимизированный паркет с тщательной проработанной структурой таблиц, то ускорение незначительно

Если в хдфс валяются текстовые файлы и с ними идёт работа, то ускорение ощутимо