https://mmlspark.blob.core.windows.net/website/index.html

а почему /usr/hadoop/.ssh а не /home/hadoop/.ssh ? эт кто хому в /usr складывает?

да а какая разница хоть в opt, а так вот этот молодой человек=) https://www.server-world.info/en/note?os=CentOS_7&p=hadoop

Ну, если работает, конечно)

ну фиг знает может sshd нестандартным путям какой-нить apparmor доступа не даёт

или что там щас в дистрибы для пущей безопастности пихают. systemd какой-нить.

ну фиг знает может sshd нестандартным путям какой-нить apparmor доступа не даёт

если ты про мое, то я просто сделал ключ без пароля, удалил все что было, переставил ссш и заработало, искать трабл не захотел, странно для меня то что обычно если оставляшь опцию аунтефикации по пасу, он когда не может определенным методом авторизоваться пробует другой, но тут так не было

парни будьте любезны если у кого то есть дельный ман, желательно под cent поделитесь плз

а. ну, значит кривой конфиг, как обычно. причина 90% ошибок.

а. ну, значит кривой конфиг, как обычно. причина 90% ошибок.

конфиг дефотный был, и после установки не менялся)

а. ну, значит кривой конфиг, как обычно. причина 90% ошибок.

в нем вообще трудно наксячить

ну тогда остаётся одна причина. мистический подземный стук и влияние ящериков с Нибиру.

https://thenewstack.io/ci-cd-with-kubernetes-tools-and-practices/?utm_medium=email&utm_source=topic+optin&utm_campaign=awareness&utm_content=20180716+webops+nl&mkt_tok=eyJpIjoiTWpsallqZGxPR1ptWldFeiIsInQiOiJjekZQRkwxdjZ4NVZueFJTd3ZjYkE1cFpnejlyXC9OaXV5MWNvdWVzck9Fc1NsbEM2dzQxYTlFR0dLbWw4bURhUGt3WGhYR1Z5Q2NCXC8wWlpiR3ZWYTlEa3VzelYwNHBXUjMrNFwvS0xoNFYxUzJNbm5ocXNpQmN0SHRyY0kybWxFWiJ9

https://devops.com/does-devops-engineer-exist-how-beliefs-can-influence-hiring/?utm_medium=email&utm_source=topic+optin&utm_campaign=awareness&utm_content=20180716+webops+nl&mkt_tok=eyJpIjoiTWpsallqZGxPR1ptWldFeiIsInQiOiJjekZQRkwxdjZ4NVZueFJTd3ZjYkE1cFpnejlyXC9OaXV5MWNvdWVzck9Fc1NsbEM2dzQxYTlFR0dLbWw4bURhUGt3WGhYR1Z5Q2NCXC8wWlpiR3ZWYTlEa3VzelYwNHBXUjMrNFwvS0xoNFYxUzJNbm5ocXNpQmN0SHRyY0kybWxFWiJ9

Goodbye microservices: From 100s of problem children to 1 superstar Segment adopted microservices as a best practice early-on, which served the company well in some cases and not so well in others. Alexandra Noonan explains why microservices worked at first and then how and why Segment made a transition to monolith. https://segment.com/blog/goodbye-microservices/?utm_medium=email&utm_source=topic+optin&utm_campaign=awareness&utm_content=20180716+webops+nl&mkt_tok=eyJpIjoiTWpsallqZGxPR1ptWldFeiIsInQiOiJjekZQRkwxdjZ4NVZueFJTd3ZjYkE1cFpnejlyXC9OaXV5MWNvdWVzck9Fc1NsbEM2dzQxYTlFR0dLbWw4bURhUGt3WGhYR1Z5Q2NCXC8wWlpiR3ZWYTlEa3VzelYwNHBXUjMrNFwvS0xoNFYxUzJNbm5ocXNpQmN0SHRyY0kybWxFWiJ9

Workload-Aware Auto-Scaling is a modern architectural approach best suited for big data applications in the cloud that use open source technologies, like Hadoop, Spark, or Presto. With Workload-Aware Auto-Scaling you can take full advantage of elastic cloud resources, by automatically scaling up when you need it, and down when you don’t, and stop wasting money on idle instances. http://www.qubole.com/wp-content/uploads/2017/11/Workload_Aware_Auto-Scaling-Qubole.pdf?mkt_tok=eyJpIjoiTkdVNE16UTJOMlppWXpFMyIsInQiOiJta05sWVppSHJHa2w5QjlicTRiRElna1N0WnQySm9kQ0NRYU9Jb1JEdmoxYkZlZmNIM3dGeVwvT1ZET1wvaVE1djNScmRGODRtYUpwMDMyZytZV3NZWkdBdXFTaXFxVVR1SzBQSW9neUxQQnlvMmtFa0ppNTQ5UTdBTWNadDR6Vmp6In0%3D

Andrey ты бот?)

ETL tools что это? Часто вакансиях вижу.

это все что угодно, что позволяет переложить данные из а в б

с возможными трансформациями

например хадупные шляпы, кафки

или просто cat

Более менее представляю. Спасибо

Andrey ты бот?)

Все люди - боты, только сложные из-за большой нейронной сетки

мне уже сообщили

например хадупные шляпы, кафки

шляпы?

шляпы | хреновинки | штуки

ботинки

Хорошая статья на эту тему, не помню, где нашёл. https://medium.com/@maximebeauchemin/functional-data-engineering-a-modern-paradigm-for-batch-data-processing-2327ec32c42a

^ капитанство какое-то. впрочем, неплохой интродакшен в тему для самых маленьких.

А по русски?

По-русски определительные наречия уподобления, образованные от прилагательных, с окончаниями –ему, -ому, -цки, -ски, -ьи пишутся через дефис.

Прочитал

Ребят

подскажите плз куда надо добавить датаноды и слейвы для нэймноды, хочу чтоб было name master name slave data0 data1 Мож есть ман какой проверенный, а то я шарахаюсь по инету и где протухло где нету где еше чего, да и знал бы как должно в итоге получится было бы проще) в core? (p.s. я сообщао что я нубло))

С таким описанием вопроса подходит ответ: в основную неймноду. А вообще у хадупа хорошая документация

С таким описанием вопроса подходит ответ: в основную неймноду. А вообще у хадупа хорошая документация

Так а как вы хотели если я говорю о том чего не знаю?) Понятно что на основную ноду, но куда именно? где они описываются?

Так а как вы хотели если я говорю о том чего не знаю?) Понятно что на основную ноду, но куда именно? где они описываются?

По ссылкам в гугле

так я же описал ситуацию с гуглом

По ссылкам в гугле

вы сами то ставили с исходников?

вы сами то ставили с исходников?

Нет конечно

Ну вот и все=)

А речь то о чем

О хдфс ?

Все это по-моему в core-site xml

Или hdfs site xml )

Да вот и не знаю, но скорее всего речь о hdfs, после того как я настроил name (master) лью рсинком всю папку на дата ноду, и там я так понимаю должен ей указать что она дата и относиться к нэим ноде, для этого я в hdfs-site.xml указываю что то типа??? <property> <name>dfs.data.dir</name> <value>/opt/hadoop/dfs/name/data</value> <final>true</final> </property И запускаю hdfs datanode start?

Мне тяжело с логикой, не понимаю пока что как оно должно работать, буду признателен если на 4 раз кто то кинет дельный Ман, чтоб я тупые вопросы не задавал

Да, но это после того как вы апнули журнал ноды и неймноды

Да, но это после того как вы апнули журнал ноды и неймноды

А тут подробнее пожалуйста

Да, но это после того как вы апнули журнал ноды и неймноды

Ааа ну имеется ввиду start-hdfs.sh?

https://www.edureka.co/blog/how-to-set-up-hadoop-cluster-with-hdfs-high-availability/

Посмотрю, спасибо большое!!!

Он рабочий, только там ещё йарн поднимают, это можно скипнуть там

Я по нему хдфс в докеры заворачивал

Yarn это типа менеджер? Он у меня тоже есть и работает

Yarn это application scheduler

Yet another resource negotiator

Я по нему хдфс в докеры заворачивал

А для чего? Какую цель по мимо удобства приследовали? Я просто сейчас обучаюсь, мне сказали познакомиться с хадуп а потом запускать с дистрибутивов уже, но я планирую написать плейбук на все это дело.

Это менеджер ресурсов кластера. Он старается эффективно распределять ресурсы кластера (память, цпу) в условиях множественных конкурирующих задач

Спасибо за ликбез!!!

https://www.oreilly.com/ideas/data-engineering-a-quick-and-simple-definition?utm_medium=email&utm_source=topic+optin&utm_campaign=awareness&utm_content=20180718+data+nl&mkt_tok=eyJpIjoiTm1Ka04yVTBaV0V4WmprNSIsInQiOiI1WVNSNGVrZTJJM2UwSzdsYmVMd0dUaXdBZGZMWnU2eWt0c3V3MmhldVZpdHZsQ2hsWFN0ZzlsUHY1K0s4SXdXK3V6dksrSWl0aHNvZGtVVllVVHN2OFJqazFJZXVZUUxYUFFCTnIra3YyNTN1TWFRbDJ3QmZrZG83eDZLK2ptViJ9

https://www.nytimes.com/2017/10/22/technology/artificial-intelligence-experts-salaries.html

Добрый вечер, я тут резко сменил направление и надо быстро и относительно глубоко прокачать скиллы в Cassandra, Spark, Kafka. Бюджет на книги или видеокурсы есть, английский тоже. Посоветуйте плиз хороший набор книг или курсов, а то материала намного больше чем доступного времени и не хочется распыляться

ну или если это оффтопик, то канал где спросить, конечно

Добрый вечер, я тут резко сменил направление и надо быстро и относительно глубоко прокачать скиллы в Cassandra, Spark, Kafka. Бюджет на книги или видеокурсы есть, английский тоже. Посоветуйте плиз хороший набор книг или курсов, а то материала намного больше чем доступного времени и не хочется распыляться

Вы слишком широко обозначили напрвление, быстро не получится. Надо либо сузить, задачу, либо портратить больше года

Вы слишком широко обозначили напрвление, быстро не получится. Надо либо сузить, задачу, либо портратить больше года

основная задача - кассандра, остальное это часть стандартного стека который придется имплементировать позже

так что меня больше интересует сама база и data modeling вокруг нее, и только потом все что к ней цепляется

Книжек и видео по Кассандре в сети - туча. Качните первые 10-15 книг и сами отберёте, что вам больше нравится

Книжек и видео по Кассандре в сети - туча. Качните первые 10-15 книг и сами отберёте, что вам больше нравится

в том и проблема, их слишком много. я и ищу совета что конкретно взять, 10-15 читать нет ни времени ни смысла.

в том и проблема, их слишком много. я и ищу совета что конкретно взять, 10-15 читать нет ни времени ни смысла.

Не надо читать, надо посмотреть, что в них написано и выбрать

Не надо читать, надо посмотреть, что в них написано и выбрать

ну я привык взять книгу, пройтись по ней, и к концу процесса быть может и не монстром но уже хорошо подкованным для того чтоб дальше разобраться с гуглем пополам. А когда книг много, для такого результата надо подобрать одну-две, не более, иначе начинается распыление ресурсов и прочая прокрастинация

ну я привык взять книгу, пройтись по ней, и к концу процесса быть может и не монстром но уже хорошо подкованным для того чтоб дальше разобраться с гуглем пополам. А когда книг много, для такого результата надо подобрать одну-две, не более, иначе начинается распыление ресурсов и прочая прокрастинация

Отвыкайте, поток информации растёт экспненциально, Даже если кто-то посоветует, это не будет соответствовать Вашим требованиям. Учитесь плавать в море информации. выбирать, что читать, должны Вы.

Отвыкайте, поток информации растёт экспненциально, Даже если кто-то посоветует, это не будет соответствовать Вашим требованиям. Учитесь плавать в море информации. выбирать, что читать, должны Вы.

понятно. ладно, поищу ответов на реддит

понятно. ладно, поищу ответов на реддит

https://academy.datastax.com

по кафке рекомендую kafka definitive guide от confluent

по спарку можно послушать курсы на курсере от яндекса и смотреть туториалы на оф сайте spark.apache.org

ребят, для скалы https://ru.wikipedia.org/wiki/Sbt весьма актуально? или большинство проектов на базе мавена со скала плагином

впервые вижу ссылку на вики страницу сбт

На сбт все проекты, мавен забытая шляпа.

да, актуально

Сбт топчик

днище*

ребят, для скалы https://ru.wikipedia.org/wiki/Sbt весьма актуально? или большинство проектов на базе мавена со скала плагином

Актуально , лучше в группе @scala_ru спросить

thanks a lot

Кстати у нас там халявный фп спидран проходит, на скале

Сейчас правда на паузе слегка из-за недостатка времени