амбари не панацея

Ваши предложения?

Не валится - всё на высокую доступность настроено, сервачки работают

Просто у меня от аренадаты... и там какбе без амбари - никак

Нэймнода, ярн ресурсменеджер как минимум

ну там вроде 2 неймноды можно...

Амбари можно переподнять - он найдет их потом, если они рабочие

А стартануть это всё без амбари тоже может? ИМХО - нет

Можно всё и вручную стартоваьь

Но кому охота этим заниматься

Ванилла хадуп - не наше всё

без амбари, если поднималось через него?

Ambari смотрит на метабазу, которую можно держать в HA. И да, Ambari просто помогает сделать мышью то, что раньше делали в CLI.

Ну а в чём проблема, он вел. Просто дёргает сшники

это я уже понял

И переписывает конфиги в ФС

Всё сохранено

короче, это еще одна ненужная централизация

причём настолько кривая, что при ее падении тащит за собой весь кластер...

короче, это еще одна ненужная централизация

если так думать, то амбари это меньшая беда, большая namenode-а

ну неймноду со 2й версии вроде как научились резервировать

Ага, с 200млн файлов)

больше всего мне не нравится что если все датаноды ложатся все падает

ужасный ботлнек

да, частая проблема

оч надоедает

++

ну неймноду со 2й версии вроде как научились резервировать

а амбари не научились?)

Вроде 4 хадуп сможет работать без датанод и неймнод

самый конечно фееричный пирог это когда поверх этого добра еще ненужный хбейз поднять прикиньте короче дб поверх дб и еще зукипер

и все сразу падает

Вроде 4 хадуп сможет работать без датанод и неймнод

мне уже нравится - нет нод нет проблем

Вот по связке зукипера и ярна была пара косяков, приходилось вручную чистить зукипер от конкретного таска

ну там вроде 2 неймноды можно...

2 NN (Active + Standby), JN, 2 HS, 2 RA, ZK quorum, HA meta DB, много дисков и RAID'ы, ... вот и отказоустойчивость постепенно вырисовывается.

2 NN (Active + Standby), JN, 2 HS, 2 RA, ZK quorum, HA meta DB, много дисков и RAID'ы, ... вот и отказоустойчивость постепенно вырисовывается.

Давайте собираться по пятницам в пабе и читать вслух Definitive guide!

Вот по связке зукипера и ярна была пара косяков, приходилось вручную чистить зукипер от конкретного таска

да, вот это была жесть. и еще бывало переполнение истории

2 NN (Active + Standby), JN, 2 HS, 2 RA, ZK quorum, HA meta DB, много дисков и RAID'ы, ... вот и отказоустойчивость постепенно вырисовывается.

там не только activ standby

ща, вспомню, точно скажу

Это роли NN, которыми при рестарте NN могут меняться + сервисы JN для журналирования. Если про Hadoop 2.x говорим.

Ребят подскажите плз почему start-dfs.sh ругается на ключ, хотя так с системы все ок Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password). Гугл говорит что типа с ключами чет не так, но это и из сообщения понятно, ток дело не в этом

Ребят подскажите плз почему start-dfs.sh ругается на ключ, хотя так с системы все ок Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password). Гугл говорит что типа с ключами чет не так, но это и из сообщения понятно, ток дело не в этом

чмоды на ключах верные?

Проверю, думаю нет

проверь что просто на тачки можешь зайти по ссш с твоей тачки

а это могу

и на локал хост и на остальные ноды

чмоды на ключах верные?

права на ключи дефолтные

0600?

authorized_keys тоже?

0600?

Эт на приватный

а на всех нодах твой ключ в авторизованых есть?

проверь что просто на тачки можешь зайти по ссш с твоей тачки

тут же верный пример, если бы дело было в правах меня бы не пускало не куда, он бы говорил что ключи с не верными правам

а на всех нодах твой ключ в авторизованых есть?

да

-)

дело в криворучие точно, ток понять бы где именно они поработали

а пасворд аутентификейшн включен на всех мастерах / слейвах?

ммм не помню точно как зовется опция ссхд

ммм не помню точно как зовется опция ссхд

так и зовется, дефолные конфиги ссш

а по дефолту он разрешен разве?

обычно подефолту там по ключу онли

нее а как бы ты подключался и ключ закидывал?)

хороший вопрос)

=)

в образе системы ключики уже нужные лежат

ну это если разваорчивал из образа

в образе системы ключики уже нужные лежат

я из исходников ставлю

мммммм

или папетом разливать каким

короче мне кажетсяч не верные права ссхи

ща чекну

перепроверь везде))

короче мне кажетсяч не верные права ссхи

да, она почему то с 777 не работает

действительно, странно

сделал как то себе sudo chmod 0777 -R /*

и все поломалось

ну не странно, там у ссх же проверка на права всегда стоит

да ладна?

вот так везде

попробуй от пользователя hadoop сходить на другой хост ssh -v $host

и посмотри что в выхлопе, подтягиваются ли ключи

и ключ -v добавь для ssh

оно тебе скажет, что не так

и ключ -v добавь для ssh

или -vvv)

странная муть какая то, я так то все поудалял чего он там ищет хз, так же не понятно ведь, если ключа нет следом запрос пароля, а н спрашивается,думаю дело не в ключах

а юзеры все те для которыз все проверял?

да юзеры те

спасибо