И в чем?

и дефолты мы не используем

у нас большой кластер и команда, которая хадупом как платформой занимается

А “большой” - это сколько

и дефолты мы не используем

Так и мы не используем

большой - это кластер мегафона

Ну - а у меня кластер ФНС

померялись, хорошо

клаудера же не вопросы производительности решает

Но у кого больше, не поняли

а вопросы совместимости

Клаудера решает вопросы “а сейчас мы конфиг ебанистически нарежем и сложим в RDBMS”

150нод, 2 пб

“И хер вы потом разберетесь, где что”

150нод, 2 пб

Ну это большой, да У нас поменьше раз в десять

у нас пока вопрос только про использование спарка ванильного встал

последние изменения там больно вкусные

А вопросы совместимости чего с чем решает клаудера?

В 2016-м году нет никаких проблем совместимости

версий продуктов между собой

А они несовместимы?

клаудера решает вопросы зарабатывания бабла для своих инвесторов

поставь все последние версии продуктов с оф сайта хадупа и запусти их

ну и вебморда у нее получш

потом расскажи про отсутсвие проблем совместимости

Hive 2 имеет другой формат метастора, не такой, как у Hive 1 И никакая клаудера это не решает

Кроме того, есть parquet, orcfile, разные кодеки сжатия, и Impala, Spark и Hive читают все это по-разному

И никакая клаудера это не решает

я, пожалуй, ссылкой отвечу http://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_parcels.html

ну и вебмордочка у CM хороша и апи есть

у нас уже куча обвязок над их апи построено

и для создания кластеров и для управления конфигурацией

поставь все последние версии продуктов с оф сайта хадупа и запусти их

А я как делаю?

У меня Hive 2 с альфа-версии на стендах

Запустить мейвеном билд под нужную версию - не офигеть какое знание

ок, всё так, клаудера тоже говно

Но вопрос остается: “как работает клаудера?”

Ответ, я так понял: “мы не знаем, как, но на 150 нод ее раскатали"

Ну - хорошо

я не из хадуп команды, я рядом постоял

Пока есть вы, у меня работа никогда не закончится

Да хадуп команды везде одинаковые

Я на них насмотрелся

У нас тоже все отличне, чо

Издержки энтерпрайза

В старом кластере петабайт размечен, в новых чуть меньше, потому что диски не SATA, а SAS

Нахер так сделано - я не знаю, но отменить у меня полномочий не было

Нахер так сделано - я не знаю, но отменить у меня полномочий не было

видимо и это останется без ответа

Хотя, почему “не знаю” Знаю

Но вопрос остается: “как работает клаудера?”

а что тебе там не понятно? есть менеджер, который раскидывает конфигурацию на хосты

внутри то тот же самый хдфс и всякие сервисы

а что тебе там не понятно? есть менеджер, который раскидывает конфигурацию на хосты

Мне все понятно, я знаю в деталях, как там и что

Где лежит конфигурация, от чего эта конфигурация, как она доставляется

А вот понятно ли другим остальным, которые клаудеру ставят - это вопрос

Можно поднять вопрос до уровня "живут ли люди осознанно или плывут по течению"

что ФНС делает в хадупе? ищет неплательщиков бигдатой?

Можно поднять вопрос до уровня "живут ли люди осознанно или плывут по течению"

Ну - так и есть

что ФНС делает в хадупе? ищет неплательщиков бигдатой?

Расхождения ищет в декларациях

молодцы вообще ребята

В старом кластере петабайт размечен, в новых чуть меньше, потому что диски не SATA, а SAS

SAS - диски весьма отвратительные. особенно - высокоскоростные SAS, с микро-блинами

SAS - диски весьма отвратительные. особенно - высокоскоростные SAS, с микро-блинами

Но с них откат больше

Но с них откат больше

а, ну тогда вопросов нет. Желательно еще какой-нибудь ынтырпрайс. Типа IBM-а, чтобы диск тысячи две-три стоил в розницу

Все так

а, ну тогда вопросов нет. Желательно еще какой-нибудь ынтырпрайс. Типа IBM-а, чтобы диск тысячи две-три стоил в розницу

ну это фигня. я видел как русгидро себе HP- шные ssd (200гб intel S3700) по лист-прайсу за 8200$ брали

вот это понимаю - маржа

а потом дебил уронил ключ гаечный на ввод в ДЦ )) и все накрылось )) зато во внутреннем отчете была сказка - по стечению остоятельств все сервера и сеть вышли из строя одновременно

и ниче )) теперь та команда управленцев строит новый дивный мир в дочке газпрома ))

и никак этому безобразию не противостоять?

и никак этому безобразию не противостоять?

массовые расстрелы. иначе никак.

лично отвечать за каждого дебила с ключом никаких управленцев не хватит

маржа конечно хороша

лично отвечать за каждого дебила с ключом никаких управленцев не хватит

да вопрос то с ДЦ другой )) там собрались генерирующие компании и сделали себе мини-ДЦ прям на китайгороде ))

а почему на рынке нет альтернатив? Предложили бы свою коробку, совместимые железки и т.п.

мужики там суровые )) в связи с небольшими зарплатами )) а железа вокруг гниет на миллиарды

а почему на рынке нет альтернатив? Предложили бы свою коробку, совместимые железки и т.п.

рынок не имеет отношения в отмыванию денег. только мешает

интересное заявление

поэтому и диски сас получаются в кластерах )) и супердома стоят - на них даже уже забыли пароли админы ))

а почему на рынке нет альтернатив? Предложили бы свою коробку, совместимые железки и т.п.

почему-то мне кажется, что там сертифицированное ПО. А оно работает только на сертифицированном железе

интересное заявление

логичное

150к за 2 блейда это как-то совсем дико

да если бы 150К )) супердом в полной набивке - лямчик )))