Даже если ты прометеобог

На кладбище тоже очень френдли

На хабре тоже, кстати, френдли, если ты хабрачеловек

А если ты обычный человек - тебя местная стая изгонит за сутки

начинаю вспоминать почему я не люблю российские чаты....

Почему?

Почему?

выше

На хабре тоже, кстати, френдли, если ты хабрачеловек

Я натужное хабрабыдло с их лицемерным выканьем и показным благочестием рот топтал

Ты не хабрачеловек порст

Д

он хипервишник хренов

у вас просто рейтинг маленький

Это вариант digital divide Либо ты человек, либо хабрачеловек, третьего нет Когда наступит золотой век меритократии, мы из хабралюдей топливо делать будем

И хипер тоже работает

у вас просто рейтинг маленький

Рейтинг у меня довольно большой, я ж уже говорил

у вас просто рейтинг маленький

Бумбурум закукарекал

Рейтинг у меня довольно большой, я ж уже говорил

она про другой)

Вам не угодишь. Одного в чате нахуй шлют, другой расстроен от Вы в интернете

Я его по ннм ещё помню

Миш, ну ты же нас обоих знаешь

Ну чо вы, демоны

Опять флеймите

Миш, ну ты же нас обоих знаешь

у меня спёрли тост, который я ждал из тостера на работе за завтраком) я не мог не набросить

Опять флеймите

пиздятину лижут)

пиздятину лижут)

А нуэто ок, дело хуле

Слушайте, а раз в чате есть люди, у которых заббикс работает - может, найдутся и те, у кого клаудера работает?

у нас работает, а шо?

у нас работает, а шо?

Так и шо?

А как она работает?

Ну как-то работает на CDH 5.5.1

наш стек - oozie, spark, hdfs, yarn

немного hive и impala

все ок, брат жив

А, ну ясно

“Как-то работает” Окей

“Как-то работает” Окей

а что с ней делать надо чтобы сломалась ? или достаточно просто запустить и подождать ?

Я имел в виду - “как она работает внутри?"

Чтобы сломалась? Ну - можно нагрузку дать, например

Но дело же не в том, сломалась она или нет

Дело в том, как она внутри устроена (и зачем)

Заббикс вон тоже у людей работает Хрен оспоришь

и есть не просит, кстати

Мы вот у себя клаудеровский HBase заменили на ванильный - расчет на 6 часов быстрее пошел Причем - мы этого не планировали

Просто заменили их настройки на наши настройки Вместе с пакетом

Но проблема клаудеры даже не в этом Это так, приятные мелочи

мда 6 часов это внезапно

Главное, что меня теперь пацаны спрашивают: “А что ты сделал?” А я ничего не сделал Клаудеровские дефолты сменил на свои

поди там дефолты чтобы работать в минимальном сетапе как обычно во всяких сборках делают

Да нет, там вообще из таких настроек только размер памяти под JVM Ну да - я зафигачил 10 гигабайт А сколько было - я не помню, думаю что 8 (на 4-х не работает вообще) Вряд ли разница в 2 гигабайта так сказалась

я думаю - там вшиты разные дефолты

ну мы немного по разному наверное хадупы используем

я думаю - там вшиты разные дефолты

Где?

у нас большой кластер и команда, которая хадупом как платформой занимается

И в чем?

и дефолты мы не используем

у нас большой кластер и команда, которая хадупом как платформой занимается

А “большой” - это сколько

и дефолты мы не используем

Так и мы не используем

большой - это кластер мегафона

Ну - а у меня кластер ФНС

померялись, хорошо

клаудера же не вопросы производительности решает

Но у кого больше, не поняли

а вопросы совместимости

Клаудера решает вопросы “а сейчас мы конфиг ебанистически нарежем и сложим в RDBMS”

150нод, 2 пб

“И хер вы потом разберетесь, где что”

150нод, 2 пб

Ну это большой, да У нас поменьше раз в десять

у нас пока вопрос только про использование спарка ванильного встал

ERROR: S client not available

последние изменения там больно вкусные

А вопросы совместимости чего с чем решает клаудера?

В 2016-м году нет никаких проблем совместимости

версий продуктов между собой

А они несовместимы?

клаудера решает вопросы зарабатывания бабла для своих инвесторов

поставь все последние версии продуктов с оф сайта хадупа и запусти их

ну и вебморда у нее получш

потом расскажи про отсутсвие проблем совместимости

Hive 2 имеет другой формат метастора, не такой, как у Hive 1 И никакая клаудера это не решает

Кроме того, есть parquet, orcfile, разные кодеки сжатия, и Impala, Spark и Hive читают все это по-разному

И никакая клаудера это не решает

я, пожалуй, ссылкой отвечу http://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_parcels.html

ну и вебмордочка у CM хороша и апи есть

у нас уже куча обвязок над их апи построено

и для создания кластеров и для управления конфигурацией

поставь все последние версии продуктов с оф сайта хадупа и запусти их

А я как делаю?

У меня Hive 2 с альфа-версии на стендах

Запустить мейвеном билд под нужную версию - не офигеть какое знание

ок, всё так, клаудера тоже говно

Но вопрос остается: “как работает клаудера?”

Ответ, я так понял: “мы не знаем, как, но на 150 нод ее раскатали"

Ну - хорошо

я не из хадуп команды, я рядом постоял

Пока есть вы, у меня работа никогда не закончится

Да хадуп команды везде одинаковые

Я на них насмотрелся

У нас тоже все отличне, чо

Издержки энтерпрайза

В старом кластере петабайт размечен, в новых чуть меньше, потому что диски не SATA, а SAS

Нахер так сделано - я не знаю, но отменить у меня полномочий не было

Нахер так сделано - я не знаю, но отменить у меня полномочий не было

видимо и это останется без ответа