Хотя не, 2 диска по 10тб - это грустно, лучше хотя бы 6 дисков по 4тб

В типовом расчёте оптимального количества контейнеров есть метрика "количество физических HDD". Horton считает, что контейнеров должно быть 1,8*кол-во дисков. Так что делать датаноду на 2 больших HDD-идея такая себе.

В итоге получится, что ваши 100500 вкоров и охулиард RAM будет просто нечем занять, потому что скорость чтения/записи на 1 физический диск имеет физические ограничения.

В типовом расчёте оптимального количества контейнеров есть метрика "количество физических HDD". Horton считает, что контейнеров должно быть 1,8*кол-во дисков. Так что делать датаноду на 2 больших HDD-идея такая себе.

хз у меня 1,6 пб должно быть медленное и 300 тб быстрое, но за короткое время надо перекладывать из медленного в быстрое

40к iops на 1,6 пб это оч мало

Так что я бы лучше брал 20 по терабайту в JBOD, чем 2*10

Так что я бы лучше брал 20 по терабайту в JBOD, чем 2*10

да я вот тоже пытаюсь это обьяснить

что нет никакого толку с этой плотности, если будет 40к iops

А откуда так много?

В типовом расчёте оптимального количества контейнеров есть метрика "количество физических HDD". Horton считает, что контейнеров должно быть 1,8*кол-во дисков. Так что делать датаноду на 2 больших HDD-идея такая себе.

Не, я про то и говорил: больше дисков - в разы выше скорость чтения

да я вот тоже пытаюсь это обьяснить

Открой HDP Cluster Planning, будет тебе обоснование JBOD и много HDD.

хз у меня 1,6 пб должно быть медленное и 300 тб быстрое, но за короткое время надо перекладывать из медленного в быстрое

Почему все так любят перекладывать? Почему нельзя сделать одно "единое корпоративное хранилище", а не четыре?...

Полкластера в итоге занято перекладкой

Почему все так любят перекладывать? Почему нельзя сделать одно "единое корпоративное хранилище", а не четыре?...

П - порядок (на слайдах) (в реальности другое)

Почему все так любят перекладывать? Почему нельзя сделать одно "единое корпоративное хранилище", а не четыре?...

Ну кстати АренаДата вот недавно рассказывала на Тинькофф-митапе про свои идеи, у них по архитектуре самое свежее и горячее в Ignite, средней свежести в GreenPlum, совсем старое и холодное в Hadoop.

На одном большом нужно городить федерации, не?

Всякие приседания вокруг viewfs

На одном большом нужно городить федерации, не?

хз на счёт федераций и тд, я тут вообще не врубаюсь, что они хотят в итоге

Ну кстати АренаДата вот недавно рассказывала на Тинькофф-митапе про свои идеи, у них по архитектуре самое свежее и горячее в Ignite, средней свежести в GreenPlum, совсем старое и холодное в Hadoop.

А что-то кроме идей и наклейки ярлычков у них сейчас есть?

Почему все так любят перекладывать? Почему нельзя сделать одно "единое корпоративное хранилище", а не четыре?...

ну типа не всегда же нужны данные, а вот когда надо подгрузим

Ну кстати АренаДата вот недавно рассказывала на Тинькофф-митапе про свои идеи, у них по архитектуре самое свежее и горячее в Ignite, средней свежести в GreenPlum, совсем старое и холодное в Hadoop.

И как поджойнить три таблицы - одну старую, одну среднюю и одну новую?)

А что-то кроме идей и наклейки ярлычков у них сейчас есть?

Есть.

И как поджойнить три таблицы - одну старую, одну среднюю и одну новую?)

я этот же вопрос задаю сейчас программистам

И как поджойнить три таблицы - одну старую, одну среднюю и одну новую?)

Для этого есть pxf - компоненты в ADB.

Не буду врать, не пробовал лично. Планирую. Но если хотя б часть работает, это уже неплохо.

Для этого есть pxf - компоненты в ADB.

ну вот смотри у тебя есть данные сейчас в быстрой части, и пришло ещё n запросов, как ты будешь решать какая часть данных в быстрой сейчас менее нужна

Ну и как там по ждбц скорость выкачивания из реляционок?)

Ну и как там по ждбц скорость выкачивания из реляционок?)

Я написал, что лично не пробовал.

вот мне сейчас 2 дата сатаниста нужно

1 не справляется

ну вот смотри у тебя есть данные сейчас в быстрой части, и пришло ещё n запросов, как ты будешь решать какая часть данных в быстрой сейчас менее нужна

Если данные в быстрой части-значит он все одинаково нужны.

Если данные в быстрой части-значит он все одинаково нужны.

но место кончилось и что дальше?

но место кончилось и что дальше?

Докупить ноды в один большой хадуп, сделать ребаланс и не париться)

Докупить ноды в один большой хадуп, сделать ребаланс и не париться)

бюджета нет

я и так делать буду не x3 а x2

и пока хз как будет на ребилде

Ну тогда есть очень большой резон взять дешманские компы вместо голдов

Кстати, вместо х3 можно же поставить хадуп 3 и сделать кодирование Рида-Соломона 6/3 хотя бы

Или стрёмно пока туда залезать?)

Кстати, вместо х3 можно же поставить хадуп 3 и сделать кодирование Рида-Соломона 6/3 хотя бы

Человеки планируют кластер на 2 петабайта без опыта сдачи ни одного кластера. Какие там кодирования

Ну у меня тоже нет опыта сдачи кластеров, но это не помешало мне найти 600 "запасных" коров в кластере, который сдали те, у кого он есть

Надо хоть иногда слушать тех, кто там, внизу, на земле

Запасные коры?

но место кончилось и что дальше?

Ну что, нет ножек-нет мультиков. Считайте в экселе, если не хватает денег на сложные вычислительные комплексы. Или не используйте inmemory.

Ну что, нет ножек-нет мультиков. Считайте в экселе, если не хватает денег на сложные вычислительные комплексы. Или не используйте inmemory.

считать в экселе нечего, софта ещё нет

Запасные коры?

Те, кто не юзает кластер, думали что все процы 12-ядерные, потому что новые ноды они докупали такие, а те, кто юзает, думали, что 6-ядерные, потому что в ярне сумма вкоров как от 6-ядерных. В итоге выяснилось, что два вида нод, настроили группы нод и получили х1.5 увеличение коров в кластере

Ну что, нет ножек-нет мультиков. Считайте в экселе, если не хватает денег на сложные вычислительные комплексы. Или не используйте inmemory.

На спарке-то даже на одной ноде из ноутбука можно посчитать то, что вешает эксель)

2 cores, 24 threads / 256 ГБ RAM / 72 TБ HDD hdd по 4 тб

12 корес может быть?

3 тб на вкор - очень медленно

Есть же стандарт, 8-12 дисков. Самые дешёвые шасси подходят

12 корес может быть?

2 проца 5120 256 ram и 18 hdd по 4 тб 7200 sas

я говорю, что это будет треш и садамия и надо этот же обьём брать дисками по 1,8 тб 10к sas

Стоп, 5120 это 14 коров, 28 вкоре, 256 оперативки маловато на два проца

ну программистов пока не убедить

По 1.8 вы не наберёте 72 тера на одну ноду)

И это будет хорошо, потому что 72 тера на одну ноду - это стрёмно)

я говорю, что это будет треш и садамия и надо этот же обьём брать дисками по 1,8 тб 10к sas

Зачем 10к сас?

И это будет хорошо, потому что 72 тера на одну ноду - это стрёмно)

я думал взять хрень на 102 диска по 2,5 и 8 pci x16, в которые вставлю рейзеры и m2

Нужен совет по версионности в HBase. Есть таблица с версионностью, в нее постоянно льются данных. Нужно делать вставку только если вставляемое значение отличается от щначения последней версии в таблице. Как лучше реализовать? Сейчас новые данные пишу во временную таблицу, а затем сливаю при помощи MapReduce. Рассматривал вариант вставки методом checkAndMutate, но производительность просела на порядки в сравнении с put.

Привет! Тут выше обсуждались диски 1х12Тб или 6х2Тб (объемы были немного другие, но суть примерно такая). И я помню, что там были пруфы, что лучше много дисков малого объема. Но я их никак не могу найти. Поможете?) У меня тут тоже хотят поставить 2х12ТБ на ноду.

Привет! Тут выше обсуждались диски 1х12Тб или 6х2Тб (объемы были немного другие, но суть примерно такая). И я помню, что там были пруфы, что лучше много дисков малого объема. Но я их никак не могу найти. Поможете?) У меня тут тоже хотят поставить 2х12ТБ на ноду.

io

как минимум

io

Не, это все понятно. И почему тоже. Но мне нужны пруфы из авторитетных источников, так сказать :)

И их тут кидали. Но не могу найти

Не, это все понятно. И почему тоже. Но мне нужны пруфы из авторитетных источников, так сказать :)

я - авторитетный источник =)

Открой HDP Cluster Planning, будет тебе обоснование JBOD и много HDD.

https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.6.5/bk_cluster-planning/content/ch_hardware-recommendations_chapter.html https://docs.hortonworks.com/HDPDocuments/HDP3/HDP-3.0.0/cluster-planning/content/hardware-recommendations.html

Привет! Тут выше обсуждались диски 1х12Тб или 6х2Тб (объемы были немного другие, но суть примерно такая). И я помню, что там были пруфы, что лучше много дисков малого объема. Но я их никак не могу найти. Поможете?) У меня тут тоже хотят поставить 2х12ТБ на ноду.

ну это же логично, когда диск один ты ограничен его скоростью в любом случае, больше дисков, больше шанса что данные будут на разных дисках, и чтение будет параллельно

ему пруфы нужны

на слово не верит)

btw а кто-нибудь гонял уже дистрибутивы хадупа 3?

Привет! В ближайших планах переезд с 2.x на 3.x (дистрибутив HDP) , какие могут быть подводные камни?

там ведь все совсем по другому будет(докер вместо cgroups и т.д. и т.п.), я думаю там сплошные рифы будут :)

Ну я надеюсь на обратную совместимость, которую обещали?

:)

например https://issues.apache.org/jira/browse/HDFS-13596

например https://issues.apache.org/jira/browse/HDFS-13596

Ага, HortonWorks говорит, что не надо Rolling: There is only one method for upgrading HDP-2.6 to HDP-3.0 with Ambari: Express Upgrade.

А сапорт есть?

А сапорт есть?

Если очень надо, то можно. Без него обходимся?

Ну банально эскалация

Ну банально эскалация

HDP лишь один из кубиков большой платформы, поэтому мы сами? Информацию мы у них запросили, тем не менее, хочется услышать реальные примеры перехода и проблемы. Документацию на HDP уже не раз корректировали?

На первом подводном камне я уже спотыкнулся. Рабочий кластер на 6 рхеле, а 3-му хдп нужен 7-й. Вот думаю, или сделать апргрейд, или новый кластер развернуть на семёрке сразу

У нас RHEL 7.4, должно быть ок

Ну, 7 рхелу уже 5 год пошел. Можно и перейти

На первом подводном камне я уже спотыкнулся. Рабочий кластер на 6 рхеле, а 3-му хдп нужен 7-й. Вот думаю, или сделать апргрейд, или новый кластер развернуть на семёрке сразу

нельзя апгрейд делать с 6ки на 7ку

только с 0 разворачивать

Да, апгрейдить с 6 до 7 довольно непросто, если вообще возможно с установленным hdp. Лучше с нуля поставить

нельзя апгрейд делать с 6ки на 7ку

они вроде как обещали такую возможность