по иопсам и спу у нас особых ограчниений не было) большие жирные тачки ТАК ЧТО НЕЗНАЮ

а докер вы чем рулите-провижните?

тот про ктоорый говорю это прост набор скриптов, читай ансибл расикдывал все

из плюсов - цель этого всего - была возможность обновления безболезненного кластера и отсутвия жавы на хосте

ну и действительно такая хдфс оч удобно и безболезненно обновляется

ах ну и да - железный оверхед все волюмы должны быть проброшены на диски

иначе не вывозит ):

ну и суть этого на самом деле не большоая - удобное обновление нод и только на самом деле

ну типа выглядит как горхнул контейнер поднял новый и все работает

бонусом геморрой и надежда на то, что докер поверх хадуповских проблем не подкинет своих

да не, уже 3 года работает

у нас кластер и без докера работает проблемы при миграциях чисто клаудеровские и хадуповские, что не решится контейнерами

конечно

ну и суть этого на самом деле не большоая - удобное обновление нод и только на самом деле

Сильно проще чем пакет раскатить?

конечно у нас свой хадуп был и свой класспас и хбейз со своими итераторами (или как оно называется) удобнее и чище прост поуилять контейнеры и новых поднять чем пакеты раскатывать и думать что класспасы засраны и всякое такое

да вообще это идеологический подход разницы особо нет яж уже написал что оверхед реально может быть

и вон Данил с подозрением относится) однак там все хорошо в докерах

и вон Данил с подозрением относится) однак там все хорошо в докерах

это не подозрение я просто не вижу достаточного количества плюсов супротив усложнения комплекса

ну это выглядеть может как упрощение

апдуйтов

своих сборок

пакеты собирать предлагаешь и выкатывать их везде?

таж самая вафля

таж самая вафля

вот я про то и говорю, что тоже самое, но без доп пройслойки

да нетж

не тож самое ну) не оттестить надо ставить жаву на тачки апдейт жавы превращается в ад нет гарантии одинаковой версии жавы вдруг хочется поменять убунту на сентось

^ что и правда было

ну тип вот сча у нас требование компании Н делать пакеты и это не оч удобно в палне 3д пати зависимостей

про тесты согласен, контейнеры для этого удобны про смену оси не понял совсем

1) лишнее звено в системе повышает хрупкость системы в целом (особенно докер, сеть и прочее) 2) jvm до сих пор не умеет нормально в докеры (не видит лимиты) 3) единственный плюс докера для разворачивания перед набором скриптов (один фиг их делать что там что там) - скорость разворачивания 4) лимиты докера не распространяются на диски 5) как бы Помадчин кривуюрожу не постил, но лимиты на цпу вызывают дополнительные остановы при вычислениях.

1 схоластический аргумент ) 2 у РХ статейка есть с объяснением как, почему, и как жить. Вполне решаемо, все живут. 3 Нет, ещё большой плюс когда ты что то заменяешь в поставке CDH\HDP, с докером у тебя однообразие развертывания компонент и просто та их обновления. С менджментом от внешней сущности (cdh), либо 2 места, либо пиши блюпринты, либо страдай при апдейтах стека. 4 можно контейнеру ограничть иопсики по девайсам на рид \ врайт. Имхо в большинстве случаев достаточно. 5 имхо, если у вас не выделенный кластер, а на этих же машинах крутятся кроме ярна и штормы \ хбейзы, вы будете рулить сигруппами всё это дело и будет тож самое ну и про когерентность кеша цпу - он на вычислениях имхо не так заметен как скажем на выскоком сетевом ИО.

про тесты согласен, контейнеры для этого удобны про смену оси не понял совсем

ну калстер был на оси A стал на оси B

да не знаю - короче в целом у мя оч приятные ощущения от хадупа под докером были - может лаки бой конечно же

мне кажется докер имеет смысл только если есть оркестратор, куб например

1 схоластический аргумент ) 2 у РХ статейка есть с объяснением как, почему, и как жить. Вполне решаемо, все живут. 3 Нет, ещё большой плюс когда ты что то заменяешь в поставке CDH\HDP, с докером у тебя однообразие развертывания компонент и просто та их обновления. С менджментом от внешней сущности (cdh), либо 2 места, либо пиши блюпринты, либо страдай при апдейтах стека. 4 можно контейнеру ограничть иопсики по девайсам на рид \ врайт. Имхо в большинстве случаев достаточно. 5 имхо, если у вас не выделенный кластер, а на этих же машинах крутятся кроме ярна и штормы \ хбейзы, вы будете рулить сигруппами всё это дело и будет тож самое ну и про когерентность кеша цпу - он на вычислениях имхо не так заметен как скажем на выскоком сетевом ИО.

1) один из законов в инженерном деле 2) решаемо, живут выглядит как оправдание а не повод попробовать 3) не распарсил текст 5) наши админы забили рулить, "Вполне решаемо, все живут." (с) ? 6) Про ио и кэши согласен отчасти. Это может и должно ролять, если б не то как сейчас все сделано.

Да Данил, вообще докер выглядит как упощение (имхо) тут улосжнение ток потеницально стетевое и железное

ну и ранчер какойнить может менеджить всем вот правда я уже не занимался этим

2. Это экосистема которая сложилась годами, и случай с джавкой это эдж кейс. Его просто нужн оизучить, понять и жить припеваючи. 3. Ну, вы сказали что менеджить удобно и при помощи клаудеры \ хортона, я говорю что если вам какой нить компонент из стека не подходит, и его нужно привезти более свежей версии, начинаются пляски.

мне кажется докер имеет смысл только если есть оркестратор, куб например

да не обязательно, у кубера свои пролемы могут быть (он на го же)

как и докер...

ну и если ставить ванильный хадупчик, но этой высокой цели в проде пока кажется никто не достиг

ну и если ставить ванильный хадупчик, но этой высокой цели в проде пока кажется никто не достиг

я ж вон писал)

по факту у меня и был ванила везде

ну и сейчас тоже

Прямо со всей инфраструктурой (hbase, hive, oozie, spark, zookeeper, security, и всё остальное) ?

секурити ток не было внутрь локалки запихано все и тачки в стойках рядом

hadoop, accumulo, spark, zookeeper потом спарк кикнут был и ярн раскинут и спаркожобы под ярном

ну и всяая лабуда потом типа кассандры была и МОНГИ (вот ее кстати я бы реокмендовал пихать в контейнеры, если уж так поклчилось что у вас есть этот дьявол)

ну эти службы да, возможно там проблемы возникают с безопасностью и некоторыми из окружения, например oozie так как нет бинарных сборок, а самому собирать там ад

у нас и то и другое, и в контейнерах живёт ок ))

@ptchol тоже ванильный? а как вы бинари для служб собираете?

я про кассандру с монгой говорил.

Пробую достучаться к HdfsAdmin на Azure и постоянно бросает вот такое: java.lang.RuntimeException: java.lang.NoSuchMethodException: org.apache.hadoop.fs.azure.Wasb.<init?) at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:135) ~[jar:<stream>1521015453874:?] at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:3241) ~[jar:<stream>1521015453874:?] at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:121) ~[jar:<stream>1521015453874:?] at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:3291) ~[jar:<stream>1521015453874:?] at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:3259) ~[jar:<stream>1521015453874:?] at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:470) ~[jar:<stream>1521015453874:?] at org.apache.hadoop.hdfs.client.HdfsAdmin.<init?HdfsAdmin.java:78) ~[jar:<stream>1521015453874:?] hadoop-azure и azure-storage джарки на класспасе есть, чего ему еще надо?

клиентом? а чем стучишься?

всякие fs.wasb.impl засетапил?

и версии сдк может разные на клиенте / сервере

всякие fs.wasb.impl засетапил?

вроде все засетапил, делаю так: admin = new HdfsAdmin(uri, hdfsConfiguration); сверю версии, спасибо

дратути

интересует вопрос миграции HDFS (cloudera) с AWS на baremetal, в какой-нибудь OVH…

собственно, вычитал за Falcon, кто что скажет?

данных мало, ~50Tb

@krivdathetriewe ты говорил что в спарке появились метрики, можешь ткнуть мордой где смотреть?

@krivdathetriewe ты говорил что в спарке появились метрики, можешь ткнуть мордой где смотреть?

https://spark.apache.org/docs/latest/monitoring.html#metrics

Это видел ?

неа, спасибо

это вообще для друга))

https://spark.apache.org/docs/latest/monitoring.html#metrics

в 2.2.0 тоже самое, в итоге используем com.groupon.dse.spark-metrics для кастомных метрик

привет

а расскажите про capacity шедулер . Есть три очереди с капасити 60/30/10. Первая очередь пустует, очередям с капасити 30 и 10 отдаются все оставшиеся ресурсы (допустим что максимум капасити у обеих 95%). Как ресурсы распределятся в таком случае?

поровну раздадутся?

или больше достанется очереди с 30%

чёт не нагуглить

В документации явно не оговорено. Но макс капасити даёт ресурсы, если есть. Если нет, то гарантируется капасити. Иными словами, первый пришел, первый забрал свободные ресурсы.

А шедуллер разве будет раздавать оставшиеся ресурсы?

Он не будет резервировать 60 процентов ресурсов?

Это определяется ordering policy.

Для капасити есть fifo и fair

Он не будет резервировать 60 процентов ресурсов?

Посмотри elasticity в доке на capacity scheduler

Вот пример доки https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.6.1/bk_yarn-resource-management/content/flexible_scheduling_policies.html ПО дефолту фифо, значит поведение должно быть как описал Станислав.

основные минусы: 1) репликация блоков HDFS на разные виртуальные узлы кластера может потенциально оказаться на одной физической машине. и при ее бабахе шанс потерять блок данных повышается (уже решено для HDFS, можно задать для виртуальных узлов группы) 2) запуск процедур обработки данных (mapreduce, spark) может отработать на одной физической машине

Можно поднимать виртуалки по 1 на хост)

Можно поднимать виртуалки по 1 на хост)

хмм. действительно! ))))

В документации явно не оговорено. Но макс капасити даёт ресурсы, если есть. Если нет, то гарантируется капасити. Иными словами, первый пришел, первый забрал свободные ресурсы.

так и думал, спасибо!

так и думал, спасибо!

Да, только в документации явно оговорено.

#Job Коллеги, приветствую! Вброшу хорошую вакансию. В крупную российскую авиакомпанию S7 airlines (Москва, м. Тверская) активно ищем Data Engineer. Есть крупный отдел из 10+ Data Scientist'ов, сейчас они сами выполняю функции инженеров. Хотим разделить обязанности, для этого ищем хороших инженеров в штат. В задачах - организовывать витрины/дата сеты для аналитиков (с вас песочница, с аналитика - алгоритмы). Стек - Hive, Impala, AeroSpike -> Hadoop, Spark. Объемы - зависят от проекта. От 10гб до нескольких Тб. По деньгам - в рынке. Меня никак не ограничивали, будем обсуждать с каждым индивидуально. Белые, соцпакет, плюс очень дешевые билеты для своих. Если есть любые вопросы или хотите прислать резюме, то пишите в личку или на почту alavrov@star-staff.ru

Ребят, какую тему на диплом бакалавра можно взять по hadoop?

hadoop очень широкая тема, смотря какие интересы, и насколько глубоко любите копать вот я бы выбрал описание устройства HDFS in depth

нормальная реимплементация hbase

нормальная реимплементация hbase

тухляк

я б лушче что нибудь прикладное решил на хадупе

к тому же ж бакалавр только

я б лушче что нибудь прикладное решил на хадупе

А лучше на Spark.