А сам проверить не хочешь?

ну я ж говорю, отобрал ряд технологий для проверки в порядке приоритетов получилось slurm, yarn, mesos

А, это просто очередь какая

А мезос чистый или всеж с dcos?

да пофиг, мне проблему решить надо, а чем вторично

ну кстати мезос не тяжело сапортить вот кубер.

Есть управляемый AWS EKS для тех кто в облаке, там сопровождение проще.

Есть управляемый AWS EKS для тех кто в облаке, там сопровождение проще.

там стори читай; проблема не поднять кубер а ресурсы выделять

А, ну да. Замаппить ресурсы GPU на контейнер можно, а вот управление этими ресурсами в смысле шарить карту проблема, да и не в приоритете у разработчиков.

А разве Х5 на Добрынинскую не переехал?

Часть офиса уехала на Добрынинскую, но ИТ остались на Волгоградском проспекте.

Коллеги, попал в руки HDFS на SSD (~60TB) Есть ли у кого-то идеи / советы как его потюнить, какие грабли обойти, какие фишки попробовать? Может полезная статейка есть под рукой? стандартный workload на нем - Spark + Hive + Streaming логов из кафки

и как, быстро работает?

пока сетапим

интересно, потом расскажите как спарк паркет или орк из ссд вычитывать будет)

По идее должно хорошо работать на куче мелких партиций. Ииии, наверное все

С точки зрения $ для HDFS, которая оперирует большими блоками, зачастую выгоднее поставить много HDD, чем инвестировать в SSD. В AWS рекомендуется ставить throughtput optimized HDD. SSD выигрывает для большого объема random read/write, например, для RDBMS.

Друзья можете подсказать такую вешчь: есть много виртуалок, котоыре ВМВарь может сама мигрировать при определенных случаях. Если у меня развернут хадуп и на нем спарк считает что-то, то в момент миграции с одной ноды на другую мне будет больно?

Друзья можете подсказать такую вешчь: есть много виртуалок, котоыре ВМВарь может сама мигрировать при определенных случаях. Если у меня развернут хадуп и на нем спарк считает что-то, то в момент миграции с одной ноды на другую мне будет больно?

Нет. Возможно подтормаживание. Не знаю как в варе - по идее произойдет мапа опер памяти ос с одного сервера на другой. В случае быстрого изменения памяти процесс будет идти долго.

Нет. Возможно подтормаживание. Не знаю как в варе - по идее произойдет мапа опер памяти ос с одного сервера на другой. В случае быстрого изменения памяти процесс будет идти долго.

Спасибо

С точки зрения $ для HDFS, которая оперирует большими блоками, зачастую выгоднее поставить много HDD, чем инвестировать в SSD. В AWS рекомендуется ставить throughtput optimized HDD. SSD выигрывает для большого объема random read/write, например, для RDBMS.

про AWS есть сравнение где-нибудь с конкретными цифирями?

Всем привет! Важная информация по завтрашнему мероприятию. К сожалению, уже несколько дней я валяюсь с температурой, поэтому доклада про Deep Learning landscape не будет, он переносится на следующий раз. Вместо этого коллеги из Мегафона сделают доклад "Инструменты работы с Гео-данными на Spark.". Кроме того, есть возможность посетить экскурсию по офису мегафона. Если кто-то хочет принять в ней участие, то приходите часам к 18. Я постараюсь оклематься до завтра, но, если этого не произойдет, все будет хорошо. Moscow Spark состоится при любой температуре ))

про AWS есть сравнение где-нибудь с конкретными цифирями?

https://calculator.s3.amazonaws.com/index.html ? Соотносишь характеристики и цену на различные EBS.

https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/EBSVolumeTypes.html - рекомендации самого AWS

Часть офиса уехала на Добрынинскую, но ИТ остались на Волгоградском проспекте.

печалька

https://calculator.s3.amazonaws.com/index.html ? Соотносишь характеристики и цену на различные EBS.

а, ну-ну, калькулятор. спасибо, а то я не знаю... херню на постном масле он показывает. с тем, что потом реально выходит в биллинге, вообще никак не бьётся.

а, ну-ну, калькулятор. спасибо, а то я не знаю... херню на постном масле он показывает. с тем, что потом реально выходит в биллинге, вообще никак не бьётся.

тебя судьба конечно не жалеет, туча прям угрюмая) // я по доброму если чо сча вижу уже строчите как толстые

авс вообще отстой. если б не хотелка заказчика, сидели бы на азуре. хдинсайт и удобнее, и предсказуемей, и костылей куда меньше, чем в емр

ох ты; у меня абсолютно наоборот опыт с ажурой

мне особенно нравятся ажуро доки с нерабочими примерами

а мне вот особенно, ну прям до дрожи в коленках нравятся всякие приблуды типа s3-dist-cp.

а зачем она нужна?

я прост вот ни разу не польовался)

с3 дист кп

хотя все на емр

а, ну-ну, калькулятор. спасибо, а то я не знаю... херню на постном масле он показывает. с тем, что потом реально выходит в биллинге, вообще никак не бьётся.

Ну тут не смогу ничего добавить, потому что в нашем случае клиента калькулятор устраивает, а деньги он самостоятельно заносит, на Amazon не жаловался. Однако непосредственно соотношение цен дисков, неужели оно сильно расходится, а не вместе с поддержкой, спотами и т.п.?

у тебя исходное файло где лежит?

либо с3 либо хдфс

и в каком колчиестве. у нас вот мильён csv на сколько-то терабайтов

не нужны csv

скормить без переноса в хдфс и слияния водин спарку это нереально

теры картинок;

слай не пользуемся

нужны или нет, но что даёт поставщик, то и есть.

ааа ну я думал эт вы кладете все в сисв

)))))

думаю у тебя какойто весбма специфичный кейс

какая разница во что выкладывать конечный результат, хотя, впрочем, та же хрень.

но мне кстати кажется обычная хадуп консоль кладет все на с3

типа hadoop fs cp и пути указываешь

могу проверить

с3 хорош до определённого объёма, а потом... потом они его троттлят

11 миллионов партов в бакете -- и усё. в бан за дудос.

ты партфайлы там хранишь?

это плохо работает

и медленно

на азуре же такое не карается ничем

просто бери и юзай как захочется. а с3 какашка.

мммм не сталкивался честно говоря, но я бы не советовал использовать этот хадупо конектор к с3

мы свое писали для четния и записи, и на больших объемах не заметил регрессии

только на большом колве маленьких файлов она есть, очевидно

ну васб не плохая да

эта регрессия нигде не документирована

она документирована

у хадупа такая же

с3 просто хадуп прокачаный хзибитом

там есть заметка про eventual consistency но нигде не сказало про лимит в 11кк ключей на бакет

я думал гдет есть; но да) брось с3 лучше не использовать для мелких файлов

тут лучше хдфс и в ручную мапфайлы составлять и индексировать

хехех

уж что есть, с тем и работаем

но да, с3 такая ж хдфс, отсюда пробелмы хранения мелких файлов

я не думаю что ажура радикально лучше с этим работает, может просто убраны искусственные лимиты с3

эт откуда известно что с3 поверх хдфс?

она не поверх

ну просто плохо спроектирована значить

но да, с3 такая ж хдфс, отсюда пробелмы хранения мелких файлов

Именно, поэтому если обработка многих мелких файлов (да еще и с произвольным доступом), не рассмотреть ли что-то отличное от HDFS / S3? ELK??

Именно, поэтому если обработка многих мелких файлов (да еще и с произвольным доступом), не рассмотреть ли что-то отличное от HDFS / S3? ELK??

да или надо подргому хранить или придумывать как упорядоченно хранить

у хдфс есть апи для создания мапфайлов

получится что фактически не будет мелких файлов для хдфс и он будет норм работать

все будет эффективно лежать

тут проблема ключа будет - она понимает тока лексиграфию как все большие таблицы

а почему тут такой дизайн @workales потому что такой дизайн у хдфс; ажура такая ж; ничо нового никто не придумал; сервисы с лучшим апи и под разные нужды делают

в авсе ещё сильно бесит маркет с торговлей на цене за время. в азуре такой дури нету, просто платишь и юзаешь. а тут то нужный тип инстанса занят, то в шесть америка просыпается и перекупает всё, что ты зааллоцировал в спотах

у меня мне кажется m3xlarge за 7 центов никто никогда не перекупал

вот 6 да

7 - не помню

а почему тут такой дизайн @workales потому что такой дизайн у хдфс; ажура такая ж; ничо нового никто не придумал; сервисы с лучшим апи и под разные нужды делают

нет, там несколько получше. судя по ихним докам, скейлинг у блобов хороший, а которые поверх adl (т.е. wasb2) вообще должны быть безразмерные

нет, там несколько получше. судя по ихним докам, скейлинг у блобов хороший, а которые поверх adl (т.е. wasb2) вообще должны быть безразмерные

а размер блока для синхронизации между нодами каков? небось 64 метра как у хдфс?

или это не указано и работает ‘само собой’?

я бы и с васбом тоже не рекомедовал бы пользоваться через хадупо апи

у них своя либа есть и лучше ею

у меня мне кажется m3xlarge за 7 центов никто никогда не перекупал

вот прям щас у нас крутится кластер на 20 штук m5.24xlarge — на флоте из сотен m3.xlarge оно считалось бы... ну я не знаю... пару лет.

ну я прод на спотах не держу)

ну я прод на спотах не держу)

кстати, а почему? теоретически, можно настроить всякие автобалансировки и перезапуски

кстати, а почему? теоретически, можно настроить всякие автобалансировки и перезапуски

да всякие требования есть и они к инстансам тож(

а так можно