@mai1on в свое время для процессинга и хранения мелкие файлы в Har архивы паковал

Ну тут же зависит от того сколько мапперов запустить?

да 40 вроде как их там парралельно

это вроде как максимум

А если делать снепшоты? и потом с ними уже оперировать?

>мелкие файлы >hdfs Зачем?

Всем. привет. Есть какие-то бест-практис касательно бекапов данных хранимых в hdfs? Там просто оченьго много мельких файлов, сейчас уже почти 500к, а будет больше. Если делать distcp на S3 это очень медленно, примерно 1000 файлов в час. Крайне неприемлемая скорость.

Саму hdfs бэкапить не надо, она сама себе бэкап. Если вы говорите про архивацию, то я целыми папками ( немного, 8 штук) выгетывал в локальную фс и через 3 дня паковал по дню в gz. Текст отлично жался. И ещё был Nifi, который мог оперативно разложить архив в нужные папки в hdfs. 100000 файлов минуты за 3 привозил.

>мелкие файлы >hdfs Зачем?

чтобы было, у меня так же, более 480 млрд мелких файлов будет

json сплошной

Ну и да, неужели тройной репликации недостаточно

правда пока не ясно как это будет выглядеть

>480 млрд мелких файлов NN там не помирает?

Саму hdfs бэкапить не надо, она сама себе бэкап. Если вы говорите про архивацию, то я целыми папками ( немного, 8 штук) выгетывал в локальную фс и через 3 дня паковал по дню в gz. Текст отлично жался. И ещё был Nifi, который мог оперативно разложить архив в нужные папки в hdfs. 100000 файлов минуты за 3 привозил.

Если get не подходит, можно ещё тоже прямой поток архивации в NiFi сделать.

Ну и да, неужели тройной репликации недостаточно

Репликация не гарант сохранности. Бекапы критических данных надо в любом случае делать.

Ну и да, неужели тройной репликации недостаточно

я многое видел как данные преврашаються в кашу или теряються ) особенно вспоминая ceph ))

>480 млрд мелких файлов NN там не помирает?

?это пока ток планы

?это пока ток планы

А вами точно хадуп нужен ?

Бекапы нужно делать, если есть write доступ у не особо несведущих людей. Я так как-то удалил данные за полгода

Бекапы нужно делать, если есть write доступ у не особо несведущих людей. Я так как-то удалил данные за полгода

и такое бывало (( когда пропадает 6 Tb данных а потом спрашивают - “аа кто это сделал?” )))

А вами точно хадуп нужен ?

да я иногда тут клоуном себя чувствую, я по 100500 раз обьясняю, что нельзя делать олапы и выборки на 7200 дисках по 10 тб, меня и слушать не хотят

Все лечится нормальным разделением базы

?это пока ток планы

Это потребует 480 гигов памяти NN, если без федерации. У вас столько есть?

Это потребует 480 гигов памяти NN, если без федерации. У вас столько есть?

ну у меня планируется пока 32 ноды по 512 рам

и 2 5120

Хрыч работает сисадмином?

и тут хрыч

32 NameNode?

В целом, можно запихнуть все это в какоу-нибудь hbase. И выборки по ключам достаточно быстрые и мелкие файлы объединяются. Но это в теории - сам такое не делал

32 NameNode?

да

да

Че за контора, если не секрет?

Че за контора, если не секрет?

боюсь это нельзя, тк заказчик тоже станет понятен

>32 NN Дэн, 25 лет: я кошу траву молотком… каждый день. Это немного сложно, но мне, черт возьми, нравится, мне нравится работать руками!

Ну и так-то можно мелкие файлы укрупнять, если всё уныло.

боюсь это нельзя, тк заказчик тоже станет понятен

Хоть отрасль.

Ну и так-то можно мелкие файлы укрупнять, если всё уныло.

а как потом выборку делать по 12-18 млн ключей?

>key-value

Ой, стоп, я тут лучше никаких не буду делать предложений. Ну его нахер

Мне кажется вы не понимаете как это работает, может книгу прочитаете ?

Мне кажется вы не понимаете как это работает, может книгу прочитаете ?

Там, наверное, упорством берут и дисциплиной.

Тут скорее какой-нибудь hadoop ozone больше бы подошел, но он в глубокой разработке всё еще:(

а как потом выборку делать по 12-18 млн ключей?

Прочитать целиком дешевле. На 9 узловом кластере 4 млрд читаются целиком минуты 3.

Там, наверное, упорством берут и дисциплиной.

?ну я сам к этому отношения не имею

но я регулярно чушь отсеиваю

но я регулярно чушь отсеиваю

Мелкие Файлы не отсеяли

Мелкие Файлы не отсеяли

а это невозможно

а это невозможно

Чо

Чо

тонны хеше которые надо хранить по 5 лет

а их размер по 9-12 байт

тонны хеше которые надо хранить по 5 лет

Чо x2

Пиши их в какой-нибудь авро

а их размер по 9-12 байт

Почему каждый в отдельном файле то?

И валидируй сколько влезет

Почему каждый в отдельном файле то?

потому что по нему потом другое ищут

там связь из 160 обьектов

в 1 таблице вообще будет 4 млрд записей

потому что по нему потом другое ищут

Используйте базу

Для поиска

Искать запросами

Используйте базу

Так нинадежна же

Используйте базу

но файл то тз надо сохранить ?

И наверно еще гостовую криптуху нада

это как в фнс с чеком было

но файл то тз надо сохранить ?

Правьте тз

На каждый файл

чеки и в базе и как файл

Ну хорошо

чеки и в базе и как файл

По тз не удастя

Сохранить

( файлы блобами в базе )

( файлы блобами в базе )

В кассандру

Я без юмора

Путь до файла - ключ

Я без юмора

Ну чанкер нужно запилить тогда

Это кейс от волмарта

Можно в хбейс

В кассандру

этот вариант тоже смотрим

этот вариант тоже смотрим

Так по тз же нельзя

Нужно же файлом

Вы определитесь

Так по тз же нельзя

в кассандре можно файлы хранить

Иначе звучит как профанация

Файл, в файле бд

в кассандре можно файлы хранить

В любой бд можно Файлы хранить

тонны хеше которые надо хранить по 5 лет

почему в блоки руками мелкие файлы не сувать

Тут короч нужен солюшн аркикект, для обкашливания таких проблем

Тут короч нужен солюшн аркикект, для обкашливания таких проблем

??его нет

решает всё го программист с чсв до юпитера

??его нет

У тебя есть отличный вариант задоминировать

решает всё го программист с чсв до юпитера

тяжело тебе, похоже у вас вся команда такая

тяжело тебе, похоже у вас вся команда такая

?ну уже хотя бы не erasure coding hadoop из 10 тб 3,5 дисков

решает всё го программист с чсв до юпитера

Чел

Это очень плохо

Чел

?ну я бумажками обзавожусь, везде конфиги и тд читаю, развариваичваюсь и думаю, куда идти дальше

наркоманы.

?ну я бумажками обзавожусь, везде конфиги и тд читаю, развариваичваюсь и думаю, куда идти дальше

Вы книгу прочитали

Я рекомендовал