инод свободных куча

lsof на датанодах делал ведь?

может банально чтонить не то с мтаданными?

форматирование какнить изначальное криво прошло

какиенить ноды падали умирали поднимались

вполне может быть, но вопрос как это проверить

Мониторинг?

нет его ))

)) да никак не проверить... как обычно перебирая варианты(

если есть возможность вторую поднять и копирнуть данные и посмотреть чо будет с машинами

это перфект

точнее, весь мониторинг, который забирает данные из jmx показывает информацию, аналогичную с репортом

если все будет работать из коробки то просто ошибка в мете

а если нет то мы тут сидим такие умные короче и чего-то очевидного не видим

а что с реальным местом? оно соотвествет du sh ?

нет, оно соотвествует данным из репорта

вот это поворот

в том и проблема - не могу найти, что сожрало столько места

скорее всего, на самом деле, есть блоки, не учтенные в метадата, но fsck должен был бы их порезолвить

в том и проблема - не могу найти, что сожрало столько места

у тебя HDP?

raw инсталяция

apache vanilla

я бы поставил hadoop-клиент из репозитория cloudera, в нем du умеет показывать занятость места с учетом репликации. Потом пробежался бы еще раз по каталогам в корне и посмотрел, сходятся ли цифры.

я бы поставил hadoop-клиент из репозитория cloudera, в нем du умеет показывать занятость места с учетом репликации. Потом пробежался бы еще раз по каталогам в корне и посмотрел, сходятся ли цифры.

обычный тоже умеет

А там в изначальном вопросе был выхлоп где с репликацией и без цифры

хадуп 1.x вроде не умел

но это темные времена

я бы поставил hadoop-клиент из репозитория cloudera, в нем du умеет показывать занятость места с учетом репликации. Потом пробежался бы еще раз по каталогам в корне и посмотрел, сходятся ли цифры.

у клоудеры тот же клиент, что и в стандартной поставке

подскажите, вот если у меня лежат блоки, но в метадате о них не известно по каким то причинам, fsck покажет эти блоки?

у клоудеры тот же клиент, что и в стандартной поставке

Понял, у хортона не показывает. Я уже увидел начало, где ты указал вывод du c учетом реплики

а можешь показать шапку из hdfs dfsadmin -report ? ну или из web ui показать сколько non-dfs занимает места?

Configured Capacity: 577747876589568 (525.46 TB) Present Capacity: 555411044581427 (505.14 TB) DFS Remaining: 74639441289026 (67.88 TB) DFS Used: 480771603292401 (437.26 TB) DFS Used%: 86.56% Under replicated blocks: 0 Blocks with corrupt replicas: 0 Missing blocks: 0 Missing blocks (with replication factor 1): 0

Non DFS Used: 0 B

хадуп 1.x вроде не умел

хадуп 1.x и на винде запускался

хадуп 1.x и на винде запускался

у меня нет

у меня нет

разумеется, нужен бубен

2-й тоже на винде работает с бубном

а это какой такой бубен?

а кстати как кейсы с кросс ос нодами?

а это какой такой бубен?

ему там надо подсовывать какие-то dll для лучшей нативности, но в итоге всё равно тормозит. по десяткой даже в WSL окружении он и то лучше себя ведёт

все да понял

аккумула даже в контейнере на винде плохо работала

и ей надо было кидать дллки

Non DFS Used: 0 B

https://developer.ibm.com/hadoop/2015/10/22/hdfs-trash/ не может быть корзина?

Да вроде почистил все корзины

тем более в du корзина учитывается

тем более в du корзина учитывается

На уровне бреда sudo -u hdfs hdfs dfs -du / те-же цифры покажет?

тем более в du корзина учитывается

да странно выглядит

какбуд-то какаято тяжелая мета валяется и которая почемуто недоступна du

но доступна df

потому что как только мы ограничили df то все было ок

На уровне бреда sudo -u hdfs hdfs dfs -du / те-же цифры покажет?

да я и так под hdfs пользователем все делал

Попробуй ещё из-под Hadoop если он есть

нет, у меня нет такого пользователя

похоже надо сорсы брать, и смотреть как оно считает df и как du

du судя по всему итерирует по всем файлам и суммирует их сайз

а вот df думаю получает из метастора

Скорее всего так и есть. Получается что итерирует не по всем файлам. Т.е. проблема с правами (нет праве на чтение)

Точно hdfs админ кластера?

послушай

а вот смотри, размер именно datanode папок соотвествует df?

ну типа это выглядит точно как блоки потеряные / не ясно как отформатированые

или размер всего диска куда ты кинул датаноды соотвествует df

какой обычно либой пользуются для работу с ZK на скале?

жава дривер

есть еще твиттер утил он умеет в зукипер

https://github.com/twitter/util/tree/master/util-zk/src/main/scala

спасибо)

https://github.com/twitter/util/tree/master/util-zk/src/main/scala

а доки по сабжу у него есть какие-то?

Хх честно говоря ):

хз *

я без док пользовался

какой обычно либой пользуются для работу с ZK на скале?

а почему curator не хотите? он довольно приятный

я пока только выбираю ? куратор погуглю, спасибо

я пока только выбираю ? куратор погуглю, спасибо

https://habrahabr.ru/post/334680/ неплохая статья

Спасибо всем за помощь, проблема решена

что же было?

да, интересно очень

все было достаточно просто, кластер (HA) когда то обновлялся и после обновления не сделали финализацию

еее косяк в метаданных; отлично

в таком случае (в версии 2.6) хадуп начинает копить данные в %datа node dir%/data/current/%pool%/trash

ну понятно почему квотирование помогало

так оно не помогало

ну так du и df совпадали с квотой если последний делать

квотирование никак не влияло разницу, и на запись данных в трэш - скорее всего тоже, ибо трэш в локальной файловой

ну так du и df совпадали с квотой если последний делать

могу наврать, но вроде как нет

блин, в голове каша - мб ты и прав

да там выше есть твои косольные принты)

ок

https://habrahabr.ru/post/334680/ неплохая статья

не сталкивался с ошибкой, когда создаешь new TreeCache, а он выдает ошибку: o.a.c.utils.PathUtils.validatePath not found ?

но сам класс имеется

те я могу вызывать validatePath в своем коде и он отрабатывает

все делаю в спарк-шеле, либа куратора 4.0.0