@hadoopusers
Artem11.10.2018
10:04:07
10:04:07
Grigory11.10.2018
10:04:12
10:04:12
зайди на ноду
это одна нода у тебя кидает ошибки или все?
если одна то ты выкидывал ее?
GoogleGrigory11.10.2018
10:08:51
10:08:51
я не оч понимаю что ты кстати в пинге прислал
всякие левые адреса хачем тут
у тебя только n50656.compute.internal не резолвится
Grigory11.10.2018
10:09:36
10:09:36
но выше ты зачемто пинги на левоче чтото шлешь
645 656
зачем они тут?
656 ток нужен
GoogleGrigory11.10.2018
10:10:11
10:10:11
по логам
конкретная нода не резолвит или все не резолвят?
ну конечно по логам получается что все селйвы не резволят мастер
захардкодь в хостс слейвов адрес мастера и посмотри чо будет
если он уже там, то мож у тя каша в хостс
и как вы днс резволите?
Artem11.10.2018
10:12:22
10:12:22
а зачем хардкодить?
Artem11.10.2018
10:12:43
10:12:43
на мастере стоит bind, в resolv прописан его IP
Grigory11.10.2018
10:12:53
10:12:53
ну эт уже видишь другая история
но захардкодь короче
если заработает то будешь знать чо делать
Artem11.10.2018
10:15:17
10:15:17
ок, щас захардкожу мастера IP в hosts
Grigory11.10.2018
10:15:18
10:15:18
- ковырять резовлинг
Grigory11.10.2018
10:16:26
10:16:26
ну если бы был как угол дома простой ты бы тут не спрашивал
мож кому-то и простой; у тебя ж не резолвят слейвы мастер
Artem11.10.2018
10:21:27
10:21:27
так не резолвят в какой-то момнет)
Grigory11.10.2018
10:21:44
10:21:44
так не резолвят в какой-то момнет)
им мастер нужен ток на редьюсе, чтобы мастер сказал куда им дальше то сваливать всеGoogleGrigory11.10.2018
10:21:57
10:21:57
мап - это мастеру нужны слейвы
не первом редьюсе у тя все валится т.к. они не могут понять куда редьюсить
Nikita Blagodarnyy11.10.2018
10:31:21
10:31:21
Прокси там нет у вас какой-нибудь?
Grigory11.10.2018
10:33:11
10:33:11
Artem11.10.2018
10:33:48
10:33:48
захардкодил hosts, попробую вызввать ошибку :)
отпишусь позже, спасибо за помощь!
Старый11.10.2018
12:17:51
12:17:51
phoenix-hbase-queryserver.log
почему не записывает запросы который пишет программист к phoenix?
точнее что-то записывает, что-то нет
Рамиль11.10.2018
12:35:44
12:35:44
кто нибудь шарит как найти по айди блока его физическое расположение на датанодах?
Старый11.10.2018
12:38:37
12:38:37
FAILED: SemanticException 0:0 Error creating temporary folder on: hdfs://hdp.hor:8020/warehouse/tablespace/managed/hive. Error encountered near token 'TOK_TMP
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:org.apache.hadoop.hbase.TableNotFoundException: TEST
кроме связанного с правами встречал кто проблемы такие?
программист создал типа создал через феникс бд, и попытался её в hive запихнуть
Grigory11.10.2018
12:40:43
12:40:43
там была бага при использовании не “current” базы
отсноительно юзверя
https://issues.apache.org/jira/browse/HIVE-11427
Stanislav11.10.2018
12:44:22
12:44:22
А, по айди
GoogleРамиль11.10.2018
12:45:24
12:45:24
есть имя файла еще
в чем суть проблемы - есть потерянные блоки
хотим понять на каких дисках они были
что бы проверить диски на предмет их повреждения
Stanislav11.10.2018
12:50:46
12:50:46
Ты хочешь просто в локальных фс на нодах искать?
Или через hdfs verify
Debug verify
Рамиль11.10.2018
12:53:15
12:53:15
я хочу понять на каких дисках находились битые блоки
т.е. если физический диск начал сыпаться хочу вычислить его
Старый11.10.2018
12:53:52
12:53:52
т.е. если физический диск начал сыпаться хочу вычислить его
если диск начал сыпаться, то простите это должен заббикс\прометеус показатьсенсу тот же
но не ты по хадупу руками хотя
сейчас диски разме что не говорят, сколько они сегодня раз остановились
Nikolay11.10.2018
12:56:53
12:56:53
То есть нет возможности увидеть в свойствах блока где он физически хранится?
Конкретно интересуют блоки таблиц hive
Stanislav11.10.2018
13:19:30
13:19:30
т.е. если физический диск начал сыпаться хочу вычислить его
Посмотри в вебе хдфс сервера, где находятся блокиРамиль11.10.2018
13:19:43
13:19:43
спасибо!
GoogleStanislav11.10.2018
13:19:56
13:19:56
Файндом
То есть нет возможности увидеть в свойствах блока где он физически хранится?
Есть, аналогично. Хайв хранит обычные файлы на хдфсNikolay11.10.2018
13:25:05
13:25:05
Есть, аналогично. Хайв хранит обычные файлы на хдфс
Спасибо. А что если я найду ноду, а файл нет, так как диск отвалился?
Daniel11.10.2018
13:25:13
13:25:13
Смотря что считать физическим. Если там саны для примера, то это уже к схдшникам и как они карту нарезали.
Nikolay11.10.2018
13:25:30
13:25:30
Желательно через метаинформацию
Блок и где он лежит вместо поиска по фс
Смотря что считать физическим. Если там саны для примера, то это уже к схдшникам и как они карту нарезали.
Да нам хотя бы просто увидеть на каком маунтпоинтеStanislav11.10.2018
13:26:44
13:26:44
Спасибо. А что если я найду ноду, а файл нет, так как диск отвалился?
Вообще все эти ситуации отслеживаются самой хдфс. Я даже не знаю зачем вам этоНеймнода хранит чексумму и видит битый файл
Рамиль11.10.2018
13:27:24
13:27:24
хдфс решил что диски файлед ввиду их переполнения(скорее всего)
место подчистили
это был локальный кеш ярна
но диски все равно весят файлед
Рамиль11.10.2018
13:28:14
13:28:14
ты уверен что так быть не может?
физически диски на месте
df -h их показывает
и зайти туда можно
fsck только не запускал
Неймнода хранит чексумму и видит битый файл
эту тему я знаю, но он решила что битыми стали файлы многомесячной давностии я бы поверил что мог посыпаться один диск
но 10 в один момент - нет
Открыть в Telegram