@hadoopusers

Страница 165 из 182
 
Stanislav
11.10.2018
05:30:33
Тогда не все равно ли на чем там хайв, если от него будет использоваться только метастор

 
Ну и время обработки нелинейно, тестируя сейчас на миллионах не получится точно узнать что будет на миллиардах

 
Сергей
11.10.2018
05:31:38
Тогда не все равно ли на чем там хайв, если от него будет использоваться только метастор
Забыл уточнить, для внешней системы нужно организовать возможность такого запроса через jdbc

 
Вот в чем загвоздка.

Google
 
Stanislav
11.10.2018
05:32:06
Забыл уточнить, для внешней системы нужно организовать возможность такого запроса через jdbc
BI?

 
Сергей
11.10.2018
05:32:31
BI?
Скорее некое подобие мониторинга (какая то проверка)

 
Нечасто искать будут по одной записи, но во всю глубину

 
Понятно, что архитектура этого решения такая себе, но пока нужно ровно это

 
Stanislav
11.10.2018
05:37:17
Нечасто искать будут по одной записи, но во всю глубину
Так наверное и требований к быстроте работы нет? Хайв - не быстро вообще. Да и индексы выпилили в новом хайве, так что на них полагаться в долгосроке не получится

 
Сергей
11.10.2018
05:39:28
Так наверное и требований к быстроте работы нет? Хайв - не быстро вообще. Да и индексы выпилили в новом хайве, так что на них полагаться в долгосроке не получится
С orc скорость - огонь. Тот же запрос на тех же данных меньше секунды.

 
А вот на паркете 20

 
Alexey
11.10.2018
05:40:53
всегда ли orc > parquet?

 
Сергей
11.10.2018
05:44:28
всегда ли orc > parquet?
?

 
Alexey
11.10.2018
05:44:54
в плане скорости выполнения запросов

 
Сергей
11.10.2018
05:46:28
в плане скорости выполнения запросов
На таком запросе да

 
Select... where id=..

 
Старый
11.10.2018
08:24:37
Потому что люди адекватные и хотят абстрагироваться от железа
круто, только вот есть беда, зачастую уравнивание идёт по наименьшему, а уж как весело,передавать сложный продукт людям, которые баш скрипт запустить не способны

Google
 
KrivdaAllStars
11.10.2018
08:28:02
круто, только вот есть беда, зачастую уравнивание идёт по наименьшему, а уж как весело,передавать сложный продукт людям, которые баш скрипт запустить не способны
У меня в школе по уроку труда была тройка, но как то человечество продолжает делать самолеты

 
Александр
11.10.2018
08:28:34
У меня в школе по уроку труда была тройка, но как то человечество продолжает делать самолеты
Не тот случай

 
Sergey
11.10.2018
08:29:03
Потому что люди адекватные и хотят абстрагироваться от железа
всегда все исходит от задачи банк в облаке это суицид конторы

 
KrivdaAllStars
11.10.2018
08:29:29
всегда все исходит от задачи банк в облаке это суицид конторы
Облако можно и у себя сделать

 
Западные банки живут в облаке и им норм

 
Sergey
11.10.2018
08:29:47
как селектел у которого дц падают?

 
KrivdaAllStars
11.10.2018
08:29:58
Так у себя сделайте

 
Старый
11.10.2018
08:30:44
Западные банки живут в облаке и им норм
у западных банков мейнфреймов ещё лет на 10

 
KrivdaAllStars
11.10.2018
08:30:52
у западных банков мейнфреймов ещё лет на 10
Обычных

 
Stanislav
11.10.2018
08:30:52
всегда все исходит от задачи банк в облаке это суицид конторы
У банка кроме основных операций есть мама не горюй всякого барахла

 
Старый
11.10.2018
08:31:27
У банка кроме основных операций есть мама не горюй всякого барахла
но мы то обсуждаем не цветочки и хождение сотрудников в туалет

 
Stanislav
11.10.2018
08:32:06
Мы обсуждаем твой опыт, который не показатель.

 
Sergey
11.10.2018
08:38:37
?

 
Grigory
11.10.2018
08:40:37
Не тот случай
сравнение хорошее

 
Artem
11.10.2018
09:44:42
java.net.UnknownHostException возникает когда запускаются первые редюсеры в хадупе, это всегда, проверил

 
Grigory
11.10.2018
09:46:34
java.net.UnknownHostException возникает когда запускаются первые редюсеры в хадупе, это всегда, проверил
проверь банально /etc/hosts на всех слейвах и что каждый слейв может общаться с каждым слейвом

 
если даже не пингуется по днске то о чем говорить можно

 
Artem
11.10.2018
09:47:04
есть hosts и видна PTR на всех хостах

 
Grigory
11.10.2018
09:47:27
ну ты руками проверь что все пингуется

 
ну типа что каждая нода видит все ноды

Google
 
Artem
11.10.2018
09:47:35
проверял, и выше выкладывал

 
Grigory
11.10.2018
09:47:44
ну значит это мистика

 
на редьюсе ошибка потому что что-то не видит что-то

 
Artem
11.10.2018
09:48:32
На всех нодах прогнал: 109.0.31.172.in-addr.arpa domain name pointer n50656.compute.internal. 109.0.31.172.in-addr.arpa domain name pointer n50656.compute.internal. 109.0.31.172.in-addr.arpa domain name pointer n50656.compute.internal. 109.0.31.172.in-addr.arpa domain name pointer n50656.compute.internal. 109.0.31.172.in-addr.arpa domain name pointer n50656.compute.internal. 109.0.31.172.in-addr.arpa domain name pointer n50656.compute.internal. 109.0.31.172.in-addr.arpa domain name pointer n50656.compute.internal. 109.0.31.172.in-addr.arpa domain name pointer n50656.compute.internal. 109.0.31.172.in-addr.arpa domain name pointer n50656.compute.internal. 109.0.31.172.in-addr.arpa domain name pointer n50656.compute.internal. 109.0.31.172.in-addr.arpa domain name pointer n50656.compute.internal. 109.0.31.172.in-addr.arpa domain name pointer n50656.compute.internal.
тут

 
Grigory
11.10.2018
09:48:35
на мапе очевидно что драйвер все видит

 
а ты с каждой ноды все пнул?

 
хадуп точно днсками общается?

 
Artem
11.10.2018
09:49:15
да, это вывод ansible

 
точно

 
и ipv6 выпилил

 
Grigory
11.10.2018
09:49:26
ну зайди руками под хадупо юзером

 
просто иначе такого быть не может

 
если все доступно то этой ошибки не появится

 
Artem
11.10.2018
09:49:47
заходил, проверял, говорю ж - просто так не писал бы (

 
Grigory
11.10.2018
09:50:02
мастер со всех слейвов резолвится?

 
сам готовил скрипт для развораичвания барахла?

 
Artem
11.10.2018
09:53:00
мастер со всех слейвов резолвится?
ну конечно

 
сам готовил скрипт для развораичвания барахла?
нет, прогер разворачивал, который занимается этим проектом, я там как консультант полтергейстов )))

 
Grigory
11.10.2018
09:53:20
почему конечно? то что мастер резолвит слейвы не гарантирует что они его резолвят

 
Artem
11.10.2018
09:53:36
я ж вывод выше предоставил со слейвов

Google
 
Grigory
11.10.2018
09:53:43
а с мастера?

 
тот вывод что ты предоставил

 
ничего не говорит

 
там просто в твоем выводе одна и таже строчка 09.0.31.172.in-addr.arpa domain name pointer n50656.compute.internal.

 
и все

 
оч информативно)

 
все ноды с их днсками и резульаттами пинга всего с каждой

 
Daniel
11.10.2018
09:54:53
все ноды с их днсками и резульаттами пинга всего с каждой
пинг тоже ничего не гарантирует, телнет

 
Grigory
11.10.2018
09:54:59
согласен

 
ну хотяб пинг

 
Artem
11.10.2018
09:55:02
там просто в твоем выводе одна и таже строчка 09.0.31.172.in-addr.arpa domain name pointer n50656.compute.internal.
это домен мастера

 
Grigory
11.10.2018
09:55:11
а зачем ты мастер то пингуешь

 
где пинги друг друга

 
Artem
11.10.2018
09:55:18
где ты пинг видишь?

 
Grigory
11.10.2018
09:55:29
ну тогда как я должен интерпретировать твою строчку

 
чо ты там прогнал с кастомным аутпутом

 
ну да у тебя на всех нодах печатается строчка - отл рез

 
вон сова тебе посоветовал телнетнуться

 
но телнет конечно уже след этап; если имена резолвит но не конектится

 
Artem
11.10.2018
09:57:57
https://pastebin.com/gZnDLFnE + http://termbin.com/8835
вот тут подробнее о версиях, если надо

Google
 
Grigory
11.10.2018
09:58:46
https://pastebin.com/gZnDLFnE + http://termbin.com/8835
у тебя тут в первой строчке анонун хост

 
чо ты паришь

 
Exception running child : java.lang.IllegalArgumentException: java.net.UnknownHostException: n50656.compute.internal

 
первая тачка не резолвит n50656.compute.internal

 
вторая тоже

 
все они не резолвят n50656.compute.internal

 
Artem
11.10.2018
10:00:40
n50654.compute.internal has address 172.31.0.112 n50653.compute.internal has address 172.31.0.111 n50655.compute.internal has address 172.31.0.113 n50652.compute.internal has address 172.31.0.110 n50646.compute.internal has address 172.31.0.103 n50651.compute.internal has address 172.31.0.108 n50648.compute.internal has address 172.31.0.105 n50644.compute.internal has address 172.31.0.101 n50649.compute.internal has address 172.31.0.106 n50647.compute.internal has address 172.31.0.104 n50650.compute.internal has address 172.31.0.107 n50645.compute.internal has address 172.31.0.102 n50656.compute.internal has address 172.31.0.109 вот с мастера резолв всех слейвов и себя)

 
Grigory
11.10.2018
10:00:49
зачем тебе с мастера резолвить

 
Artem
11.10.2018
10:00:59
вторая тоже
еще раз - резолв со слейвов самого мастера

 
за тем, что без обратной зоны хадуп не работает вроде как

 
Grigory
11.10.2018
10:01:12
это чей адрес - n50656.compute.internal ?

 
Artem
11.10.2018
10:01:15
или хдфс

 
МАСТЕР!

 
Grigory
11.10.2018
10:01:50
это что за адреса 172.31.0.109 172.31.0.103

 
Artem
11.10.2018
10:02:20
слейвы + мастер

 
дядюшка OOM не стучится, нет.

 
Grigory
11.10.2018
10:02:47
я не знаю причем тут ООМ

 
Artem
11.10.2018
10:03:12
это на всякий случай.

 
Grigory
11.10.2018
10:03:26
первый лог у тебя откуда?

 
которы плюнул 2018-10-04 05:30:32,096 INFO [main] org.apache.hadoop.conf.Configuration.deprecation: session.id is deprecated. Instead, use dfs.metrics.session-id 2018-10-04 05:30:37,282 WARN [main] org.apache.hadoop.mapred.YarnChild: Exception running child : java.lang.IllegalArgumentException: java.net.UnknownHostException: n50656.compute.internal

Страница 165 из 182