
Stanislav
11.10.2018
05:30:33
Тогда не все равно ли на чем там хайв, если от него будет использоваться только метастор
Ну и время обработки нелинейно, тестируя сейчас на миллионах не получится точно узнать что будет на миллиардах

Сергей
11.10.2018
05:31:38
Вот в чем загвоздка.

Google

Stanislav
11.10.2018
05:32:06

Сергей
11.10.2018
05:32:31
BI?
Скорее некое подобие мониторинга (какая то проверка)
Нечасто искать будут по одной записи, но во всю глубину
Понятно, что архитектура этого решения такая себе, но пока нужно ровно это

Stanislav
11.10.2018
05:37:17

Сергей
11.10.2018
05:39:28
А вот на паркете 20

Alexey
11.10.2018
05:40:53
всегда ли orc > parquet?

Сергей
11.10.2018
05:44:28

Alexey
11.10.2018
05:44:54
в плане скорости выполнения запросов

Сергей
11.10.2018
05:46:28
Select... where id=..

Старый
11.10.2018
08:24:37

Google

KrivdaAllStars
11.10.2018
08:28:02

Александр
11.10.2018
08:28:34

Sergey
11.10.2018
08:29:03

KrivdaAllStars
11.10.2018
08:29:29
Западные банки живут в облаке и им норм

Sergey
11.10.2018
08:29:47
как селектел у которого дц падают?

KrivdaAllStars
11.10.2018
08:29:58
Так у себя сделайте

Старый
11.10.2018
08:30:44

KrivdaAllStars
11.10.2018
08:30:52

Stanislav
11.10.2018
08:30:52

Старый
11.10.2018
08:31:27

Stanislav
11.10.2018
08:32:06
Мы обсуждаем твой опыт, который не показатель.

Sergey
11.10.2018
08:38:37
?

Grigory
11.10.2018
08:40:37

Artem
11.10.2018
09:44:42
java.net.UnknownHostException возникает когда запускаются первые редюсеры в хадупе, это всегда, проверил

Grigory
11.10.2018
09:46:34
если даже не пингуется по днске то о чем говорить можно

Artem
11.10.2018
09:47:04
есть hosts и видна PTR на всех хостах

Grigory
11.10.2018
09:47:27
ну ты руками проверь что все пингуется
ну типа что каждая нода видит все ноды

Google

Artem
11.10.2018
09:47:35
проверял, и выше выкладывал

Grigory
11.10.2018
09:47:44
ну значит это мистика
на редьюсе ошибка потому что что-то не видит что-то

Artem
11.10.2018
09:48:32


Grigory
11.10.2018
09:48:35
на мапе очевидно что драйвер все видит
а ты с каждой ноды все пнул?
хадуп точно днсками общается?

Artem
11.10.2018
09:49:15
да, это вывод ansible
точно
и ipv6 выпилил

Grigory
11.10.2018
09:49:26
ну зайди руками под хадупо юзером
просто иначе такого быть не может
если все доступно то этой ошибки не появится

Artem
11.10.2018
09:49:47
заходил, проверял, говорю ж - просто так не писал бы (

Grigory
11.10.2018
09:50:02
мастер со всех слейвов резолвится?
сам готовил скрипт для развораичвания барахла?

Artem
11.10.2018
09:53:00

Grigory
11.10.2018
09:53:20
почему конечно? то что мастер резолвит слейвы не гарантирует что они его резолвят

Artem
11.10.2018
09:53:36
я ж вывод выше предоставил со слейвов

Google

Grigory
11.10.2018
09:53:43
а с мастера?
тот вывод что ты предоставил
ничего не говорит
там просто в твоем выводе одна и таже строчка
09.0.31.172.in-addr.arpa domain name pointer n50656.compute.internal.
и все
оч информативно)
все ноды с их днсками и резульаттами пинга всего с каждой

Daniel
11.10.2018
09:54:53

Grigory
11.10.2018
09:54:59
согласен
ну хотяб пинг

Artem
11.10.2018
09:55:02

Grigory
11.10.2018
09:55:11
а зачем ты мастер то пингуешь
где пинги друг друга

Artem
11.10.2018
09:55:18
где ты пинг видишь?

Grigory
11.10.2018
09:55:29
ну тогда как я должен интерпретировать твою строчку
чо ты там прогнал с кастомным аутпутом
ну да у тебя на всех нодах печатается строчка - отл рез
вон сова тебе посоветовал телнетнуться
но телнет конечно уже след этап; если имена резолвит но не конектится

Artem
11.10.2018
09:57:57

Google

Grigory
11.10.2018
09:58:46
чо ты паришь
Exception running child : java.lang.IllegalArgumentException: java.net.UnknownHostException: n50656.compute.internal
первая тачка не резолвит n50656.compute.internal
вторая тоже
все они не резолвят n50656.compute.internal


Artem
11.10.2018
10:00:40
n50654.compute.internal has address 172.31.0.112
n50653.compute.internal has address 172.31.0.111
n50655.compute.internal has address 172.31.0.113
n50652.compute.internal has address 172.31.0.110
n50646.compute.internal has address 172.31.0.103
n50651.compute.internal has address 172.31.0.108
n50648.compute.internal has address 172.31.0.105
n50644.compute.internal has address 172.31.0.101
n50649.compute.internal has address 172.31.0.106
n50647.compute.internal has address 172.31.0.104
n50650.compute.internal has address 172.31.0.107
n50645.compute.internal has address 172.31.0.102
n50656.compute.internal has address 172.31.0.109
вот с мастера резолв всех слейвов и себя)

Grigory
11.10.2018
10:00:49
зачем тебе с мастера резолвить

Artem
11.10.2018
10:00:59
за тем, что без обратной зоны хадуп не работает вроде как

Grigory
11.10.2018
10:01:12
это чей адрес - n50656.compute.internal ?

Artem
11.10.2018
10:01:15
или хдфс
МАСТЕР!

Grigory
11.10.2018
10:01:50
это что за адреса 172.31.0.109 172.31.0.103

Artem
11.10.2018
10:02:20
слейвы + мастер
дядюшка OOM не стучится, нет.

Grigory
11.10.2018
10:02:47
я не знаю причем тут ООМ

Artem
11.10.2018
10:03:12
это на всякий случай.

Grigory
11.10.2018
10:03:26
первый лог у тебя откуда?
которы плюнул 2018-10-04 05:30:32,096 INFO [main] org.apache.hadoop.conf.Configuration.deprecation: session.id is deprecated. Instead, use dfs.metrics.session-id
2018-10-04 05:30:37,282 WARN [main] org.apache.hadoop.mapred.YarnChild: Exception running child : java.lang.IllegalArgumentException: java.net.UnknownHostException: n50656.compute.internal