я что-то начинаю сомневаться в named, хоть и нод всего 12, но переодически вываливаются ошибки unknown host...

я думаю что нет ни чего лучше /etc/hosts + ansible

я думаю что нет ни чего лучше /etc/hosts + ansible

Ну да, зачем нужен DNS. А потом вручную катать на весь кластер ansible новый /etc/hosts и ловить проблемы с неконсистентностью:) Можно еще не использовать доменные имена, а везде ip адреса указывать в конфигах и не катать /etc/hosts

Только конфиги обновлять тем же ansible

Как раз хорошо ложится в архитектуру кассандры с 10ТБ нодами на hdd :)

я что-то начинаю сомневаться в named, хоть и нод всего 12, но переодически вываливаются ошибки unknown host...

Ну тут два варианта, либо разобраться что не так с текущим dns и починить его, либо на каждом поднять локальный кеширующий dns и пытаться переживать такие проблемы:)

во всех остальных случаях стабильно бывают траблы с ним

дык там bogon сеть, 12 нод, наружу почти нет трафика, чему там не работать собсно)

ну или возмоно на проектах где я работал не умеют готовить DNS

я думаю что нет ни чего лучше /etc/hosts + ansible

ну вот не хочу я хардкода

у меня складывается впечатление, что все, кто юзают хадуп - хардкодят этот /etc/hosts

правда, когда мы жили в AWS, таких проблем мы не испытывали

я думаю @epikhinm так не делает ?

на 20 нод еще хардкодил на 120 уже днс настроен был, насколько помню стандартный bind

а нет настроек, случаем?

нет, там своя специфика была и проблема с выносом чего либо =)

а нет настроек, случаем?

Так а что там из настроек надо? Вбейте в поиске dns local cached bind :)

forwarders { 8.8.8.8; 8.8.4.4; }; listen-on { 127.0.0.1; 172.31.0.109; }; dnssec-validation auto; auth-nxdomain no; # conform to RFC1035 listen-on-v6 { none; }; allow-transfer { none; }; allow-query { internals; }; allow-recursion { internals; }; version none;

на 20 нод еще хардкодил на 120 уже днс настроен был, насколько помню стандартный bind

Ну вот +1, кластер может неожиданно вырасти, если будут меняться ip-адреса надо будет мучаться с перекластеризациями

да что там вбивать... он простой как угол дома) мб я что-то не так делаю...

поднята зона а-ля mycluster.internal

+ PTR под 172.31.0.0/24 с нодами

и на нодах в кач-ве резолвера прописан IP этого мастера

вручную гоняешь запросы - все ок, но переодически вылетает ошибка :)

да что там вбивать... он простой как угол дома) мб я что-то не так делаю...

Поднимите bind на каждой ноде. Укажите directory "/var/cache/bind" для кеша. В resolv.conf пропишите чтобы resolv.conf первой попыткой был в localhost, второй в вышестоящий dns

а в forwarders его тоже стОит записать?

В forwarders указывать dns вышестоящий. Если своя локальная зона — указать свои dns мастера. Если не своя или не локальная, то можно указать те что выставляет провайдер/облако.

своя зона на мастере и висит

и у всех в резолве мастера IP

и у всех в резолве мастера IP

ну тогда в forwareds укажите master ip

понял, спасибо

Но, вообще, конечно надо разобраться почему master не отвечает на dns. Либо он перегружен, либо сеть теряет пакеты

Кеш немного сгладит проблему, но и он протухнет

Sergey Kaurov: Привет! С SparkSql сможете помочь?

Sergey Kaurov: Привет! С SparkSql сможете помочь?

пиши уже сразу свою пасту тут

Sergey Kaurov: Мне в Apache Zeppelin сценарий надо изменить, смогут?

Sergey Kaurov: Вот рабочий сценарий: https://pastebin.com/uzXvqbAT

Мне тут надо вставить в место "; " переход на другую строчку

Это regex-replace

А куда его влепить не мону разобраться

Вставлял, нифига не отрабатывает

Потом отфильтровать по подстроком по определённым фразам

В общем из bash это аналог команды sed выполнить

Прошу прощения за орфографию, с телефона пишу

regexp_replace

ниблагадари

Хорошешно! ?

только ты скажи, где ты regexp_replace хочешь использовать

что ты хочешь сделать, смысл какой

просто у тебя чтение тут, что ты начтении хочешь отреплейсить

Логи с выборки вывыливаются пачкой... Трэш и замес, хочется упорядочить, для начала 1е разбить по строкам

Т.е. в место разделителя, а это "; " вставить перенос строки "\n"

2е сделать отбор по ряду клбчевиков из того что разбито по строкам, ключевых "НУЖНЫХ" фраз на самом деле штук 10ть

С таблицами вроде как понял как оперировать, а вот с массивом строк х.з

А если чтение, то заменить не могу?

в чем суть; тут ты только читаешь; какая цель; что ты имеешь и что хочешь иметь

Имею несколько абзацев данных по скажем по конкретному событию, допустим вылету самолёта.

Мне надо эту смесь из абзаца превратить в отдельные строки

Разделитель будет "; "

Двоеточие и пробел

Это надо заменить на знак переноса строки

можно сделать map, там вызывай udf, возвращай массив, а потом если надо explode

А дальше написать функцию выборки строк по ключевым фразам и что совпало оставить, остальное спрятать

можно сделать map, там вызывай udf, возвращай массив, а потом если надо explode

Вот если бы почитать дал кто как это сделать... ?

spark.map ?

explode как в php с массивами работает, но там добавляет в массив

spark.map ?

как-то так: val udf_split = { (content: String) => content.split(";")} df.withColumn("tmp_column", udf_split('content)).select('column_1, 'column_2, explode('tmp_column))

в спарке встроенный сплит есть если что)

df.withColumn("lala", split('lala, ";"))

Для меня это пока честно говоря мандаринская рукопись. Там с запятушками не так или правильно всё?

как-то так: val udf_split = { (content: String) => content.split(";")} df.withColumn("tmp_column", udf_split('content)).select('column_1, 'column_2, explode('tmp_column))

Это после писать сценария?

с запятушками все ок, в скалке 'someColumn - это то же самое, что col("someColumn")

можно так еще df.select(split('lala, ";").alias("lala"))

с запятушками все ок, в скалке 'someColumn - это то же самое, что col("someColumn")

Ок!

с запятушками все ок, в скалке 'someColumn - это то же самое, что col("someColumn")

а если php не дает покоя, то можно $"someColumn" писать :)

А куда это прописать, в z.show ?

Я так понимаю z.show как раз выдаёт конечный результат того, что я виду. А дальше надо это обработать

как-то так: val udf_split = { (content: String) => content.split(";")} df.withColumn("tmp_column", udf_split('content)).select('column_1, 'column_2, explode('tmp_column))

И как это из z.show попадёт сюда?

Я не вижу никаких переменных которые будут содержать вывод из z.show для дальнейшей обработки ?

а если php не дает покоя, то можно $"someColumn" писать :)

Вот кстати там в обработке z.show так и записано! ?

Вопрос к сообществу профессионалов. Насколько прагматично и целесообразно использовать PIG для забора данных из hdfs? У меня соседний департамент хочет брать из моего болота некоторые данные.

и куда их потом девать?

переливки данных это больше к sqoop

Они будут забирать к себе в систему через апп сервер

Ну это из разряда "насколько прагматично и целесообразно есть гречу ложкой". Можно ложкой, можно вилкой, можно половником, можно лаптем, можно руками, можно робота-кормильщика сконструировать.

Хотят пигом-пусть пигом забирают. Если не лениво им на на пиг-латин писать.

Хорошо. Вопрос тогда ребром. Кто использует в энтерпрайзе пиг?

@nblagodarnyy просто для пига они доступ еще в кластер на запуск джобов должны иметь а так можно выставить только webhdfs, один порт открыть и все дела

Хорошо. Вопрос тогда ребром. Кто использует в энтерпрайзе пиг?

Одноклассники.

@nblagodarnyy просто для пига они доступ еще в кластер на запуск джобов должны иметь а так можно выставить только webhdfs, один порт открыть и все дела

Кстати да. Спасибо за идею. Совсем забыл про это

Но для трансформаций и вычислений. Не как просто интерфейс.

Одноклассники.

А почему не спарк?

И спарк тоже.

Они говорят, спарк очень нерационально память использует.