Да зачем? Думаю, на любом знакомом языке можно написать, это быстрее, чем разбираться с чем-то новым

Да зачем? Думаю, на любом знакомом языке можно написать, это быстрее, чем разбираться с чем-то новым

+1 я лутьше на пхп коряво настрочю велосипед. Я с @krivdaallstars Frontend...

Ну так тогда я не вижу вопроса

Ну так тогда я не вижу вопроса

Я думал что есть уже готовое решение! Там с красивым Gui...

А для велосипеда у меня рук хватит...

Я думал что есть уже готовое решение! Там с красивым Gui...

может и есть, лежит у кого-нибудь на гитхабе и читает ровно то, что вам надо именно в таком формате файла, как у вас. Только об этом знает только хозяит репозитория. Вы сначала решите, в каком виде вы хотите получить свои метаданные (статистику). По какому признаку будете группировать ошибки: время появления, источник, тип, ещё что-то. Какие признаки для каждого типа хотите подсчитать. Например, с 0-12 часов появилось столько-то ошибок, а с 12 до 24 столько-то. Есть, конечно, всякие специальные библиотеки, которые умеют делать кластеризацию, то есть группировку элементов по заранее неизвестным признакам, но это уже машинное обучение и дремучие дебри, вам туда не надо.

Я думал что есть уже готовое решение! Там с красивым Gui...

Excel

Возьмите pandas на питоне какой

еретик!

Excel

Зависит от количества строк. У меня файлы в полтора раза меньше не влезали.

Зависит от количества строк. У меня файлы в полтора раза меньше не влезали.

Предобработку сделать

Я думал что есть уже готовое решение! Там с красивым Gui...

а вообще да, начните с экселя :)

Строки то убрать можно

овердезайнщики вы

cat | grep | wc

По итогу прогнали мы человека из мира бигдаты ?

А могли бы продать спланк

А могли бы продать спланк

Или Павер биай

господа кто-нибудь тыкался с ажурой? батчи короче проблема в том что я фоловлю их доке https://docs.microsoft.com/en-us/azure/batch/batch-docker-container-workloads#prefetch-images-for-container-configuration получаю ошибку The specified imageReference with publisher Canonical offer UbuntuServer sku 16.04-LTS does not support container feature. самое идиотское, что я нашел в их репе джава код с тестом на то что их доко код не должен работать: https://github.com/Azure/azure-batch-sdk-for-java/blob/master/src/test/java/com/microsoft/azure/batch/PoolTests.java#L337

хочу убунто тачки чтобы скейлились и пускали контейнеры

(глину мешу но вопрос не про это ):)

а, надо кастомный образ использовать для этого, вот жеж.

Коллеги, подскажите. Читаю статью https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.4.2/bk_installing_manually_book/content/determine-hdp-memory-config.html При запуске необходимо указывать: "True" if HBase is installed, "False" if not. Что именно имеется в виду под HBase. HBase Master или RegionServer? P.S. если есть хорошие статьи по оптимизации настроек кластера Hadoop (особенно по памяти), был бы рад ознакомиться.

у hbase мастер это какая-то выбранная нода, так что вероятно "мастеровость" не имеет значение в контексте

Да, это скорее расчет памяти на слейве, где установлено много сервисов.

И видимо из таблицы 1.6 они берут значние для резервирования под регионсервер.

понял, спасибо. И получается, что если на том же сервере и DataNode то ещё и под неё надо память зарезервировать.

Привет

Народ, никто не сталкивался с такой херней - в hive 1.2.x в джейсон сердер, который с ним идет, не умеет map<string, array<string>>?

Failed with exception java.io.IOException:org.apache.hadoop.hive.serde2.SerDeException: java.io.IOException: Start of Array expected

Подскажите, а как правильно расчитать память для Datanode? не могу найти информацию.

Коллеги, какие бест практис по работе с внешними хттп апи из спарка?

душа болит при виде Await

Подскажите, а как правильно расчитать память для Datanode? не могу найти информацию.

Ram?

Подскажите, а как правильно расчитать память для Datanode? не могу найти информацию.

бери больше, не прогадаешь...

Ram?

Да

Коллеги, какие бест практис по работе с внешними хттп апи из спарка?

а что ты хочешь делать с апи спарка

душа болит при виде Await

эвейт тебе нужен будет чтобы подчистить хвосты за партицией

ну типа ты распарелил в рамках партиции твои запросы как сильно как ты хочешь, но под конец придется сделать ансейф синкх

иначе ты рискуешь потерять память и вообще таски

и вобщим кроме как экстренно не кончить джобу будет

mapPartition потом seq

а чо нет

ну еще там вроде был мепфутуре

как та так

ну да, я вот на такое и думал

спасибо, чатик

удивительно как меняется человек в чате хадупа

foreachAsync

foreachPartitionAsync

^

так это ж тупо фьючу вернет

это void вернет

нет фучу

FutureAction[Unit]

фучу от юнита

ой

ну ты спалился жоско

фучу от юнита

def foreachAsync(f : scala.Function1[T, scala.Unit]) : org.apache.spark.FutureAction[scala.Unit]

ну ты спалился жоско

это для друга

def foreachAsync(f : scala.Function1[T, scala.Unit]) : org.apache.spark.FutureAction[scala.Unit]

trait FutureAction[T] extends Future[T]

trait FutureAction[T] extends Future[T]

ну суть в том что юнит, а не фьюча

типа ничо уже не сделаешь с этим

а я что написал

ну смысл то

Да

в зависимости от сервисов и решаемых задач. рекомендуется от 128Gb до 512Gb широкий продакшн. Минималка 32 Gb

смысл что паралель в рамках партиции и делай ансейф синх чтоб закрыть партицию

это бест практис от меня

когда на экзекьюторе надо не блочить

рул оф э тамб

гат ит

это бест практис от меня

нет не бест практис

hz работает збс

у тебя джоба может упасть и по второму разу в сервис начать ходить

бекофф делаешь экспоненциальный

типа нужно помнить , что в мепе не безопасно ходить

а в мепе и не делают ._.

делаешь мап партиционный и партиции уже кк хочешь параелишь

если бэкофф то бэкофф надо предусмотрть конечно

ну у меня кейс похожий был, таскать много мелких файлов

а чо брать, DispatchAsync?

типа много индексов очень много они както разбиты по партициям и в рамках партиций по индексам таскать парелельно на скок можно каждый кусочек

делаешь мап партиционный и партиции уже кк хочешь параелишь

да блин же, я к тому что rdd[T].map { x=> x.mapPartition { ...} } ходить во внешний сервис нужно помнить, что может много раз ходить по тем же данным

в зависимости от сервисов и решаемых задач. рекомендуется от 128Gb до 512Gb широкий продакшн. Минималка 32 Gb

хотелось бы как раз понять как рассчитать необходимую

а эт то

ну это не проблема распаралеливания

это концептуальная проблема

ну я ток про нее

ну кешем лечется