Готовится к публикации весьма интересная книга: https://www.safaribooksonline.com/library/view/hadoop-in-the/9781491969267/ Будет полезна для тех, кто будет свой кластер строить

круто, спасибо за инфо :)

Готовится к публикации весьма интересная книга: https://www.safaribooksonline.com/library/view/hadoop-in-the/9781491969267/ Будет полезна для тех, кто будет свой кластер строить

А есть pdf?

Пока только сафарибукс , оно прям там пишется ( то есть очень много текста тип (добавить ссылку, провести сравнение )) . Поэтому есть смысл попробовать триал на 7 дней

или купить подписку

Готовится к публикации весьма интересная книга: https://www.safaribooksonline.com/library/view/hadoop-in-the/9781491969267/ Будет полезна для тех, кто будет свой кластер строить

Открываешь dcos universe , тык по халупу и все)

а какжи кастомные сборки и всякие кривые класспасы?

Открываешь dcos universe , тык по халупу и все)

ну нет, там про какие хдд выбиратт, сколько сервисов на ноду ставить, как разделить их по ракам

на какую ноду поставить клоудеру

а какжи кастомные сборки и всякие кривые класспасы?

Ну там эт есть тоже)))

Ну там эт есть тоже)))

это и в клаудере есть

Я если честно не пробовал хадуп в дцос, но скоро попробую

книжку прочитай тогда

Я думаю пока ее писали, она устарела

Да и врядли там есть специфика дцос

Мне кажется там даже ярн не нужен

Я думаю пока ее писали, она устарела

она ещё не вышла

#вакансия #москва #devops Коллеги, привет! Отличная вакансия для тех, кто давно мечтал окунуться в мир Big Data! Мы ищем специалиста на администрирование парка Big Data систем (Apache Hadoop, Vertica, Pentaho), готовы смотреть людей без опыта, но реально готовых учиться. В начале задачи будут преимущественно по Big Data, затем и по Linux инфраструктуре. Обязателен отличный опыт работы с *nix системами, виртуализацией, также приветствуется опыт в разработке архитектурных решений. Самостоятельность — ОБЯЗАТЕЛЬНО. Если интересно, пишите на e.kikoina@youdo.ru

@hiphopstaruhi пошумим, блядь? )

Дневник альфача - @sexterror Кулстори из жизни, полезные советы, гайды по шкурам. Заходи - https://t.me/sexterror

@marvel_dc_official Лучший канал о вселенной Marvel & DC, подпишись и зови друзей?

@krivdatheliggen ^

@krivdatheliggen ^

как с ними бороться то?

hz ):

Использовал кто-нибудь? http://nats.io

Доброго времени суток. Есть тут те, кто работает с pyspark?

Доброго времени суток. Есть тут те, кто работает с pyspark?

народ был точно, осталось дождаться ответа

Доброго времени суток. Есть тут те, кто работает с pyspark?

вопрос то какой?:)

вопрос то какой?:)

Я думаю, не первая такая и вопрос классический: Py4JJavaError: An error occurred while calling o186.collectToPython. : org.apache.spark.SparkException: Job aborted due to stage failure: Total size of serialized results of 47 tasks (2.0 GB) is bigger than spark.driver.maxResultSize (2.0 GB) У меня есть датафрейм, есть запрос к нему sorted(df.groupby('commands').agg({"commands": "count"}).collect()) Суть в том, что как написано выше, мне не хватает памяти на вычисления, но я знаю, что можно решить эту задачу вписываясь в лимит по памяти. Может кто подсказать, в какую сторону копать?

а если убрать collect, ошибка будет?

не будет ошибки без коллекта

а если убрать collect, ошибка будет?

не будет

попробуй не собирать на драйвер все; что нужно на драйвере иметь?

не будет

а что дальше с данными происходит?

как минимум сортировку можно сделать до коллекта

попробуй не собирать на драйвер все; что нужно на драйвере иметь?

У меня в таблице, полученной из логов, есть столбец с коммандами, которые вызывались. Мне нужно получить список комманд отсортированных по количеству вхождений в этот самый столбец и количество вхождений в этот столбец.

Да, Андрей верно сказал, сортируй до коллекта

после мапни, .map(_.command); и после этого только коллект делай,чтоб на драйвер только список комманд пришел не факт что он тоже влезет

как вариант, если с памятью туго, сохраните df.write.json() куда нибудь и дальше считывайте по строчке на здоровье

Да, Андрей верно сказал, сортируй до коллекта

сорт по каунту будет выглядеть как df.sort(df.commands.count().desc())?

df.orderBy('count.desc) в скале

в питоне почти также, только вроде к колонке надо явно обратиться

еще можно сделать df.withColumn("count_sorted", sort('count))

еще можно сделать df.withColumn("count_sorted", sort('count))

О, спасибо, нашла в PySpark этот метод

сейчас потестим

нзчт)

@krivdatheliggen ^

@pomadchin ты по таймзоне восточного берега живешь?

@pomadchin ты по таймзоне восточного берега живешь?

да когда как

/ban

/ban

кого?

да когда как

Админа дал,можешь удалять ) я кожалению не придумал как с ними в 5 утра бороться

ну все новые порядки. только мемасы постить сюда можно

Господа, а кто использует Hue для спарка?

у меня hue смотрит историю тасок через livy, для большего я хз как его использовать для спарка

Господа, а кто использует Hue для спарка?

а какой юзкейз интересует?

через координатор и воркфлоу рисовали задачки

oozie?

oozie сами собирали или в составе платформы?

ну в cdh и hdp он был