Эт другой тип

ну вообщем да, я бы начал с исключения проблем в самом векторе)

точно, забыл импорт после рестарта шела)

Видимо, мллиб каким-то прекрасным образом считает центры кластеров так, что их не оказывается в исходном датасете.

тут я, к сожалению, не помогу. Я пока нуб в машинке)

Мб он усредняет просто. Но векторов действительно нет, я даж руками в csv проверил.

Видимо, мллиб каким-то прекрасным образом считает центры кластеров так, что их не оказывается в исходном датасете.

а что это значит, ты про k-means?

обычно выделяют дискретный и непрерывный случай, в последнем центры не обязаны и вообще редко бывают среди исходных данных. Но я возможно, неправильно понял проблему

обычно выделяют дискретный и непрерывный случай, в последнем центры не обязаны и вообще редко бывают среди исходных данных. Но я возможно, неправильно понял проблему

Ты правильно понял

Хотелось бы как-то центры с последней итерации вытащить. Но ладно)

Ну их можно посчитать

Непрерывный случай уж больше для model based кластеризации. Можно, я со скалой еще оч плох, поэтому что-то встроенное ищу)

Ну тут дело не в скала, а конкретно в реализации мллиб, вообще сейчас нет ни одного более менее адекватного инструмента для машинлернинга под скала

Ну тут дело не в скала, а конкретно в реализации мллиб, вообще сейчас нет ни одного более менее адекватного инструмента для машинлернинга под скала

Т.е. sklearn дергать лучше чем mllib?

Если есть вощможность sklearn, то он конечно лучше и богаче

Если есть вощможность sklearn, то он конечно лучше и богаче

Я так чисто из практических соображений. Распределяется-то он нормально?

Вот тут проблема, смотря что ты хочешь, если твои данные влазят в память машины, то всё вобще ок, если нет, то нужно что-то химичить для кластера

Вот тут проблема, смотря что ты хочешь, если твои данные влазят в память машины, то всё вобще ок, если нет, то нужно что-то химичить для кластера

Не влазят. Я бы так все через sklearn запустил.

Эй, Бигдата, с Новым Годом, данных побольше, MLя пожоще!

С Новым Годом всех !!!!

всем экспертных сегментов!

С новым годом, и больше данных;)

Больших хадупов всем

Чтоб скала быстрее копилировалась!

Чтоб скала быстрее копилировалась!

Золотые слова

Чтоб хадупы работали не как долгий носкуль

Чтоб хадупы работали не как долгий носкуль

Чтоб Помадчины доклады норм давали

Чтоб когдагить датасеты и общая жвм оптимизация затмила локальную

Хотя сча это не так

Славься кривда

В dataframe можно добавить колонку из List/ Array ?

В dataframe можно добавить колонку из List/ Array ?

Да

любой тип может быть колонкой

(Любой который сериализуется)

Да

А как не подскажешь? Нашел много вариантов, но все крашится и выглядит как "Летим на кукурузнике задним ходом до Новой Зеландии". Неужели нет варианта такого типа withColumn("name", List()) ?

withColumn(“name”, array(*))

Есть ещё typedLit

Но я не помню точно как удобнее делать) не у компа

Alex val udf_list = udf { () => List(1,2,3) } val rdd = sc.parallelize(1 to 100) val df = rdd.toDF df.withColumn("arr", udf_list()).show

Но ты лучше распиши, откуда он у тебя берется и как ты хочешь его использовать

Тк этот вариант - он если тебе вот прям ниоткуда надо взять массив

Но ты лучше распиши, откуда он у тебя берется и как ты хочешь его использовать

KMeansModel.predict(rdd).collect

хочу его засунуть в DF и записать в csv

Alex val udf_list = udf { () => List(1,2,3) } val rdd = sc.parallelize(1 to 100) val df = rdd.toDF df.withColumn("arr", udf_list()).show

вот это работает, но потом рантайм ошибки на все операции с DF

вот это работает, но потом рантайм ошибки на все операции с DF

А какие ошибки?

Нутпотомк что можно сувать туда что угодно то

Caused by: org.apache.spark.SparkException: This RDD lacks a SparkContext.

Не понимаю причем тут рдд

хочу его засунуть в DF и записать в csv

я правильно понимаю что в CSV ты хочешь одну строчку с каждым элементом RDD, разделенным запятыми?

я правильно понимаю что в CSV ты хочешь одну строчку с каждым элементом RDD, разделенным запятыми?

Да просто матрицу данных записать хочу в csv.

так у тебя ведь не матрица получается

почему?

MeansModel.predict(rdd) // RDD[Int] же

я хочу их с исходными данными записать

после коллекта это будет одномерный массив интов

не только кластер

Caused by: org.apache.spark.SparkException: This RDD lacks a SparkContext.

Под капотом дс и дф это рдд

Да просто матрицу данных записать хочу в csv.

rdd.map { x => x.toArray :+ model.predict(x) }.map { x => x.mkString(",")}.saveAsTextFile("output.csv")

Под капотом дс и дф это рдд

2.х честных людей обманывает!

2.х честных людей обманывает!

Нет

Как?

rdd.map { x => x.toArray :+ model.predict(x) }.map { x => x.mkString(",")}.saveAsTextFile("output.csv")

А он может его записать в не как partition?

ну в 1.6 все понятно было - SparkContext - рдд, SQLContext - датафреймы. А тут вон все похоже называется (SparkSession и SparkContext)

А он может его записать в не как partition?

если смущает количество файлов, то можно rdd.map { x => x.toArray :+ model.predict(x) }.map { x => x.mkString(",")}.repartition(1).saveAsTextFile("output.csv")

если смущает количество файлов, то можно rdd.map { x => x.toArray :+ model.predict(x) }.map { x => x.mkString(",")}.repartition(1).saveAsTextFile("output.csv")

Ад

если смущает количество файлов, то можно rdd.map { x => x.toArray :+ model.predict(x) }.map { x => x.mkString(",")}.repartition(1).saveAsTextFile("output.csv")

так он его не в csv сохраняет получается

он его сохранит в каталожик, а внутри будут файлы part-xxx

если делаешь репартишен один, то будет один файл. Но @pomadchin правильно написал про ад, тк в случае большого рдд ты запихнешь весь свой датасет в один экзекутор)

редьюс в одну патрицию

и он лопнет ?

редьюс в одну патрицию

2ТБ памяти на каждую датаноду самое то!

Эх да главное потом не шафлить после редьюса в одну патрицию

Шутейки за 300 ):

где то у меня был скрин, как мы шафлом забили 10 GbE линки датанод х))

да уж

У меня был рекорд наверное 900тб на 10мб входящих данных

создал биг дату там где ее нету

это первое правило биг дата инженера

если в проекте нет бигдаты - надо ее создать и предложить хадуп