конечно простой а потом Task serialization exception ... not enough memory ... runtime class is not avaible... partition size is larger that 2gbs ...

А это просто разработчики спарка криворукие?

скорее те кто используют спарк

клац клац клац

не, он же простой

Как я понимаю, не получится

А по сабжу есть что сказать?

Например пробежаться по всем строкам по порядку

Смотря что под этим понимать. Если применить функцию получится легко

Не map

Типо окна

Зависит от предыдущих строк

Получится. Ну нет никакого волшебства, просто данные на разных тачках, разделены горизонтально, то есть одни строки на одной другие на другой. В зависимости от размера окна спарк будет пересылать нужные строки на нужный узел

Отличие от pandas в том что об этом придётся задумываться.

Вот мануал с какими то такими штуками и хочется

Или пример хотя бы

Начать отсюда, попробовать все примерчики https://spark.apache.org/docs/latest/sql-programming-guide.html Возникнут вопросы как всё это устроено изнутри https://spark.apache.org/docs/latest/rdd-programming-guide.html Дальше можно mastering spark (ссылка выше) и Spark Internals https://github.com/JerryLead/SparkInternals/tree/master/markdown

Спасибо

Не подскажете, как сделать вот это:

Фактически, занумеровать строки с совпадающим timestamp

Сам решил

Чат, привет def storyViewed(n: Integer): Boolean = { val num = Option(n).getOrElse(return true) num > 3 } println (df_rdd.filter(v => (storyViewed(v(4).asInstanceOf[Int]))).count()) println (df_rdd.filter(v => v(4) == null || v(4).asInstanceOf[Int] > 3).count()) 275044 424950

как сделать так, чтобы принималась v(4) переменная, которая имеет тип df.schema(4) StructField(view_time,IntegerType,true)

поясни, что ты пытаешься сделать :)

Dobroe utro. Est li sredi nas te kto nastraival GS dlya Hbase?

Геосервер?

побольше набрось контекста)

Геосервер?

Гугл сервер

и что это значит

Не знаю

Не придумал ещё

Привет

Нужна помощь от коллективного разума)) в hdfs du и df показывают разницу почти в 2 раза, как такое может быть?

hdfs du / ?

Или какой-то папки?

$ hadoop fs -df -h / Filesystem Size Used Available Use% hdfs://some_cluster 525.5 T 451.5 T 54.7 T 86% $ hadoop fs -du -s -h / 88.8 T 266.8 T /

если по всем директориям в / сделать count и суммировать объем - то он сходится с du - 88.8 T

репликация?

фактор 3

средний показатель - 3,0046

ну это оно и есть

88.8 T 266.8 T /

88 это размер

266 с учетом фактора 3

88.8*3=266.4, но репорт показывает - 451

а-а, не посмотрел

Права на папки?

вопрос именно в разнице 266 и 451

Права на папки?

Мог бы уточнить, не совсем понял вопрос

Мог бы уточнить, не совсем понял вопрос

добавь флаг -q к df -h команде мб?

В HDFS есть поддержка разделения прав доступа к папкам в FS

hdfs dfs -count -q -h -v /

он и правда у тебя иначе просто показывает емкость и занятость всего кластера

2.0 G 2.0 G none inf 203.1 K 4.0 M 88.8 T /

те же 88 T

ну во

hdfs dfs -df -h / твоя изначальная команда была

мы добавили квоту

https://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-hdfs/HdfsQuotaAdminGuide.html

ок, так почему hdfs dfs -df -h / показывает 451 тб используемого места?

В HDFS есть поддержка разделения прав доступа к папкам в FS

ок, это может как то создать разницу между выводами du и df ?

могло бы если б оно не валилось с ошибкой при отсутствии доступа, а так по идее права больше не должны влиять

с ошибкой не валиться, есть доступ ко всем каталогам

я себе представлял, что вывод df, колонка used говорит о полной занятости кластера, и если значение этой колонки разделить на фактор репликации, то получиться примерно реальный объем данных - в моем случае 450/3 = 150, но du мне показывает, что всего лежит 88Т без учета репликации

в fsck проблем нет

похоже на проблему в файловах системах, когда удаляется файл, но остается дескриптор - но все, что могло бы писать на hdfs остановленно

как вариант посмотреть на локальных фс df -h и df -i

на локальных ничего подозрений не вызывает

Посмотри hadoop dfsadmin -report

Возможно есть overreplicated blocks

еще да, возможно есть файлы на которые кто-то держит ссылки

overreplicated blocks нет

на локальной системе возможно кто-то держит ссылки на удалённые блоки

еще да, возможно есть файлы на которые кто-то держит ссылки

можешь подсказать, как это посмотреть

если по простому можно попробовать перезагрузить hdfs. если нет можно поковырять в сторону lsof и грепать

все приложения грохнул, ярн тоже

сейчас запущенны только сервисы hdfs

в lsof удаленных нет

мистика блин какая то