@hadoopusers

Страница 3 из 182
Akceptor
12.02.2017
15:50:36
я думаю что-то в правах)
Угу. Только узера со всеми правами я указал. Не берет его скотина

Kirill
17.02.2017
12:02:30
Всем привет с разрешения @krivdathetriewe хотел запостить вакансию #Job #relocation Позиции в Праге, оформление документов и переезд оплачивает компания. APACHE SPARK/HADOOP SOFTWARE ENGINEER https://www.epam.com/careers/job-listings/job.17999 Проект для инвестиционного банка, который решил перевести базы данных с MSSQL на Hadoop. По деньгам в районе 3000 USD Gross (-27% tax) Условия работы и релокации https://epa.ms/EPAM-Prague Вопросы мне) @VolKir

KrivdaTheTriewe
20.02.2017
08:50:14
Ребят, вопрос по поводу спарка, уммет ли spark sql маппить колонки типа name_of_cosumer к case class(nameOfConsumer:String) автоматически без withColumnName

Google
Grigory
20.02.2017
08:52:10
не очень понял, что он автоматом должен делать

):

KrivdaTheTriewe
20.02.2017
12:32:16
Announcement: DataFrame-based API is primary API

The RDD-based API is expected to be removed in Spark 3.0.

Для MLiba

Grigory
20.02.2017
12:57:59
ну в млибе рдд не удобно использовать

для этого и есть: https://github.com/databricks/spark-avro

KrivdaTheTriewe
20.02.2017
12:58:50
ну в млибе рдд не удобно использовать
а ты много его используешь?

Grigory
20.02.2017
12:58:57
рдд? везде

KrivdaTheTriewe
20.02.2017
12:59:02
мллиб

Grigory
20.02.2017
12:59:47
млиб явно - нет) кто-то из наших опенсорсных клиентов используют активно

но для сети удобно работать с датасетами с датафейрамми) кортежи значений это логичный инпут для нее

я думал те кто мллиб пользуют рдд никогда не трогают

Google
KrivdaTheTriewe
20.02.2017
13:03:02
я думал те кто мллиб пользуют рдд никогда не трогают
Я просто только доку смотрел , нам не нужно :(

Думал все , как оно там

ptchol
24.02.2017
10:59:06
dartov кто хадупами обмазывается, мы тут ~зарелизили~ заопенсорсили свою поделку, может кому интересно http://kylo.io

KrivdaTheTriewe
24.02.2017
11:03:04
это откуда? опенсорс есть?

а, вижу https://github.com/KyloIO/kylo

Алексей
27.02.2017
17:12:39
Всем привет. Собрал в одном месте все чаты для программистов - @Chats_Developers, пользуйтесь на здоровье. Ваш чат у нас тоже есть, не удаляйте это сообщение.

ptchol
28.02.2017
13:04:15
Нет. Это красивая обертка над Apache nifi

Упрощающая инжест данных

Cyril
28.02.2017
13:05:04
а по требованиям на виртуалку что? ничего не нашёл. ОЗУ жрёт?

ptchol
28.02.2017
13:05:56
Не могу ничего сказать мопед не мой ) но по логике нет, это же по факту просто морда

KrivdaTheTriewe
28.02.2017
13:13:29
Нет. Это красивая обертка над Apache nifi
как впечатление от Apache nifi ?

ptchol
28.02.2017
13:24:02
у нас нет необходимости в нём, поэтому в проде его нет

Артур
28.02.2017
14:18:33
Друзья, собрал в одном месте 132 чата для программистов - @Chats_Developers. Пользуйтесь на здоровье.

Grigory
28.02.2017
14:32:23
BAN

уже вбрасывали же

KrivdaTheTriewe
28.02.2017
14:36:03
Скоро hdfs 3

уже вбрасывали же
Знаешь хорошие гайды по оптимизации hdfs , кроме совета, что чем меньше файлов тем лучше ?

Google
Grigory
28.02.2017
14:39:31
используй чтонить типа хбейз поверх хдфс

KrivdaTheTriewe
28.02.2017
14:41:38
Мне тут сказали, что походу Кассандра все

Только ынтырпрайз

Grigory
28.02.2017
14:42:30
покажи пруфчанкисе если не сложно?

хочу почиать

Evgeniy
28.02.2017
14:42:37
каким образом они это могут провернуть?

Grigory
28.02.2017
14:42:54
они ж апаче 2

апаче 2 часть всегда остенстя ос

KrivdaTheTriewe
28.02.2017
14:43:25
покажи пруфчанкисе если не сложно?
Сейчас поищу, у меня коллега на работе в эту тему погружался, говорил , что они с апаче ругались долго

Grigory
28.02.2017
14:43:59
вообще у них и так есть датастакс ентерпрайз

KrivdaTheTriewe
28.02.2017
14:46:20
вообще у них и так есть датастакс ентерпрайз
Я спросил у коллеги, а сейчас пока сам посмотрю

Admin


ptchol
28.02.2017
15:50:55
Знаешь хорошие гайды по оптимизации hdfs , кроме совета, что чем меньше файлов тем лучше ?
в блоге клаудеры куча инфы про внутренности hdfs. Несовсем понятно что значит "оптимизация" когда говорят про фс построенную на мр.

Grigory
28.02.2017
15:52:01
оптимизировать хбейз а потом хдфс для работы с хбейз

да никак может он имел ввиду лучшие практики для настройки хдфс (hz)

ptchol
28.02.2017
15:52:40
а при чём тут hbasе вообще ? )

Grigory
28.02.2017
15:53:37
ну он упомянул размер файлов; размер файлов проще переложить на чтонить выше ¯\_(ツ)_/¯ если скоростей чтения не хватает

вот при этом

ptchol
28.02.2017
15:54:29
хочешь сказать файл положенный в hbase будет быстрее отдаваться чем файл положеный на hdfs ? )

Google
Grigory
28.02.2017
15:54:48
я думаю у него группа файлов; и есть некий индекс; то да; хбейз отработает быстрее

ptchol
28.02.2017
15:55:37
сколько додумок ) ок )

KrivdaTheTriewe
28.02.2017
16:32:45
Мы стараемся в своих джобах лимитировать количество генерируемых спарком файлов

ptchol
28.02.2017
16:45:06
0___j

KrivdaTheTriewe
28.02.2017
19:30:46
покажи пруфчанкисе если не сложно?
http://docs.datastax.com/en/cassandra/3.0/cassandra/install/installRHEL.html DataStax no longer supports the DataStax Community version of Apache Cassandra™ or the DataStax Distribution of Apache Cassandra. See DataStax support for Apache Cassandra.

Grigory
28.02.2017
19:32:45
Спасибо

похоже они просто забили на кассанру

нифига себе

KrivdaTheTriewe
28.02.2017
19:35:35
а что еще у датастаксов есть?

Evgeniy
28.02.2017
19:35:36
так вроде они не говорят что котрибутить не будут? говорят просто качайте с апача

Grigory
28.02.2017
19:36:07
не

KrivdaTheTriewe
28.02.2017
19:36:09
Grigory
28.02.2017
19:36:26
http://docs.datastax.com/en/landing_page/doc/landing_page/compatibility.html#compatibility__apache-cassandra-support

DataStax no longer supports the DataStax Community version of Apache Cassandra™ or the DataStax Distribution of Apache Cassandra™. The last available versions are Cassandra 3.0.9 and Cassandra 3.9. Download the latest open-source versions from Apache Cassandra. Also see this blog.

Страница 3 из 182