V
11.02.2017
18:10:31
Akceptor
12.02.2017
15:50:36
Kirill
17.02.2017
12:02:30
Всем привет с разрешения @krivdathetriewe хотел запостить вакансию #Job #relocation
Позиции в Праге, оформление документов и переезд оплачивает компания.
APACHE SPARK/HADOOP SOFTWARE ENGINEER
https://www.epam.com/careers/job-listings/job.17999
Проект для инвестиционного банка, который решил перевести базы данных с MSSQL на Hadoop.
По деньгам в районе 3000 USD Gross (-27% tax)
Условия работы и релокации https://epa.ms/EPAM-Prague
Вопросы мне) @VolKir
KrivdaTheTriewe
20.02.2017
08:50:14
Ребят, вопрос по поводу спарка, уммет ли spark sql маппить колонки типа name_of_cosumer к case class(nameOfConsumer:String) автоматически без withColumnName
Google
Grigory
20.02.2017
08:52:10
не очень понял, что он автоматом должен делать
):
KrivdaTheTriewe
20.02.2017
12:32:16
Announcement: DataFrame-based API is primary API
The RDD-based API is expected to be removed in Spark 3.0.
Для MLiba
Grigory
20.02.2017
12:57:59
ну в млибе рдд не удобно использовать
для этого и есть: https://github.com/databricks/spark-avro
KrivdaTheTriewe
20.02.2017
12:58:50
Grigory
20.02.2017
12:58:57
рдд? везде
KrivdaTheTriewe
20.02.2017
12:59:02
мллиб
Grigory
20.02.2017
12:59:47
млиб явно - нет) кто-то из наших опенсорсных клиентов используют активно
но для сети удобно работать с датасетами с датафейрамми) кортежи значений это логичный инпут для нее
я думал те кто мллиб пользуют рдд никогда не трогают
Google
KrivdaTheTriewe
20.02.2017
13:03:02
Думал все , как оно там
ptchol
24.02.2017
10:59:06
dartov
кто хадупами обмазывается, мы тут ~зарелизили~ заопенсорсили свою поделку, может кому интересно http://kylo.io
KrivdaTheTriewe
24.02.2017
11:03:04
это откуда? опенсорс есть?
а, вижу https://github.com/KyloIO/kylo
Алексей
27.02.2017
17:12:39
Всем привет. Собрал в одном месте все чаты для программистов - @Chats_Developers, пользуйтесь на здоровье. Ваш чат у нас тоже есть, не удаляйте это сообщение.
Cyril
28.02.2017
12:29:20
ptchol
28.02.2017
13:04:15
Нет. Это красивая обертка над Apache nifi
Упрощающая инжест данных
Cyril
28.02.2017
13:05:04
а по требованиям на виртуалку что? ничего не нашёл. ОЗУ жрёт?
ptchol
28.02.2017
13:05:56
Не могу ничего сказать мопед не мой ) но по логике нет, это же по факту просто морда
KrivdaTheTriewe
28.02.2017
13:13:29
ptchol
28.02.2017
13:24:02
у нас нет необходимости в нём, поэтому в проде его нет
Артур
28.02.2017
14:18:33
Друзья, собрал в одном месте 132 чата для программистов - @Chats_Developers. Пользуйтесь на здоровье.
KrivdaTheTriewe
28.02.2017
14:32:08
Grigory
28.02.2017
14:32:23
BAN
уже вбрасывали же
KrivdaTheTriewe
28.02.2017
14:36:03
Скоро hdfs 3
уже вбрасывали же
Знаешь хорошие гайды по оптимизации hdfs , кроме совета, что чем меньше файлов тем лучше ?
Google
Grigory
28.02.2017
14:39:31
используй чтонить типа хбейз поверх хдфс
KrivdaTheTriewe
28.02.2017
14:41:38
Мне тут сказали, что походу Кассандра все
Только ынтырпрайз
Grigory
28.02.2017
14:42:30
покажи пруфчанкисе если не сложно?
хочу почиать
Evgeniy
28.02.2017
14:42:37
каким образом они это могут провернуть?
Grigory
28.02.2017
14:42:54
они ж апаче 2
апаче 2 часть всегда остенстя ос
KrivdaTheTriewe
28.02.2017
14:43:25
Grigory
28.02.2017
14:43:59
вообще у них и так есть датастакс ентерпрайз
KrivdaTheTriewe
28.02.2017
14:46:20
Admin
ptchol
28.02.2017
15:50:55
Grigory
28.02.2017
15:52:01
оптимизировать хбейз
а потом хдфс для работы с хбейз
да никак может он имел ввиду лучшие практики для настройки хдфс (hz)
ptchol
28.02.2017
15:52:40
а при чём тут hbasе вообще ? )
Grigory
28.02.2017
15:53:37
ну он упомянул размер файлов; размер файлов проще переложить на чтонить выше ¯\_(ツ)_/¯
если скоростей чтения не хватает
вот при этом
ptchol
28.02.2017
15:54:29
хочешь сказать файл положенный в hbase будет быстрее отдаваться чем файл положеный на hdfs ? )
Google
Grigory
28.02.2017
15:54:48
я думаю у него группа файлов; и есть некий индекс; то да; хбейз отработает быстрее
ptchol
28.02.2017
15:55:37
сколько додумок ) ок )
KrivdaTheTriewe
28.02.2017
16:32:45
Мы стараемся в своих джобах лимитировать количество генерируемых спарком файлов
ptchol
28.02.2017
16:45:06
0___j
KrivdaTheTriewe
28.02.2017
19:30:46
покажи пруфчанкисе если не сложно?
http://docs.datastax.com/en/cassandra/3.0/cassandra/install/installRHEL.html
DataStax no longer supports the DataStax Community version of Apache Cassandra™ or the DataStax Distribution of Apache Cassandra. See DataStax support for Apache Cassandra.
Grigory
28.02.2017
19:32:45
Спасибо
похоже они просто забили на кассанру
нифига себе
KrivdaTheTriewe
28.02.2017
19:35:35
а что еще у датастаксов есть?
Evgeniy
28.02.2017
19:35:36
так вроде они не говорят что котрибутить не будут? говорят просто качайте с апача
Grigory
28.02.2017
19:36:07
не
KrivdaTheTriewe
28.02.2017
19:36:09
Grigory
28.02.2017
19:36:26
http://docs.datastax.com/en/landing_page/doc/landing_page/compatibility.html#compatibility__apache-cassandra-support
DataStax no longer supports the DataStax Community version of Apache Cassandra™ or the DataStax Distribution of Apache Cassandra™. The last available versions are Cassandra 3.0.9 and Cassandra 3.9.
Download the latest open-source versions from Apache Cassandra.
Also see this blog.