а что слуичлось с кассандрой?

ну я так понял, у них прения с апачем

почему драйвер никак для спарка не выйдет новый

ток релиз кандидат вышел

да кто нить приберет

вангую эпл

хм, там вроде прямым текстом написано "Download the latest open-source versions from Apache Cassandra." и еще ссылка что они свое комьюнити прибивают

ну т.е вроде нет слов что мы больше не будем коммитить туда

или это кто то внешний их изменения портировал из DataStax Community version в Apache Cassandra?

я думал что они чуть ли не единственные кто деньги вливают в кассандру

но все же вопрос конечно насоклько сильно они были вовлечены в опенсорсную разработку кассандры

потому что ентерпрайз все же ентерпрайз

https://github.com/datastax/java-driver все еще ращрабатывается

https://www.theregister.co.uk/2016/11/14/datastax_versus_asf_staxeit/

насколько я понял весь замес в том что только у datastax есть драйвер с полной поддержкой cql, а в остальных только частично имеется?

судя по всему там apple и другие компании тоже не мало контрибютят, так что скорее всего не так все плохо учитывая что datastax и дальше будут что то делать - замес начался осенью, а они до сих пор комитят https://github.com/apache/cassandra/graphs/contributors

вот тут кстати интересно http://www.mail-archive.com/dev@cassandra.apache.org/msg09104.html пишут что чуваки делали фичи которые кофликтились с интересами datastax и все равно сотрудники datastax помогали

Hi Pavel!

Hi Nikita!

https://t.me/vr_developers Всем привет! Объединяем VR разработчиков

Мнe кажeтся это ужe откровенно спам

Хадуп живи

живёт

может кто посоветует, что стоит почитать или посмотреть чтобы по лучше понять как hdfs внутри устроенна?

может кто посоветует, что стоит почитать или посмотреть чтобы по лучше понять как hdfs внутри устроенна?

Apache Hadoop Definitive guide

спасибо гляну, я смотрел как то мне показалось что там тоже как то по верхам все - но может я просто не заметил

Блог клаудеры

Там бывает про всякие мелочи , про которые не было в дифинитив гайде

Есть еще подписочка хадуп викли

Там бывают интересные статьи проскакивают

Всем привет. Пытаюсь в spark добавить конфу, через команду spark-submit --master yarn --deploy-mode cluster --files tables.conf SparkFiles.getRootDirectory() SparkFiles.get("tables.conf") val conf = ConfigFactory.parseFile(new java.io.File(SparkFiles.get("tables.conf"))) Выводит пути, но по факту файла там не оказывается Подскажите пожалуйста, как лечить?

привет всем

Привет

\0

кто-нибудь hadoop для machine learning держит?

интересует стоит ли еге в облаке поднимать

или лучше сразу железные сервера

Зависит от бюджета и потребностей

и от того как его обслуживать планируется

бюджет пока не считаем, важно выбрать направление cloud vs metal

на что стоит внимание обратить при выборе

ну если это облако то скорее всего там есть своя возможность разворачивать кластер, это сократит часы на обслуживание кластера; и будет удобно настраивать конфигурации; можно будет сосредоточиться на настройках самого хадупо кластера а не на оркестровке (пример emr, cf) --------- на железе придется самим приватность сетки поддерживать (если локалки не достаточно), самим оркестровкой заниматься и обновлением кластера; за то чисто в теории может быстрее работать, если весь кластер будет в стойках которые рядом и общаются по очень широкой локалке

но в реальности, я не пробовал оценивать проихводительность обоих подходов

в плане сравнивать скажем 10 нод на хетцнере // или 10 нод emr

а там чем больше машин надо; у физ машин начинают появляться ограничения простарнственные; к примеру они могут поставить их во дном датацентре но не могут поставить их рядом;

emr все таки выделенное облако, тут больше вопрос был поднять ноды на том же EC2

а; разницы никакой

или в России у ИТГрад

я б не стал в россии поднимать)

проект русский, аудитория в России

ну попробуй; разница где нету; есть разница железки это или готовая инфраструктура

у меня 2 года назад на хецнере была проблема, что локалку между машинами в одном датацентре протолкнуть не могли; нод было не так много - 10 воркеров и 1 мастер

и вот этот мастер был не рядом и не в локалке; и он был хорошим ботелнеком ;\

жестоко

и почемут любил падать :D

диски сыпались

а ну и самая большая пробелма была что не все ноды могли физически быть связаны локалкой; по каким-то странным причинам (времени выяснять не было)

понятно

минимальную конфигурацию с которой стоило бы начать пилот, какую можешь подсказать?

нагрузка скорее всего будет на CPU

ну зависит от потребностей; сколько данных есть; а для пилота хватит самой дешевой техники)) а какой объем данных в пилоте планируется?

главное iopsов побольше, тачек хватит как m3.xlarge или m3.2xlarge с головой

даже не для пилота

да и 2-3 ноды имхо хватит)

больше не надо

то есть всего 2-3 сервера, по ним размазать все роли

m3.2xlarge 8 30 2 x 80

не шибко то и много

я только хадуп будет?

+ apache mahout

ммм я больше под спарк конфигурацию дал; думаю что под просто хадупо мр хватит с головой; менее прожорливый

сча мож эксперты еще придут которые непосредственно хадупомр тискают

мне кажется, что для пилота пофигу на самом деле что там будет какое железо; чтоб не слишком медленно работало и переваривало объемы данных нужные можешь попробовать в опендатасайнс сообщество постучаться; там очень много людей которые именно хадупом, хадупомлом занимаются, без всяких спарков

можешь ссылкой поделиться?

https://opendatascience.slack.com/

сейчас на регистрацию поищу

чтоб письмо не отправлять

под хдфс те нада 5 нод

под зк тож желательно отдельные

можешь ссылкой поделиться?

чет не могу найти, помню находил; ods.ai тут только формочка

а где гонять махаут это как бы пофигу, всё равно скорее всего придёшь к тому, что придётся сигруппами резать приложения

а почему именно 5?)

3 чтоб проверить / посмотерть как мажется хватит

ну что б проверить и одной хватит