hdfs это часть экосистемы хадупа если чо

+

спарк? флинк? кафка? нет, не слышал?

Сколько редька не говори, во рту слаще не будет

hdfs это часть экосистемы хадупа если чо

в hdfs есть единственный несомненный плюс - data locality

Где статистика про половину?

нет, я инженер и работаю с питоном, скалой и c++

ну ты инженер-программист в классическом смысле или ты аналитик, который пишет алгоритмы для прикладников?

ну ты инженер-программист в классическом смысле или ты аналитик, который пишет алгоритмы для прикладников?

в классическом смысле

хадуп - старое неповоротливое говнище уже давно

Хадуп это слоник

в hdfs есть единственный несомненный плюс - data locality

ну так это и есть весь хадуп))

а map-reduce то такое уже

и на котором половина распределенной аналитики написана

Ну так будут пруфы или звездишь?

ну так это и есть весь хадуп))

ну так это уже давно не только он умеет

Ну так будут пруфы или звездишь?

чего тебе пруфы нужны? что все переписывают аналитические пайплайны с хадупа на спарк?

ну посмотри любые современные курсы по бигдате, там тебе про это расскажут

чего тебе пруфы нужны? что все переписывают аналитические пайплайны с хадупа на спарк?

Кто все?

ну так это уже давно не только он умеет

hdfs в основе лежит. а всякие Pig и прочее дерьмо это уже поверх все. ну а map-reduce это и есть твой data locality. так что спарк без хадупа такое себе

Все твои друзья во дворе?

Кто все?

ну, скажем так, куча компаний в долине

Николай. ты реально голословен

в каждой фразе

ну, скажем так, куча компаний в долине

ты ж в москве живешь

ну посмотри любые современные курсы по бигдате, там тебе про это расскажут

Господи, еще маркетинговые буклеты мне предложили почитать

hdfs в основе лежит. а всякие Pig и прочее дерьмо это уже поверх все. ну а map-reduce это и есть твой data locality. так что спарк без хадупа такое себе

есть alluxio, есть всякие key-value хранилища со спарк-интеграцией

Николай, пока только пустозвонство

Ничего реального

Николай. ты реально голословен

я этим просто занимаюсь каждый день. Да, я могу быть субъективен, но рынок я все-таки немного знаю

Голословные заявления

ты ж в москве живешь

я 70 на 30, 30 - в долине

Ссылаешься только на свой авторитет

Ты видел, ты слышал

Ты видел, ты слышал

а ты - на свой

гугл давно уже перешел с хадупа на спарки?

Ссылаешься только на свой авторитет

+++ это не очень хорошо, при всем моём уважении к твоим навыкам, Николай

а ты - на свой

Понеслась

гугл давно уже перешел с хадупа на спарки?

со слов того, кто там работает, хадуп там живет

Ты как-то неадекватно реагируешь

не, хадуп обычно везде есть

со слов того, кто там работает, хадуп там живет

это был сарказм)

просто мапредьюс, как концепция, устарел давно

это был сарказм)

да я понял

кстати, там очень котируется хадуп

а у hdfs появились неплохие аналоги

от 170к идут должности

ибай тоже кстати

фейсбук..

так что вся аналитика держится на скале - это как-то громко сказано

так что вся аналитика держится на скале - это как-то громко сказано

я и не говорил, что вся

я говорил, что довольно большая часть, и эта доля увеличивается

я и не говорил, что вся

но половина - сильное заявление

все в чате видели твои слова, дружок

но половина - сильное заявление

+1

но половина - сильное заявление

ну, тенденция довольно явная все-таки

Какая тенденция?

а что вы хотите в качестве пруфов, мне любопытно?

хорошо, если мы считаем по количеству установленных хадупов - я могу быть неправ

ну, тенденция довольно явная все-таки

так тенденция это одно, а статистика по цифрам - другое

Николай, ты когда-нибудь начнёшь оперировать реальными данными?

тенденция это то что спарк идет в сторону джавы, не?

пост от гугла "мы перешли на спарк" ?

А не маркетинговый булшит нести?

тенденция это то что спарк идет в сторону джавы, не?

нет, даже не близко

Николай, ты когда-нибудь начнёшь оперировать реальными данными?

он же аналитикой занимается! дата сайнс инженер

Николай, ты когда-нибудь начнёшь оперировать реальными данными?

какие данные ты хочешь получить?

Статистику

какую?

Мы сделали выборку по проектам

Она репрезентативна потому что ...

ERROR: S client not available

кстати

давай так, Николай. с чего то ты свои заявления взял, так? Значит и цифрами подкрепить можешь?

Статистика говорит, что столько то проектов на скале

даже твиттер юзает что? хадууп

ну, я поищу, а ты поищи встречную по джаве

https://wiki.apache.org/hadoop/PoweredBy

а то что 2-3 проекта на твоей работе не юазют хадупец

ну это такое

ну, я поищу, а ты поищи встречную по джаве

Зачем мне искать?

даже твиттер юзает что? хадууп

кстати, ты сейчас отжог

твиттер знаешь что юзает?

Я вообще молчал про джаву

ну, я поищу, а ты поищи встречную по джаве

мне тебе рейтинг TIOBE, список вакансий на популярных хх сайтах найти?

Я вообще молчал про джаву

Если я не знаю, я не говорю

Тебя за язык не тянули

твиттер юзает написанный ими Scalding, который представляет собой фреймворк на скале для хадупа

твиттер юзает написанный ими Scalding, который представляет собой фреймворк на скале для хадупа

а почему не спарк?)

мне тебе рейтинг TIOBE, список вакансий на популярных хх сайтах найти?

какое отношение TIOBE имеет к дата-аналитике?

твиттер еще и свинку юзает активно

а почему не спарк?)

не знаю, спроси их. Но скалу точно юзают, причем много где

твиттер еще и свинку юзает активно

я тебе америку открою, наверное, но для Pig хадуп не нужен

я не знаю, поверх чего ее юзает твиттер, скорее всего, реально поверх хадупа

но в общем случае утверждение “юзают pig == юзают хадуп” - неверно

какое отношение TIOBE имеет к дата-аналитике?

окей, я думал, ты про язык в целом

big data java

6.5 млн упоминаний в гугле

big data scala

739 тысяч

Просто у скалистов нет вопросов

739 тысяч

это ты сейчас сделал примерно то же самое, что TIOBE

Там все понятнне