Имхо парадигма распределённых вычислений, реализованная в Спарке, гибче, нежели Хадуп мап-редьюс

благодаря тому, что можно несколько мап-шагов стакать

без промежуточного сохранения на диск/в память

редьюс вообще может отсутствовать

на хадупе же, чтобы ты не хотел сделать, тебе обязательно надо натянуть это на мап-редьюс шаги

К сожалению, я не большой гуру, но насколько помню - вся суть в том, что хадуп разрабатывался давно и в нем передача данных между нодами и тд через HDFS. В спарке не всегда, но,повторюсь, бывают частные случаи, когда работает идентично.

плюс в спарке есть гибкие настройки по перзистенсу данных (в память/на диск и т.д)

что тоже добавляет плюсов, по сравнению с хадуп мап-редьюсом

деление воркеров на мапперов и редьюсеров тоже хреново влияет на утилизацию ресурсов кластера в хадуп мап-редьюсе

плюс в спарке есть гибкие настройки по перзистенсу данных (в память/на диск и т.д)

а тут уже вопрос в количестве данных и твоем кластере, на самом деле. было дело - все в память не влезало - и никуда от диска не уйдешь

в спарке это сделано достаточно универсально, есть воркеры, у воркеров есть слоты, с определённым количеством ядер и памяти

а тут уже вопрос в количестве данных и твоем кластере, на самом деле. было дело - все в память не влезало - и никуда от диска не уйдешь

ну так это понятно. И Спарк успешно этот случай обработает

а вот затюнить Хадуп, чтобы он в оперативке что-нибудь кешировал, это уже гораздо сложнее

ну и на Спарке, имхо, гораздо проще начать что-нибудь писать. Абстракция RDD/Dataset гораздо более дружественная, нежели Mapper Reducer на каждый чих

ну а в минусы спарку, пожалуй, можно записать неявную сериализацию кода, который потом закидывается на воркеры и там выполняется

помню немало багов на этом словил, пытаясь вычислить, как там это в скале всю сериализуется/десериализуется

ну так это понятно. И Спарк успешно этот случай обработает

ой не очень то успешно. если ты скажешь persist(StorageLevel.MEMORY_ONLY) сам - он успешно будет забивать оперативную память, кряхтеть,считать, а потом понемногу убивать воркеров, которые не отвечают (а не отвечают по понятной причине - не справляются с нагрузкой). Я не помню, чтобы там был дефолт персиста. Без понимания и знания - выстрел в ногу обеспечен, но не критичен

ой не очень то успешно. если ты скажешь persist(StorageLevel.MEMORY_ONLY) сам - он успешно будет забивать оперативную память, кряхтеть,считать, а потом понемногу убивать воркеров, которые не отвечают (а не отвечают по понятной причине - не справляются с нагрузкой). Я не помню, чтобы там был дефолт персиста. Без понимания и знания - выстрел в ногу обеспечен, но не критичен

ну конечно, в ручную надо будет этот случай хендлить

я просто о том, что в Спарке можно покрыть use case хадупа

обратное же маловероятно

всем привет. тут спрашивали про pdf книжки Андреаса Мюллера и Сары Гвидо

вот ссылка https://drive.google.com/open?id=0B6cpSQ5uHrxMVHZjQ3V2NmpWa3M

это мой последний перевод

Виллиамс впопыхах самый первый мой перевод в печать отправило)

Виллиамс впопыхах самый первый мой перевод в печать отправило)

отличная книга, добуду обязательно, спасибо за труд :)

Спасибо за перевод!

Ребят, а Рашка есть у кого на русском?

Подскажите, в какую сторону следует гуглить, если интересно по фейсбуку и лайкам человека составлять портрет его интересов?

самое примитивно-рабочее — коллаборативная фильтрация ищешь людей с похожими (define "похожесть" по лайкам) взглядами и берешь их интересы

Составляешь граф

https://habrahabr.ru/company/yandex/blog/333522/ Кто пробовал уже CatBoost ?

у меня есть Рашка на русском в самом первом переводе, но это не мой перевод, плохо переведено, я потом самые очевидные ляпы исправлял, но тоже не все поправил

я пробовал, все отлично, но не устраивает скорость вычислений, возможно не хватает технической информации

у меня есть Рашка на русском в самом первом переводе, но это не мой перевод, плохо переведено, я потом самые очевидные ляпы исправлял, но тоже не все поправил

Я знаю только одну Рашку?

а уот еще статья https://nplus1.ru/material/2017/07/18/yandex-catboost

Всем привет! Подскажите какой язык + бд выбрать для дата майнинга? Задача стоит по API ежесекундно(возможно быстрее) собирать информацию. Информации будет очень много, и соответсвенно скорость должна быть быстрой. Так же на каком языке потом можно написать веб интерфейс, для анализа этих данных, + реалтайм отображение нужных данных, построение различных графиков, а так же выполнение команд. так же нуждаюсь в площадках по типу фриланса, апворка и тп для поиска исполнителей под такие задачи

Всем привет! Подскажите какой язык + бд выбрать для дата майнинга? Задача стоит по API ежесекундно(возможно быстрее) собирать информацию. Информации будет очень много, и соответсвенно скорость должна быть быстрой. Так же на каком языке потом можно написать веб интерфейс, для анализа этих данных, + реалтайм отображение нужных данных, построение различных графиков, а так же выполнение команд. так же нуждаюсь в площадках по типу фриланса, апворка и тп для поиска исполнителей под такие задачи

python, django, postgres, tableau, redis.

если хочется приключений то clojure

Всем привет! Подскажите какой язык + бд выбрать для дата майнинга? Задача стоит по API ежесекундно(возможно быстрее) собирать информацию. Информации будет очень много, и соответсвенно скорость должна быть быстрой. Так же на каком языке потом можно написать веб интерфейс, для анализа этих данных, + реалтайм отображение нужных данных, построение различных графиков, а так же выполнение команд. так же нуждаюсь в площадках по типу фриланса, апворка и тп для поиска исполнителей под такие задачи

python, asyncio, aiohttp для мультипоточности выбор ДБ зависит от типа данных. Смотрите nosql базы с поддержкой под ваш тип (JSON?) интерфейс - angular, react. Если что-то реалтайм то +websocket

питон если только для анализа данных. А это, я так понимаю, можно асинхронно делать. Не надо микроскопом гвозди забивать. Для этого clojure лучше, как Алекс заметил. Но чтобы было без приключений - не надо все на ней писать, а только то, для чего она реально нужна =) Ну и БД, куда все будете сказывать, скорее всего действительно nosql, но лучше исходить из операций, которые вы будете там производить. Навскидку вроде касандра должна для задачи быстрой записи и сохранности данных хорошо подойти, но ручаться не стану, пользовался только в песочнице с небольшим проектом

Спасибо

По поводу площадок тебя скорее всего никто не понял. Площадки ты перечислил, значит знаешь где искать. А вообще в России в основном исполнителей под подобные вещи ищут по рекомендациям. Если у тебя в планах не mvp, а полноценный проект (читай, бюджет не 300к, а 2М+) - вряд ли ты будешь готов нанять под это дело каких-то непонятных ребят с апворка.

на кагле же искать, там все сколько-либо серьезные типы сидят

по задаче я так понял, что навык разработки и проектирования то здесь стоит выше навыка анализа данных и работы с ними. Поэтому возможно и команды потребуются две, либо одна с широкой экспертизой

Ну не сказал бы что это большой какой-то проеэкт. Я бы это назвал бы инструментом для работы

То есть, то что я физичиски не смогу успеть проанализировать и выполнить такой объем работы

То есть сначала сбор информации, анализ и построение инструмента для работы с этими данными

Виталик, о какой информации идет речь? Структурированной ( можно класть в реляционную базу) или неструктурированной (текст, логи)? Аналитика по всем данным, по окну за последний час, по случайной выборке? Нужна ли консистентность, или можно параллелить безо всяких зазрений совести?

по задаче я так понял, что навык разработки и проектирования то здесь стоит выше навыка анализа данных и работы с ними. Поэтому возможно и команды потребуются две, либо одна с широкой экспертизой

Приключение это найти хотя бы 5 кложуристов в команду. Выбрать кложур для такого проекта — привязать себя к разработчику навсегда

Делюсь инсайдом. Вот увидите! Осенью, в крайнем случае зимой, будет хайп по реактосу. Все угорят по нему, как сейчас по криптовалютам и спинерам Закупайтесь сейчас, пока не взлетело.

Делюсь инсайдом. Вот увидите! Осенью, в крайнем случае зимой, будет хайп по реактосу. Все угорят по нему, как сейчас по криптовалютам и спинерам Закупайтесь сейчас, пока не взлетело.

Что такон реактос?

Что такон реактос?

Операционная система это.

это которая пытается сделать вид, что умеет запускать виндовые приложения?

ERROR: S client not available

Что такон реактос?

никому ненужный нелинукс с ДЕ под икспишку и настроенным вайном

Операционная система это.

А, это те наркоманы что 15 лет пилили винду и спас их только крымнаш?

никому ненужный нелинукс с ДЕ под икспишку и настроенным вайном

реактос не линукс же. будь он линуксом, был бы стабильнее.

реактос не линукс же. будь он линуксом, был бы стабильнее.

поправил, ладно, сути не меняет

поправил, ладно, сути не меняет

Многое меняет. У линукса никогда столько драйверов не будет.

Многое меняет. У линукса никогда столько драйверов не будет.

вообще проблем с драйверами нет, здрасте из 2008 года что ли =)

А, это те наркоманы что 15 лет пилили винду и спас их только крымнаш?

А причём тут Крым, он никак не отразился.

вообще проблем с драйверами нет, здрасте из 2008 года что ли =)

Скажи это моему сканеру

Скажи это моему сканеру

реактос специализированный дистрибутив для сканеров? То есть это фича такая.

реактос специализированный дистрибутив для сканеров? То есть это фича такая.

Нет. Просто не говори, что у линукса давно нет проблем. Как были так и остались.

Нет. Просто не говори, что у линукса давно нет проблем. Как были так и остались.

удачи вам, хоть и не знаю зачем реактос нужен =)

Нет. Просто не говори, что у линукса давно нет проблем. Как были так и остались.

вообще согласен, драйвера в первую очередь пишут под винду, а уж потом под линь, как показывает практика. с другой стороны я уже давно не встречался с проблемой поиска дров на лин.

удачи вам, хоть и не знаю зачем реактос нужен =)

Покемон ГОУ и спинеры тоже непонятно зачем )))

удачи вам, хоть и не знаю зачем реактос нужен =)

За пожелания благодарю

вообще согласен, драйвера в первую очередь пишут под винду, а уж потом под линь, как показывает практика. с другой стороны я уже давно не встречался с проблемой поиска дров на лин.

Просто ты уже научился выбирать совместимое железо. А 98% ещё нет.

ну вот взял видюху амд и до сих пор приходится каждый раз ядро собирать кастомное для поддержки hdmi, но это редкий пример)

Просто ты уже научился выбирать совместимое железо. А 98% ещё нет.

на линуксе уже лет 6 проблем с дравами не наблюдаю, только совсем с экзотикой

а какое отношение имеет реактос к тематике этого чата?

ровным счетом никакого, тут инсайдер ворвался просто.

обострение?

линуксолюди в аджайле

казалось что может быть лучше?

Если не ошибаюсь, вы ее главный разраб?)

Делюсь инсайдом. Вот увидите! Осенью, в крайнем случае зимой, будет хайп по реактосу. Все угорят по нему, как сейчас по криптовалютам и спинерам Закупайтесь сейчас, пока не взлетело.

Если не ошибаюсь, вы ее главный разраб?)

Не главный, но я из этой компании

Реактос кстати уже сейчас поддерживает udf, ext234 и btrfs