#вакансия#москва#devops Коллеги, привет! Отличная вакансия для тех, кто хочет поддерживать и развивать свои навыки devops инженера, но мечтает окунуться в Big Data. Требуется отличный опыт работы с *nix системами, виртуализацией и приветствуется опыт в разработке архитектурных решений. Самостоятельность — ОБЯЗАТЕЛЬНО. Опыт в BigData не обязателен, главное - желание разобраться. Если интересно, пишите на e.kikoina@youdo.ru

допустим, что я портфельный инвестор, как действия соотносятся с инвестициями в набор моих проектов? Тупой вопрос: что такое действие (arm) — это вектор распределения инвестиций или просто размер инвестиций в один проект? Также что такое премия?

Зачем начинать изучение алгоритма с самой сложной задачи?

Зачем начинать изучение алгоритма с самой сложной задачи?

Хороший вопрос. Наверное, потому что именно ее надо решить, а упрощать мне непонятно как.

Изучать математику, решая проблемы Гилберта - разве хорошая идея? Сначала учится математика (в данном случае алгоритм) на простых примерах, а потом применяется к нужной проблеме.

Изучать математику, решая проблемы Гилберта - разве хорошая идея? Сначала учится математика (в данном случае алгоритм) на простых примерах, а потом применяется к нужной проблеме.

Без обид, но для меня это капитанский комментарий

Отлично. Тогда мой вопрос выше остаётся в силе ). Можно изучать алгоритм на простых задачах

#вакансия#москва#devops Коллеги, привет! Отличная вакансия для тех, кто хочет поддерживать и развивать свои навыки devops инженера, но мечтает окунуться в Big Data. Требуется отличный опыт работы с *nix системами, виртуализацией и приветствуется опыт в разработке архитектурных решений. Самостоятельность — ОБЯЗАТЕЛЬНО. Опыт в BigData не обязателен, главное - желание разобраться. Если интересно, пишите на e.kikoina@youdo.ru

Опять без вилки?

да, без вилки, вакансия, как оказалось, есть на известном сайте

Подскажите пожалуйста, как преподнеси результаты логистической регрессии боссам? Которые скорее всего не хотять вникать в p-value, std, AIC и др. На данный момент думаю включить True Positive и True Negative Rate, accuracy плюс ROC диаграмма. Или может быть у кого нибудь есть хороший пример отчета?

Показывайте картинки, чем понятнее/проще, тем лучше

Какие картинки?

Графическое представление данных. Посмотрите на Kaggle visualization examples, там очень все доходчиво.

а в бабло результат логрегрессии не конвертируется?

а в бабло результат логрегрессии не конвертируется?

Смысле?

в прямом. например, удержали k клиентов, сэкономили n денег, т.к., удерживать старых старых дешевле, чем привлекать новых. в таком духе.

в прямом. например, удержали k клиентов, сэкономили n денег, т.к., удерживать старых старых дешевле, чем привлекать новых. в таком духе.

хм хорошая идея. Спасибо!

не за что

Подскажите пожалуйста, как преподнеси результаты логистической регрессии боссам? Которые скорее всего не хотять вникать в p-value, std, AIC и др. На данный момент думаю включить True Positive и True Negative Rate, accuracy плюс ROC диаграмма. Или может быть у кого нибудь есть хороший пример отчета?

accuracy и его производные типа recall и precision хорошо понятны людям. про log-loss можно сказать что это измерение уровня ошибки для оценок вероятностей

а в бабло результат логрегрессии не конвертируется?

+++

Покажи как решается боль боссов твоей регрессией.

перекину к себе в группу?

Конечно)

подскажите пожалуйста, что из фреймворков (tensorflow, mxnet & etc) лучше использовать на VPS (CPU 4 core, 16GB RAM) без GPU?

Tinydnn

А вообще пробуйте разные на своих задачах

Мужики, работу принес #вакансия #работа #c++ https://hh.ru/vacancy/20680377

Добрый день, в этом чате вопрос по спарку можно задать?

В общем, пытаюсь поднять этот проект https://github.com/jadianes/spark-movie-lens, при запуске server.py начинаются проблемы с rdd

а сам exсeption где?

а сам exсeption где?

так как я понял он дальше не идет

или я погорячился что спустя 10 минут закончил процесс сам?

все никак не могу привыкнуть к тому что большие объемы данных долго считаются

на /tmp места хватает?

на /tmp места хватает?

42 метра говорит весит

кто весит?

кто весит?

я видимо неправильно понял твое предыдущее предложение и полез смотреть размер tmp

сколько свободно на /tmp?

попробуйте таки дождаться стэктрейса исключения

Кто-нить в этом году сдавал CCA 175?

UPD. В общем, пытаюсь поднять проект https://github.com/jadianes/spark-movie-lens в которо юзается спарк В проекте есть файл start_server.sh, поправил его ~/spark-2.1.1-bin-hadoop2.7/bin/spark-submit --master local[*] --total-executor-cores 14 --executor-memory 6g server.py , добавив local. Вроде бы сначала все нормально, консоль показывает что процесс идет, но пото сваливается

UPD. В общем, пытаюсь поднять проект https://github.com/jadianes/spark-movie-lens в которо юзается спарк В проекте есть файл start_server.sh, поправил его ~/spark-2.1.1-bin-hadoop2.7/bin/spark-submit --master local[*] --total-executor-cores 14 --executor-memory 6g server.py , добавив local. Вроде бы сначала все нормально, консоль показывает что процесс идет, но пото сваливается

Так сваливается outofmemory

Так сваливается outofmemory

Это понятно, но как это чинится

Это понятно, но как это чинится

Убери лимит.

Убери лимит.

executor-memory 6g это что ли?

ну ок, дописал я ~/spark-2.1.1-bin-hadoop2.7/bin/spark-submit --master local[*] --total-executor-cores 14 --executor-memory 6g --conf spark.memory.offHeap.enabled=true --conf spark.memory.offHeap.size=1111111111111111110 server.py

один хрен падает

Здравствуйте, пытаюсь натренировать классификатор GoogLeNet в Caffe для определения типов одежды на фотографиях. Фото для train db есть(десятки тысяч на каждый из типов), но не всегда фотография соотнесена с типом правильно, т.е. фотография футболки случайно оказалась в папке с платьями. Процент таких фото относительно мал(оценка на глаз), но меня беспокоит мысль, что это может стать чем-то вроде ложки дегтя в бочке с медом. Первая попытка обучить сеть на подгруппе фотографий с присутствующими лишними фото дала удовлетворительный результат, но хотелось бы улучшить. Итак, вопрос №1: Какой процент "неправильных" фото может дать ощутимые последствия и допустим ли "мусор" вообще? И еще похожий вопрос: На фотографиях обычно могут присутствовать вещи сразу нескольких типов. Скажем, мужчина в полный рост в куртке, джинсах и ботинках. Если я оставлю это фото в группе "куртки", это же тоже может оказать эффект "мусора"?

Такой мусор ограничивает только максимальную правильность (accuracy) модели

Это понятно, но как это чинится

Чинится это кредитами на оперативку

Кто-нить в этом году сдавал CCA 175?

Мне интересно вообще у кого то есть такие сертификаты здесь?

Овердофига с курсеры и datacamp:)

Овердофига с курсеры и datacamp:)

Cloudera уровень не другой ?

Не смог распарсить вопрос

Здравствуйте, пытаюсь натренировать классификатор GoogLeNet в Caffe для определения типов одежды на фотографиях. Фото для train db есть(десятки тысяч на каждый из типов), но не всегда фотография соотнесена с типом правильно, т.е. фотография футболки случайно оказалась в папке с платьями. Процент таких фото относительно мал(оценка на глаз), но меня беспокоит мысль, что это может стать чем-то вроде ложки дегтя в бочке с медом. Первая попытка обучить сеть на подгруппе фотографий с присутствующими лишними фото дала удовлетворительный результат, но хотелось бы улучшить. Итак, вопрос №1: Какой процент "неправильных" фото может дать ощутимые последствия и допустим ли "мусор" вообще? И еще похожий вопрос: На фотографиях обычно могут присутствовать вещи сразу нескольких типов. Скажем, мужчина в полный рост в куртке, джинсах и ботинках. Если я оставлю это фото в группе "куртки", это же тоже может оказать эффект "мусора"?

Мусор допустим. Но можно натренировать сеть на поиск выбросов, найти ею их в базе и вручную просмотреть сотню фоток, которые она выберет.

:D спасибо

Всем привет! Поделитесь, пожалуйста, опытом на счёт того, кто как учился анализу данных. Интересует вопрос о том, как быть с какими-либо записями, конспектами. До какого-то момента я все это дело активно вел, но потом понял, что все это бесполезно в свете того, какое есть количество алгоритмов. Кто как обходил (или не обходил) данный момент? Дата саентист, в конце концов, не приходит на работу со стопкой тетрадок..

Всем привет, кто знает что такое ER диаграмма?

Всем привет, кто знает что такое ER диаграмма?

Entity Relation Diagram — визуализациях сущностей и присущим для них атрибутов

Ловите подборку из 101 учебного материала по data science http://code-love.com/2017/05/27/learn-data-science/ На самом деле, полезных штук там немного меньше (не совсем понятно, зачем авторы добавили туда ссылки на википедию и капитанские статьи про "sexiest job"). Но подборка курсов с Сoursera, Springboard и Udacity и интерактивные туториалы на DataCamp – просто кайф, идеально для старта ?