Чуваки. Посоветуйте книжки для того, чтобы научиться писать нормальный код. Мне нужно научиться писать алгоритмы для машинного обучения и пред- / пост-обработки данных так, чтобы они влезали в какие-то​ разумные рамки по памяти и времени.

Из классики: шаблоны от банды четырех, "идеальный код" от Стива Макконнелла, ну и "чистый код" от Роберта (Боба) Мартина. Если больше в сам питон, то Лутца ещё.

Из классики: шаблоны от банды четырех, "идеальный код" от Стива Макконнелла, ну и "чистый код" от Роберта (Боба) Мартина. Если больше в сам питон, то Лутца ещё.

Спасибо)

Из классики: шаблоны от банды четырех, "идеальный код" от Стива Макконнелла, ну и "чистый код" от Роберта (Боба) Мартина. Если больше в сам питон, то Лутца ещё.

так а при чем тут паттерны проектирования и программирования? На сколько я понял, человеку интересно, как писать эффективный по памяти/производительности код

так а при чем тут паттерны проектирования и программирования? На сколько я понял, человеку интересно, как писать эффективный по памяти/производительности код

Алгоритмы.

Алгоритмы.

Это как теплое и мягкое. Спрашивали же про алгоритмы и структуры данных, а не паттерны

ну вообще чтобы код в целом работал шустро, надо как раз видеть общую картину, а не экономить на спичках

только gang of four никогда никому не надо уже читать)

Это как теплое и мягкое. Спрашивали же про алгоритмы и структуры данных, а не паттерны

Спрашивали про "нормальный код"

Нормальный код это Мартин и Макконнелл.

ну вообще чтобы код в целом работал шустро, надо как раз видеть общую картину, а не экономить на спичках

После того, как стадия хуяк-хуяк прошла, тогда и начинается неизбежная оптимизация "на спичках"

я вот прикупил себе недавно http://dataintensive.net/, доволен нечто похожее (в куда более краткой версии) — https://github.com/donnemartin/system-design-primer/

Спрашивали про "нормальный код"

+

Точнее даже так

Спрашивали про "нормальный код"

Не уточнен критейтерий нормальности. Для embeed системы это одно, для тыртырпрайза это другое

Это как теплое и мягкое. Спрашивали же про алгоритмы и структуры данных, а не паттерны

И что вы рекомендуете почитать?

только gang of four никогда никому не надо уже читать)

Всё? Не актуально? :-)

Я не конкретизировал здесь

Чуваки. Посоветуйте книжки для того, чтобы научиться писать нормальный код. Мне нужно научиться писать алгоритмы для машинного обучения и пред- / пост-обработки данных так, чтобы они влезали в какие-то​ разумные рамки по памяти и времени.

The Art of Multiprocessor Programming. Но если речь о бигдате, то ещё почитайть про всякие мапредьюсы стоит (Designing Data-Intensive Applications, например)

Всё? Не актуально? :-)

лет 5 как уже минимум почитай https://github.com/donnemartin/system-design-primer/, если нравится — DDIA

Если есть по паттернам, то можно и по паттернам, всё равно пригодится

И что вы рекомендуете почитать?

Честно я не читаю книги от целиком. Либо что-то точечно по главам, либо свежие статьи с конференций, исходники в репозиториях и тд

Ну, всё зависит от того, кто интересуется

датасаентисту это всё не надо. В отличие от программиста, который и будет систему в прод писать

лет 5 как уже минимум почитай https://github.com/donnemartin/system-design-primer/, если нравится — DDIA

Спасибо. А мы всё так же продолжаем пускать поезда под откос (с)

Сейчас стадия пока как раз на "хуяках", а потом может и паттерны нужны будут.

лет 5 как уже минимум почитай https://github.com/donnemartin/system-design-primer/, если нравится — DDIA

это другого плана паттерны

The Art of Multiprocessor Programming. Но если речь о бигдате, то ещё почитайть про всякие мапредьюсы стоит (Designing Data-Intensive Applications, например)

спасибо)

датасаентисту это всё не надо. В отличие от программиста, который и будет систему в прод писать

имхо, попытаться ухватить общее направление (пресловутые 80% профита за 20% усилий) — всегда полезно

имхо, попытаться ухватить общее направление (пресловутые 80% профита за 20% усилий) — всегда полезно

80/20 миф. Погуглите лурк на эту тему, например

80/20 миф. Погуглите лурк на эту тему, например

Гм хм лурк явно самый авторитетный источник

Ребята, помогите перевести: Of course, the algorithms you try must be appropriate for your problem, which is where picking the right machine learning task comes in.

Конечно, алгоритмы которые вы пробуете должны соотвествовать вашей проблеме и здесь на первый план выходит выбор правильной задачи машинного обучения.

Гм хм лурк явно самый авторитетный источник

Нет, но на удивление там самое понятное, развернутое и подкреплённое внешними ссылками объяснение, что наводит на мысль: иногда "правильный" перевод гоблина даёт куда более глубокое понимание сути фильма, нежели лицензионный :-)

лет 5 как уже минимум почитай https://github.com/donnemartin/system-design-primer/, если нравится — DDIA

ужас какой

ужас какой

Ну пусть, такое мнение я уже слышал в кулуарах некоторых конференций, правда не от мастодонтов

я про содержимое ссылки

не очень понимаю как люди в 2017 году, с серьёзными щщами могут обсуждать «универсальный подход к решению всех проблем»

После того, как стадия хуяк-хуяк прошла, тогда и начинается неизбежная оптимизация "на спичках"

в 97% случаев нужно не спички оптимизировать, а гораздо более страшные вещи

там выше мысль про смотреть в целом — очень здравая

А что не так со ссылкой про систем дизайн ?

потому что сидят люди, в поте лица пытаются оптимизировать сетевой стек, чтоб запросы в редис занимали не 150мс, а 50мс. Вместо того чтоб задать очень простой вопрос: почему наше приложение в итоге ходит в редис столько раз, что это занимает 150мс?

там по ссылке сходу 3 разных стораджа

почему-то в мемкеш ходит Read API

зачем-то есть какие-то worker service, которые намертво прибиты к write api async

приходит неопытный Вася и вместо того чтоб решить простую задачу — простым способом, городит весь этот ад

Конечно, алгоритмы которые вы пробуете должны соотвествовать вашей проблеме и здесь на первый план выходит выбор правильной задачи машинного обучения.

Благодарю?

«должны» можно заменить на «обязаны», скорее всего этим автор хотел подчеркнуть важность выбора. но на русском это перебор какой-то выходит

Кто-то может помочь с реализацией метода случайного поиска для минимизации степенной функции?

А нлп чатик закрыли?

80/20 миф. Погуглите лурк на эту тему, например

80/20 легко вводится из неравномерности распределения. Что бы 80/20 не сработало, величина должна быть равномерно распределена, а это редко встречается.

80/20 легко вводится из неравномерности распределения. Что бы 80/20 не сработало, величина должна быть равномерно распределена, а это редко встречается.

может нормально распределена?

ERROR: S client not available

Если величина распределена нормально, то 80/20 на ней выполняться будет (примерно, конечно)

Если величина распределена нормально, то 80/20 на ней выполняться будет (примерно, конечно)

ну у многих величин распределение близко к нормальному

Да, это так. Это как-то опровергает или дополняет мои слова?

Да, это так. Это как-то опровергает или дополняет мои слова?

а, неправильно прочитал

пропустил не

#вакансия #data scientist #big data #full time Москва, уютный офис на м.Беговая Компания ECR OSA HP Мы ищем data scientists (junior/middle/lead) на Big Data для крупнейших супермаркетов страны (Пятерочка, Ашан, Перекресток и т.п.). Мы предлагаем участие в разработке уникального продукта с использованием технологий Data Mining, Machine Learning, Text и Image recognition и т.д., Нужно будет: • Расширять круг гипотез в процессе анализа поведения потребителей в офф-лайн ритейле (фуд) • Расширять репертуары факторов, доступных для анализа (meta data, open data) • Проектировать и реализовывать алгоритмы предсказания покупательского поведения • Формализовывать функциональные требования к аналитическим отчетам В проекте мы используем Python (Pandas, Numpy, Sklearn, TensorFlow), SQL, Postgres, ClickHouse, Apache Hadoop.

#вакансия #data scientist #big data #full time Москва, уютный офис на м.Беговая Компания ECR OSA HP Мы ищем data scientists (junior/middle/lead) на Big Data для крупнейших супермаркетов страны (Пятерочка, Ашан, Перекресток и т.п.). Мы предлагаем участие в разработке уникального продукта с использованием технологий Data Mining, Machine Learning, Text и Image recognition и т.д., Нужно будет: • Расширять круг гипотез в процессе анализа поведения потребителей в офф-лайн ритейле (фуд) • Расширять репертуары факторов, доступных для анализа (meta data, open data) • Проектировать и реализовывать алгоритмы предсказания покупательского поведения • Формализовывать функциональные требования к аналитическим отчетам В проекте мы используем Python (Pandas, Numpy, Sklearn, TensorFlow), SQL, Postgres, ClickHouse, Apache Hadoop.

Юлия, вы не указали вилку по зарплате

Все вакансии актуальны, задавайте вопросы, отвечу на всё подробно

Друзья, приветствую! Есть пачка вакансий по Data Science! Читайте, пишите в личку, задавайте вопросы http://telegra.ph/Data-Scientist-i-Team-lead-m-Kuzneckij-most-do-200-tr-i-250-tr-06-02 http://telegra.ph/Data-scientist-m-Kitaj-gorod-do-200-tr-06-02 http://telegra.ph/Data-Scientist--Psiholog-m-Savelovskaya-do-250-tr-06-02 http://telegra.ph/Data-Engineer-m-Kurskaya-do-200-tr-06-02

Всем здравствуйте

Data bootcamp

Проходил кто то ?

Как к2 metis galvanize insight

?

Друзья, группа студентов факультета социологии СПбГУ, проводит большое исследование рейтинга IT работодателей Санкт-Петербурга и Москвы. Пожалуйста, поддержите студентов, пройдя опрос по ссылке http://sgiz.mobi/s3/63243b734400 Опрос состоит только из закрытых вопросов и займет 5 минут. Результаты опроса планируется опубликовать на habrahabr.ru в блоге “Моего круга” и в группе https://vk.com/jugru

Чат прекращается в hh просто. ))

Друзья, группа студентов факультета социологии СПбГУ, проводит большое исследование рейтинга IT работодателей Санкт-Петербурга и Москвы. Пожалуйста, поддержите студентов, пройдя опрос по ссылке http://sgiz.mobi/s3/63243b734400 Опрос состоит только из закрытых вопросов и займет 5 минут. Результаты опроса планируется опубликовать на habrahabr.ru в блоге “Моего круга” и в группе https://vk.com/jugru

gotovo

Кто нибудь может подсказать корпус с большим алфавитом (китайский например, ну или просто весь юникод подряд). 50+ MB хотя бы. Желательно чтобы одним файлом в плеинтексте.

Кто нибудь может подсказать корпус с большим алфавитом (китайский например, ну или просто весь юникод подряд). 50+ MB хотя бы. Желательно чтобы одним файлом в плеинтексте.

http://opus.lingfil.uu.se/ может это подойдет

Guys, а может в этой вселенной есть словарь англо-руccких терминов машинного обучения?

Guys, а может в этой вселенной есть словарь англо-руccких терминов машинного обучения?

не используй русские термины)

Guys, а может в этой вселенной есть словарь англо-руccких терминов машинного обучения?

Мультитран советую. Это не конкретно для машин лернинга, но мне очень помогает

Википедию советую: берёте статью на английском и открываете русский вариант. А вообще да -- горите в аду, кто переводит термины с английского

не используй русские термины)

+++