зацените мою новую статью)

NICE: Noise Injection and Clamping Estimation for Neural Network Quantization https://arxiv.org/abs/1810.00162

Если пройти по ссылке «this https URL» в статье, то будет лишняя точка в конце и 404 ошибка

Если пройти по ссылке «this https URL» в статье, то будет лишняя точка в конце и 404 ошибка

да, я знаю, сегодня исправлю, спасибо

зацените мою новую статью)

Поздравляю, Хаимевгенийавиалександр ;)

Weights are quantized to 4 bits, activations to 8 bits, and biases and the input image to 16 bits. The resource utilization is amounted to 222K LUTs, 650 DSP Blocks and 35.3 Mb of on-chip RAM. With the maximum clock frequency of 240MHz, the processing of a single image takes 250ms. In terms of power, the FPGA requires 30W while an NVIDIA Titan X GPU requires 160W .

мне вот не очень понятно утверждение «In terms of power, the FPGA requires 30W while an NVIDIA Titan X GPU requires 160W»

я или пропустил, или нет сравнения скорости обработки на титане

на мой взгляд более показательным было бы сравнить скорость и суммарное энегопотребление при обработке какого-то датасета

берём 1000 тестовых изображений, делаем измерительную станцию для контроля энергоптребления, запускаем обработку, фиксируем суммарное потребление за время обработки

Добрый вечер, господа дата-сайнтисты. Сам в ML - 0, поэтому спрашиваю у вас совета. Допустим у нас есть данные, о том что Вася слушает какой-то список групп, Петя слушает какой-то другой список групп, и так далее. Чем более схожие вкусы у двух людей, тем более похож их список. Вопрос, как мы можем получить распределение групп по жанрам? Ведь если какой-то группе людей нравится примерно похожий список групп, то эти группы, вероятно, из одного жанра. Решения этой задачи не прошу, прошу только подсказать в какую сторону копать

>Ведь если какой-то группе людей нравится примерно похожий список групп, то эти группы, вероятно, из одного жанра Вот тут не уверен. И как вы распределение по жанрам без информации о связи жанров с группами получите?

Гхм

Добрый вечер, господа дата-сайнтисты. Сам в ML - 0, поэтому спрашиваю у вас совета. Допустим у нас есть данные, о том что Вася слушает какой-то список групп, Петя слушает какой-то другой список групп, и так далее. Чем более схожие вкусы у двух людей, тем более похож их список. Вопрос, как мы можем получить распределение групп по жанрам? Ведь если какой-то группе людей нравится примерно похожий список групп, то эти группы, вероятно, из одного жанра. Решения этой задачи не прошу, прошу только подсказать в какую сторону копать

Тэгирование спасёт. Только оно должно быть достаточно глубоким. И да, это охренеть какая сложная работа :)

Условно говоря нужно вручную каждой композиции дать тэги. А вот дальше сопоставление этих тэгов и даст результаты. Этим занимаются все без исключения рекомендательные сервисы.

Яндекс музыка, спотифай, гугл музыка, apple music, и так далее

У каждого - свой набор тэгов. Не знаю точно как, но например у Spotify количество тэгов для одной композиции МОЖЕТ БЫТЬ БОЛЕЕ 500 !!!

Условно говоря нужно вручную каждой композиции дать тэги. А вот дальше сопоставление этих тэгов и даст результаты. Этим занимаются все без исключения рекомендательные сервисы.

походу подобная база данных самая дорогая интеллектуальная собственность

Но там учитываются вообще все возможные варианты. Типа: медленная, пианино, вокал, первый куплет без вступления, гитара, тихие барабаны, 100 bpm, и так далее. И таких характеристик - десятки и даже сотни

походу подобная база данных самая дорогая интеллектуальная собственность

Я предполагаю что эта база и есть основной актив Spotify :)

угу

Я б такой базой не делился даже за большие деньги

я тоже :)

Самому только если создавать. Но вообще тэгирование это крутая тема. А ещё более крутая, это нейронное автоматическое тегирование :)

вообще самая гениальное - это заставлять такую базу людей заполнять бесплатно

Вот например Гугль....))

Но это настолько высший пилотаж, что... Впрочем, это ещё никто не реализовал. Даже Shazam пока до такого не дошёл. Анализировать музыку чтобы автоматически протегировать - пока ещё никому не удавалось

Но там учитываются вообще все возможные варианты. Типа: медленная, пианино, вокал, первый куплет без вступления, гитара, тихие барабаны, 100 bpm, и так далее. И таких характеристик - десятки и даже сотни

Как такие базы собираются вообще? Все вручную?

я щас намекаю на Капчу

вообще самая гениальное - это заставлять такую базу людей заполнять бесплатно

Ты не поверишь, но некоторые готовы платить за то, чтобы тэгировать музыку :) Тот же спотифай, например - подписчики платят, и сами отправляют характеристики тоннами

А, все Уже есть ответ) Блин, вот это больше

Как такие базы собираются вообще? Все вручную?

Да. Всё вручную

Ты не поверишь, но некоторые готовы платить за то, чтобы тэгировать музыку :) Тот же спотифай, например - подписчики платят, и сами отправляют характеристики тоннами

я не то что поверю, я точно знаю, что платят

Частично из открытых источников

Рекомендательный сервис === тэги

Понятно, очень сложно. Но по сути если сравнить слушателей двух групп, если схожесть будет большая, то вероятно группы похожи, и наоборот, так ведь?

Личные предпочтения всегда можно переписать характеристиками, и сделать подбор по ним

на самом деле эта история началась относительно давно, психологи платили респондентам за участие во всяких опросах. В некотором смысле это то же самое, и этому уже многие десятилетия.

Понятно, очень сложно. Но по сути если сравнить слушателей двух групп, если схожесть будет большая, то вероятно группы похожи, и наоборот, так ведь?

Вовсе нет. Они могут быть близки, только если совпадут, например 300 из 500 тэгов. Тогда да

Понятно, очень сложно. Но по сути если сравнить слушателей двух групп, если схожесть будет большая, то вероятно группы похожи, и наоборот, так ведь?

Вероятно очень много степеней свободы у этой конструкции, поэтому нужно много факторов, а раз много факторов (тем более в шуме) то нужно много данных.

Общественное мнение до сих пор собирают. Некоторые даже не гнушаются делать "холодные обзвоны" с опросами

Суть такова: если есть две группы, то они могут быть похожи, а могут и не быть. Нужно декомпозировать характеристики (тэги) и прописать в каждую из композиций. И если эти характеристики совпадут - значит и группы одинаковые. НО... характеристик должно быть реально очень много. Вплоть до самых малозначимых мелочей. Потому что для нас, человеков, мелочи - пшик, и мы ими часто пренебрегаем. А вот для компьютера важна каждая деталь.

Я сторонник того, что добыча данных, не из данных, а из "реальности" - ключевое во всей этой возне с данными. В конце концов возню заменит AutoML )))) А вот данные нужно собирать

В обозримом будущем, когда машины поработят человеков (СР! УВЧ!) - нас оставят работать на фермах для сбора данных. Мы будем их собирать, и решать капчи. А машины - главенствовать

Собственно, так уже и есть... Если задуматься

Идёш такой по улице, ... пёрнул, и бац сразу в наушниках реклама таблеток от вздутия живота:)

Микрофоны и распознование звуков!

А если так, допустим есть группа A, B и С, и у каждой какое-то количество слушателей. И допустим 20% слушателей группы A слушают также группу B, а группу C слушает ну например 5%. Из этого ведь можно сделать вывод о том что группы A и B более похожи. Мне нужно не сами группы сравнивать, а их слушателей

????

То есть мне не нужно знать насколько похожа их музыка, как в случае с вышеупомянутом тэгированием

А если так, допустим есть группа A, B и С, и у каждой какое-то количество слушателей. И допустим 20% слушателей группы A слушают также группу B, а группу C слушает ну например 5%. Из этого ведь можно сделать вывод о том что группы A и B более похожи. Мне нужно не сами группы сравнивать, а их слушателей

Странный вывод. Похожи чем? Какой характеристикой?

У меня есть такая теория, что скоро все будут носить бороды или маски (ну которые от гриппа и тп). ну я кажется рассказывал. Но повторюсь. Почему? Потому что заипут лицо рапознавать уличных камеры. К любовнице не зайдёшь, косо на портрет "нацлидера" не взглянешь и тп А если у всех будет одинаковая по форме борода - вот тут то алго будет тяжело. Ну и в таком роде ... то есть все в будущем будут одеваться-выглядеть абсолютно одинаково.

Тем что их слушают те же люди? Ну так себе...

да, так

знаю что точность будет низкой, но пойдет и так

Тут есть какие-нибудь способы? Я в принципе могу перебрать каждую пару и получить этот процент без ML, но кажется это будет ужасно долго и неэффективно

А есть какие-то материалы с практикой сразу по всяким numpy, matplotlib, pandas, scikit-learn и тд. Самому себе задачи придумывать конечно прикольно, но не то Мб книги какие-то или сайты, посвящённые ds(кроме kaggle)

Привет, Ivan, не знаю - можно-ли кидать ссылки на udemy. недавно проходил курс - здорово помог разобраться в тех технологиях что ты спрашиваешь

https://www.udemy.com/python-for-data-science-and-machine-learning-bootcamp/learn/v4/t/lecture/5733360?start=0

https://www.udemy.com/python-for-data-science-and-machine-learning-bootcamp/learn/v4/t/lecture/5733360?start=0

кто же эти люди, что покупают онлайн курсы за 195 евриков

Ну считай что это 195 руб. Или даже 1950 руб. При зп 70к не так уж и дорого

у меня этот курс стоит 12$ сейчас, я покупал за 9$

https://www.udemy.com/python-for-data-science-and-machine-learning-bootcamp/learn/v4/t/lecture/5733360?start=0

И как вам курс?

На удеми курсы классные, но надо покупать их только при распродаже по 10 долл, распродажи там раз в месяц минимум

кто же эти люди, что покупают онлайн курсы за 195 евриков

Секрет udemy в том, что периодически они устраивают распродажи в 10% от изначальной стоимости. На всякие общеизвестные даты.

Курс мне понравился очень + совпало что я на работе стал применять, однозначно я очень доволен

там и теория и сразу практика с подготовленными данными

Я как то на $100 накупил столько ... что до сих пор непросмотрю. Ещё и себя поругиваю - нафига оно мне надо. Но как то наткнулся на распродажу и как то льстило что за $100 покупаешь курсов на $1000.

Ну и есть вот такие штуки, кому хочется бюджетно - https://skladchik.com , там чтотолько не шарят по ценнику... помоёму только нетфликс не скачали и\или не расшарили.

Ну и есть вот такие штуки, кому хочется бюджетно - https://skladchik.com , там чтотолько не шарят по ценнику... помоёму только нетфликс не скачали и\или не расшарили.

?

На udemy почти всегда распродажи, и курсы можно получить либо вообще бесплатно, либо за $5-10

А лучше вообще с торента скачать!

А лучше вообще с торента скачать!

Мы против пиратства

Мы против пиратства

Извините. Бедным студентам тут не место, я понял.

Извините. Бедным студентам тут не место, я понял.

Нет. Я и сам за свободу информации. Но пиратство это реально плохо. Даже если ты нищий.