blob тут значит "мешок с цифрами фиксиованного размера, пригодный для скармливания классификатору"

Он делает грейскейл, вычитает среднее, приводит картинку к конкретному размеру.

*пардон, он не делает грейскейл

Если верить этому блогу - всё, что он делает - вычитает (104,117,123) из R G и B слоёв и потом делит их на 1.0 (второй аргумент)

Ну и скейлит картинку в 244x244, сохраняя при этом три канала

Аа все понял , спасибо огромное за помощь

тоесть он делает из картинки по сути мешок слов да а потом передает их классификатору ?

Не мешок слов. Он просто рескейлит картинку в 244x244, а потом вычитает из каждого слоя 104, 117 и 123 (среднее)

Поскольку это уже не совсем картинка (всё-таки RGB-каналы в нормальной картинке неотрицательны) они называют это блобом.

а рескейлит это в смысле уменьшает изображение ?

Ну, если оно было больше 244x244 - уменьшает. Было меньше - увеличивает.

аа ясно просто не соображу никак по какому алгоритму он определяет что на картинке

Он никак этого пока что не делает. Это подготовка данных.

аа все понял спасибо большое , щас дальше поразбираюсь

Ребят, помощь нужна. Слегка далёк от machineLearning, но вот пришлось начать разбираться для дисера) надо сделать sentimentAnalysis политических новостей, но не могу найти подходящего датасета, если тренировать через дату из твиттера или просто “bucketofwords”, то слишком много ошибочных классификаций, подскажите пожалуйста как обойти эту проблему или где датасет нормальный найти????

Нууу reviews не очень подходит, слишком много ошибок, твиттер тоже

https://gwu-libraries.github.io/sfm-ui/posts/2016-11-30-election-dataset

2016 United States Presidential Election Tweet Ids dataset

На русском - вряд ли такое есть. Возможно - всякие группы нэвэльного или ходорковского такое собирали

Мне как раз на английском надо) только я обрабатываю статьи, а не твиты, они гораздо длиннее, и поэтому на твитах тренировать вроде не очень

Pavel Kashchenko: Добрый вечер. Под скажите пожалуйста, может кому-то встречался датасет содержащий разметку новостных текстов по полярности высказываемого мнения относительно курса того или иного финансового инструмента или курса валюты.

народ, не подскажете, гитхаб лежит, или это у меня проблемы?

Вроде всё работает

внезапно заработало, спасибо

https://lemlist.com/

Всем привет , а может ктонибудь объяснить что делает третий параметр функции cv2.dnn.blobFromImage в описании написано Here we supply the spatial size that the Convolutional Neural Network expects. For most current state-of-the-art neural networks this is either 224×224, 227×227, or 299×299. я понял что это матрица каакято а для чего она нужна ?

Это входной размер матрицы для нейросети

Т е картинка сначала ресайзится (и не только) для правильного входа в нейросеть

эмм а что в нее будет записываться ?

Не понял.

или она потом после того как отресайзиться записывается в эту матрицу ?

blobFromImage возмращает нужную нам матрицу конечно

Потом юзаешь примерно так

net.setInput(blob); Mat detections = net.forward();

да я это понял, но я вот не понимаю ,вы пишете``` Это входной размер матрицы для нейросети ` я не понимаю тоесть что будет хранится в этоматрице, которую мы в третьем параметре передаем ?

напишите сигнатуру функции, я не понял тогда про какой такой третий параметр вы говорите

Я вижу, что третий параметр это просто размер

там только такое cv::dnn::blobFromImage (InputArray image, double scalefactor=1.0, const Size &size=Size(), const Scalar &mean=Scalar(), bool swapRB=true, bool crop=true)

const Size &size=Size()

Это просто размер

аа все понял , походу это тупо размер выходной картинки , щас потестю

хмм странно чем больше я ее размеры задаю тем больше объектор распознается. Я просто вот как тут делаю https://www.pyimagesearch.com/2017/09/11/object-detection-with-deep-learning-and-opencv/

аа кажется понял ,чем больше матрица тем больше туда данных можно вписать и тем больше объектов можно будет распознать, вообщем походу это та часть изображения которая как бы сканируется :)

Это размер до которого будет скейлиться исходный фрейм

ааа все понял, в нем и будут искаться объекты ,хотя надо еще поразбираться конечно

Да в выходной матрице которая поступит на вход сверточной нейросеть будут находиться объекты

Ребят, подскажите кто-нибудь алгоритм извлечения признаков из последовательности, чтобы при этом порядок не был важен. К примеру, [1,2,3] и [1,3,2] — одно и то же.

Ребят, подскажите кто-нибудь алгоритм извлечения признаков из последовательности, чтобы при этом порядок не был важен. К примеру, [1,2,3] и [1,3,2] — одно и то же.

bag of elements?

maybe

это я, если что, подход предложил, а не спрашивал )

я понял, гуглю :)

Кстати, кто-нибудь знает как статьи на arxiv заливают? :D

Какой процессор лучше для задач машинного обучения (до 100 тыс объектов, до 10 тыс признаков)?: Intel Xeon Intel Xeon Phi NVidia Tesla NVidia Kepler И сколько просить ядер? (максимум 128), так чтобы хватило, но не запросить слишком много Нужно заполнить заявку на универский кластер, а я ни в зуб ногой в этом вопросе)

Нвидиа процессоры не делает пока

Нвидиа процессоры не делает пока

в смысле? а Tegra

Это SOC

ERROR: S client not available

В списке выше точно не процессоры

Нвидиа процессоры не делает пока

а GPU это типа не процессор?

в аббревиатурах CPU, GPU, TPU вторые две буквы ни на что не намекают?

а GPU это типа не процессор?

+

Это SOC

и что? процесор в этом СоКе тоже их разработка

По-русски процессором называют CPU

По-русски процессором называют CPU

Я его по русски называю ЦПУ

неграмотно процессором называют CPU. а некоторые люди неграмотно процессором ещё и системный блок называют

так и что теперь, перенимать плохие привычки неграмотных людей?

Речь о заказе мощностей железа. Там Intel Xeon, Intel phi и ускорители nvidia не являются взаимозаменяемыми

Какой процессор лучше для задач машинного обучения (до 100 тыс объектов, до 10 тыс признаков)?: Intel Xeon Intel Xeon Phi NVidia Tesla NVidia Kepler И сколько просить ядер? (максимум 128), так чтобы хватило, но не запросить слишком много Нужно заполнить заявку на универский кластер, а я ни в зуб ногой в этом вопросе)

128 ядер CUDA?

128 ядер CUDA?

Да

не густо

в одной GTX1080ti их 3584

Какой процессор лучше для задач машинного обучения (до 100 тыс объектов, до 10 тыс признаков)?: Intel Xeon Intel Xeon Phi NVidia Tesla NVidia Kepler И сколько просить ядер? (максимум 128), так чтобы хватило, но не запросить слишком много Нужно заполнить заявку на универский кластер, а я ни в зуб ногой в этом вопросе)

Платформу с nvlink

Если именно невидию хочется

( dgx-1 как пример )

Или такой ящик https://www.supermicro.com/products/system/4U/4028/SYS-4028GR-TVRT.cfm

Какой процессор лучше для задач машинного обучения (до 100 тыс объектов, до 10 тыс признаков)?: Intel Xeon Intel Xeon Phi NVidia Tesla NVidia Kepler И сколько просить ядер? (максимум 128), так чтобы хватило, но не запросить слишком много Нужно заполнить заявку на универский кластер, а я ни в зуб ногой в этом вопросе)

Советовал бы NVidia архитектуры Volta дождаться, если терпит

Какой процессор лучше для задач машинного обучения (до 100 тыс объектов, до 10 тыс признаков)?: Intel Xeon Intel Xeon Phi NVidia Tesla NVidia Kepler И сколько просить ядер? (максимум 128), так чтобы хватило, но не запросить слишком много Нужно заполнить заявку на универский кластер, а я ни в зуб ногой в этом вопросе)

Запустить задачу на своей пеке, замерить время, узнать, сколько там флопсов, прикинуть с запасом

Запустить задачу на своей пеке, замерить время, узнать, сколько там флопсов, прикинуть с запасом

зависимость может быть нелинейной

зависимость может быть нелинейной

много что может быть, гфлопсы довольно искусственно меряются, но как первое приближение подойдет

ребят есть возможность при работе с алгоритмом вывести не в виде вероятности принадлежности объекта X к классу Y, а скорее в виде какого-то суммарного количества очков, которое набрал тот или иной объект класса X. Пример абстрактной задачи: Есть 10 футбольных команд и необходимо предсказать какая из этих команд займет 1-ое место в турнире. То что хотелось бы получить - это список команд в таком виде: Команда 1: 250 очков. Команда 2: 190 очков. Команда 3: 100 очков. ... Команда 10: 20 очков

Но это не задача регрессии, потому что -изначально переменная Y содержит 2 класса(Победа/Поражение)

вероятность тоже можно интерпретировать как количество очков. ты не определил что значат очки в твоем случае

как только определишь сразу поймешь как их подсчитать )