Просто именно под Питон написано куча либ, и для ML и для DL и для NLP, в общем говоря почти весь спектр интеллектуального анализа можно проводить.

я не против питона, но мне вот что интересно - в следующем году второй питон перестанет обновляться совсем. а тут с удивлением узнаю что в ds еще и половина на третий не переведена. как так то!?

А так да, если есть желание, то мижно си библиотеки брать и юзать на других языках, только обертку придётся делать для себя или искать, может быть уже есть.

Серьёзно, можно знать только Си и при этом пилить дата сайенс чисто на нём? Или это для супергероев?

Писать на Си, в принципе, в известном смысле сложнее.

Привет всем, что-т не вникаю, почему питон так востребован в ml? просто сам плюсник, можно же все так же сделать, а на питоне не хочу писать

Потому что язык общего назначения, на котором много кто пишет помимо ML. Потом народ массово переметнулся в эту сферу и потащил за собой язык

Хмм в дополднение ко вчерашенему вопросу

Я делал вот по такому примеру https://www.asozykin.ru/deep_learning/2018/01/06/how-to-prepare-image-dataset-for-keras там типо сеть обучалась различать собак и кошек. В моем случае мне нужно на картинках находить три разных типа объектов и считать их количество на каждой картинке. Поэтому я сделал генератор этих трех типов объектов и создал их по 15000 объектов и по 5000 для каждого класса объектов для валидации. Создал три папки с названиями классов туда перекинул все эти файлы. Натравил на них керас. но получается слишком большая ошибка. Как уменьшить ошибку ? Как подготовить набор изображений для обучения нейронной сети в Keras Ранее в курсе “Программирование глубоких нейронных сетей на Python” мы работали только с наборами данных, в

скажите а опции компилятора например поставить другой оптимизатор влияют на ошибку?

Серьёзно, можно знать только Си и при этом пилить дата сайенс чисто на нём? Или это для супергероев?

Это для рисковых менеджеров. Если с тобой что-то случится то найти другого питониста будет сильно проще чем сишника.

Хмм в дополднение ко вчерашенему вопросу

Ты уже третий месяц спамишь вариациями на тему одного и того же вопроса, ответы при этом игнорируешь. С какой целью?

Ты уже третий месяц спамишь вариациями на тему одного и того же вопроса, ответы при этом игнорируешь. С какой целью?

Наверное пиар ?

Ты уже третий месяц спамишь вариациями на тему одного и того же вопроса, ответы при этом игнорируешь. С какой целью?

Я их не игнорирую. Эмм извините, какие ответы я проигнорировал?

Три месяца назад я спрашивал где взять образцы для обучения

В итоге я написал генератор который их сам все генерит :) Тут вопрос уже совершенно по другим вещам :)

оказалось, что обучить по сгенерированному этим генератором невозможно?

почему ? Мне кажется что я все правильно сделал. Картики которые мой генератор делает встречаются в тех изображениях в которых нужно их искать , вроде все правильно :)

я по тому же примеру кошек и собак пару недель назад сделал свой пример, у меня там было 5 классов изображений. Поменял пару строк кода, заняло минимум времени, при том, что с keras и tf до этого не работал. Как так-то у тебя не получилось)

я по тому же примеру кошек и собак пару недель назад сделал свой пример, у меня там было 5 классов изображений. Поменял пару строк кода, заняло минимум времени, при том, что с keras и tf до этого не работал. Как так-то у тебя не получилось)

О а скажи что ты там менял ?

Подборка ресурсов по машинному обучению https://github.com/demidovakatya/vvedenie-mashinnoe-obuchenie

Народец, подскажите Есть нейронка, обученная на неком датасете. Потом датасет расширился. Лучше дообучать нейронку на нем с существующими весами, или с нуля?

Или один хрен, разница только в скорости?

Подскажите, есть какие то методы борьбы с "неудачными" начальными весами?

Народец, подскажите Есть нейронка, обученная на неком датасете. Потом датасет расширился. Лучше дообучать нейронку на нем с существующими весами, или с нуля?

я думаю что с уже готовыми весами лучше потому что сеть же получается на основной массе дданных обучена и твои данные я думаю будут на подобии тех где на которых система уже обучена. Хотя я еще плохо в этом разбираюсь, но вроде если логически подумать то так. Хотя если у тебя после результата получится "переобучение", то тогда уже пробуй с нуля :)

Я тож так подумал, но мало ли чего я не понимаю на самом деле

Ребят, всех приветствую Кто-нибудь занимался выявлением ботов в вк??

Ребят, всех приветствую Кто-нибудь занимался выявлением ботов в вк??

Выявлением?

ВК занимается

Ок, задам по другому вопрос Как по странице в вк дать ответ - бот или не бот?

в зависимости от того, как сделан бот

Если это выкупленный взломанный акк - то шансов мало

Лучше всего почекать даты заливок фото, постов и тд - бот все фотки льет скопом и сразу, живые люди апдейтят по времени

Но это так, предположения на шару

можно ещё по соотношению кол-ва подписчиков и просмотренных постов смотреть. Ботов почти никто не читает, а "друзей" может быть много

взломанный и выкупленный давно ничего не добавлял в фото и, обычно, активно делает репосты.

Вот это дельные предложения

Спасибо ребят

и ещё я обычно пользуюсь images.yandex.ru для поиска похожих фото. если таких фото много в яндексе на сайте вк, скорей всего бот.

Подскажите, есть какие то методы борьбы с "неудачными" начальными весами?

если функция застревает в локальном минимуме, может помочь переход в пространство с большей размерностью (stack more layers.jpg) и сглаживание с помощью регуляризации

если функция застревает в локальном минимуме, может помочь переход в пространство с большей размерностью (stack more layers.jpg) и сглаживание с помощью регуляризации

Я тут подумал... В большой сети вероятность неудачных весов отдельных нейронов возрастает. Их можно отличить по четкому признаку: Если клетка для всего обучающего сета выдает приблизительно один ответ, то она не вносит вклад в результат. Если задача уже решается, то эта клетка не нужна, ее можно убрать из архитектуры (оптимизировать сеть), если сеть еще учится, то можно обновить веса клетки новыми случайными (мутация). Как найти нужные клетки: выходы клеток всегда хранятся, используются как входы для следующего слоя и при backpropagation. Перед обновлением выхода можно в параметр статистики добавлять дельту последнего значения и нового. Периодически проверять какие клетки имеют самое низкое значение накопленной статистики. И например 1% клеток с самым низким значением заставлять мутировать, можно с некоторым порогом.

Я тут подумал... В большой сети вероятность неудачных весов отдельных нейронов возрастает. Их можно отличить по четкому признаку: Если клетка для всего обучающего сета выдает приблизительно один ответ, то она не вносит вклад в результат. Если задача уже решается, то эта клетка не нужна, ее можно убрать из архитектуры (оптимизировать сеть), если сеть еще учится, то можно обновить веса клетки новыми случайными (мутация). Как найти нужные клетки: выходы клеток всегда хранятся, используются как входы для следующего слоя и при backpropagation. Перед обновлением выхода можно в параметр статистики добавлять дельту последнего значения и нового. Периодически проверять какие клетки имеют самое низкое значение накопленной статистики. И например 1% клеток с самым низким значением заставлять мутировать, можно с некоторым порогом.

поздравляю, вы изобрели pruning

поздравляю, вы изобрели pruning

Черт, хорошо, что есть такой чат где подскажут что это уже придумали )

> Если клетка для всего обучающего сета выдает приблизительно один ответ, то она не вносит вклад в результат. с чего вдруг? Допустим у нас есть нейросеть вида y=k*x+b с параметрами k и b и модельные данные это k=1000000. Ответ очень быстро будет один и тот же, но весомый вклад в результат вноситься будет

прунинг - это не о том

> Если клетка для всего обучающего сета выдает приблизительно один ответ, то она не вносит вклад в результат. с чего вдруг? Допустим у нас есть нейросеть вида y=k*x+b с параметрами k и b и модельные данные это k=1000000. Ответ очень быстро будет один и тот же, но весомый вклад в результат вноситься будет

x = вход, y = выход, k и b = веса сети, которые она должна найти?

я думаю что с уже готовыми весами лучше потому что сеть же получается на основной массе дданных обучена и твои данные я думаю будут на подобии тех где на которых система уже обучена. Хотя я еще плохо в этом разбираюсь, но вроде если логически подумать то так. Хотя если у тебя после результата получится "переобучение", то тогда уже пробуй с нуля :)

Если я ошибаюсь - закидайте камнями, но всегда думал что бэкпроп разрушит обученные веса

ERROR: S client not available

x = вход, y = выход, k и b = веса сети, которые она должна найти?

да. А моделируем мы это допустим y_train = 100000 + (1:10000)*(b + шум). Из-за того, что k не зашумлен и велик, он найдется быстро, но при этом будет очень важен для модели

прунинг - это не о том

как раз об этом, убирать не влияющие нейроны

>В большой сети вероятность неудачных весов отдельных нейронов возрастает но при этом сам по себе вклад каждого нейрона меньше, и это друг друга компенсирует. В большой сети есть другое преимущество, размерность пространства больше, а значит меньше вероятность застрять в локальном минимуме - вероятность того, что в каком-то другом измерении вторая производная не равна нулю выше, чем больше размерность

как раз об этом, убирать не влияющие нейроны

Я предлагаю не только убирать. Когда сеть выполняет задачу невлияющие нейроны только тратят время/энергию, а во время обучения их можно подтолкнуть в новом направлении

>В большой сети вероятность неудачных весов отдельных нейронов возрастает но при этом сам по себе вклад каждого нейрона меньше, и это друг друга компенсирует. В большой сети есть другое преимущество, размерность пространства больше, а значит меньше вероятность застрять в локальном минимуме - вероятность того, что в каком-то другом измерении вторая производная не равна нулю выше, чем больше размерность

избыточно большая сеть способна запоминать обучающий сет

избыточно большая сеть способна запоминать обучающий сет

поэтому нужна регуляризация

>Если клетка для всего обучающего сета выдает приблизительно один ответ, то она не вносит вклад в результат если используется оптимизатор типа adam или adagrad, то такого не будет - при одних и тех же ответах learning rate конкретно для этого параметра возрастет

>Если клетка для всего обучающего сета выдает приблизительно один ответ, то она не вносит вклад в результат если используется оптимизатор типа adam или adagrad, то такого не будет - при одних и тех же ответах learning rate конкретно для этого параметра возрастет

Почти тоже самое, спасибо за инфо.

Парни, вот клиентский код: string lang = detectLanguage(text); нужна штука, которая определяет язык программирования. Как это сделать?

взять все парсеры всех нужных языков и прогнать текст через них

правда это может оказаться кусок текста из лбого тюринг-полного языка

Смотри, есть гитхаб, там куча кода. Может как-то можно обучить на нём?

гитхаб и так умеет определять язык

гитхаб и так умеет определять язык

Теперь, мне надо

можно залить на гитхаб текст и посмотреть, какой язык у него получился. machine learning тут никаким боком. большинство языков не сложнее CFG

гитхаб и так умеет определять язык

гитхаб просто по расширению файла ориентируется, в код он вряд ли заглядывает

Гитхаб использует https://github.com/github/linguist

А можно обучить лтсмочки на разных прогах и классифицировать)))00

Преобразовать в байты и сопостпвить с таблицпми символов

Всем привет :)Скажите я вот убунту поставил на терминалку, может ли изза этого не видится видеокарта geforce 210 ? Я ее хочу использовать для CUDA ? Theano же потянет ?

Понял изза чего не видится оказывается нужно еще делать было проброс железа для виртуалки :)) Эмм если вдруг кто с таким сталкивался у тиано есть ли какие либо требования к версии cuda моя видюха допотопная но cuda 5 она потянет. Вот в связи сэ тим и возник такой вопрос

Понял изза чего не видится оказывается нужно еще делать было проброс железа для виртуалки :)) Эмм если вдруг кто с таким сталкивался у тиано есть ли какие либо требования к версии cuda моя видюха допотопная но cuda 5 она потянет. Вот в связи сэ тим и возник такой вопрос

возможно какую-то древнюю версию соберешь но это некрофилия