видел ли кто-нибудь сводную таблицу с актуальными либами для ML на питоне с описанием их областей приложения, плюсов, минусов и прочих особенностей?

видел таблицу только тех либов которые юзаются в академе и часто с минусами и плюсами

Но не помню где?

Если не ошибаюсь самые часто используемые - theano, tf, caffe были

Ну это так)

видел ли кто-нибудь сводную таблицу с актуальными либами для ML на питоне с описанием их областей приложения, плюсов, минусов и прочих особенностей?

pytorch и tf

pytorch и tf

2 фреймворка? и к чему это?

2 фреймворка? и к чему это?

ну вот и все актуальные)

ну вот и все актуальные)

а в каком из них есть из коробки topic modelling? Не нашел

gensim

gensim

и bigartm, да. Только Евгений сказал, что актуальных всего 2.

обновлен список, добавлена лекция Н.Ю. Золотых "Как обучаются машины?" https://ru.stackoverflow.com/a/683632/1084

может быть, в ответ стоит добавить хотя бы какой-то список существующих фреймворков для ML на питоне?

например, https://github.com/josephmisiti/awesome-machine-learning#python

подскажите плиз! считаю сеть. на компе 24 ядра ксеоны. оасчет за 69 секунд. если подключаю куду (кватра 4000 с 256 ядер) расчет за 49 секунд. так и должно быть или можно еще что то выжать из системы?

а что это за время? что в него входит? форвард + беквард пас?

сеть только форвард. 8 инпутов, 3 класса (классификаци). уровень один - 9 нейронов

просто я думаю, если начать накручивать уровни - будет совсем долго...

30к сэмплов

подскажите плиз! считаю сеть. на компе 24 ядра ксеоны. оасчет за 69 секунд. если подключаю куду (кватра 4000 с 256 ядер) расчет за 49 секунд. так и должно быть или можно еще что то выжать из системы?

загруженность ядер GPU какая? batch size может увеличить?

блин... я нуб. как посмотреть? на убунте все крутится

это одна итерация считается 49 секунд? это както очень странно для одного слоя с 9-ю нейронами

htop открой и там видно загруженность cpu

вроде итераций под 300 шт.

считаю вот этим: OpenNN

если считаю на CPU, загрузка 90%

почему-то не все 24 ядра грузит, а только 21-22

а какой размер батча?

мммм. вот с этим пробелма. это настройку в библиотеке нужно искать?

или можно какой-то утилитой посмотреть?

незнаю, не юзал твою либу, загруженность гпу можно глянуть в nvidia-smi

хм... $ nvidia-smi NVIDIA-SMI has failed because it couldn't communicate with the NVIDIA driver. Make sure that the latest NVIDIA driver is installed and running.

придется сначала машину почистить (((

пишут, You seem to have a mix of driver components from several different drivers. This is a broken config. Follow the steps in the cuda linux install guide to remove every last scrap of NVIDIA software from your machine: http://docs.nvidia.com/cuda/cuda-installation-guide-linux/index.html#handle-uninstallation then stop, and read the above linked guide in its entirety. Then pick either the runfile install method, or the package manager install method, and follow the instructio

наверное что-то установлено через apt-get, а что-то через запуск скрипта

то есть нужно сделать apt-get remove nvidia* и дальше поставить все скриптами с сайта нвидии

впрочем по ссылке это и сказано :D

Берите мейнстримовые библиотеки и классические архитектуры для тестов. Иначе не понять

мейнстрим весь на пайтоне к сожалению

Да ладно! Tensorflow, mxnet - c++

мейнстрим весь на пайтоне к сожалению

Глупости какие

Еще задолго до пайтона мейнстрим был и есть на сях

сейчас работаю на OpenNN. Посоветуйте на что перейти

Только в 2013 на одной из конф наших (вроде Piter Py) выступал годный докладчик про ML на пайтоне в Беларуси с кудой. Так вот они очень сильно ругалися на производительность, и им приходилось в узких местах переписывать код на Си. "Так в итоге скоро всё на Си перепишем" с улыбкой на лице он завершил доклад.

(имел в виду плюсы, конечно)

ну я как бы и не сомневался, что пайтон - это не совсем то, что нужно для нагруженных вычислений...

просто только пару дней назад начал с нейросетями разбираться, а в активном использовании сейчас только С

все части проекта на нем

поэтому и искал что-то С-образное....

наткнулся на OpenNN. его вроде мне хватает, вопрос именно настройки железки

я не против пайтона, если что... просто не хочу переключаться... вспоминать и все-такое

разве tensor Flow не на питоне?

на нем. но там байндиги есть какие-то

О, раз тут люди есть спрошу - а для того чтоб работал бекпроп loss function обязательно должна быть дифференцируемой?

adjust the weight of neurons by calculating the gradient of the loss function.

Да, градиент нужен

Но это программирование, тут и на ноль делить можно

О, раз тут люди есть спрошу - а для того чтоб работал бекпроп loss function обязательно должна быть дифференцируемой?

ну вот relu не во всех точках дифференцируема

юзают же)

А если у меня в loss function вызов vgg например, это фреймворк продифференцирует эту самую Vgg по всем ее переменным, или не продифференцирует вообще? ?

А если у меня в loss function вызов vgg например, это фреймворк продифференцирует эту самую Vgg по всем ее переменным, или не продифференцирует вообще? ?

именно, это и называется backpropagation http://cs231n.github.io/optimization-2/

а какой размер батча?

stas@ubuntu-Stas:~$ nvidia-smi Tue Jan 9 21:09:37 2018 +-----------------------------------------------------------------------------+ | NVIDIA-SMI 387.26 Driver Version: 387.26 | |-------------------------------+----------------------+----------------------+ | GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC | | Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. | |===============================+======================+======================| | 0 Quadro 4000 Off | 00000000:0F:00.0 Off | N/A | | 40% 58C P0 N/A / N/A | 118MiB / 1983MiB | 0% Default | +-------------------------------+----------------------+----------------------+ +-----------------------------------------------------------------------------+ | Processes: GPU Memory | | GPU PID Type Process name Usage | |=============================================================================| | 0 10036 C ./nn 37MiB | +-----------------------------------------------------------------------------+

ERROR: S client not available

очень странно.... GPU-util 0%...

ниче не понимаю.... nvidia-smi показывает расход памяти карты, но GPU 0!! где грабли?

Народ, у меня такой вопрос, если ли вероятность делать GPU training на простом лаптоп? Acer aspire 5750. Nvidia geforce 650, CUDA available? Поставив туда ubuntu 14.04???

прям мою задачу решаешь )))

у меня Asus Zen с такой же картой

только убунат 16.04 наверно лучше, не?

только убунат 16.04 наверно лучше, не?

ну я олдскульный просто)

он быстрее работает у меня просто

наверно пофиг какой LTS

ну это мб да

наверно пофиг какой LTS

Ты сделал?)

у меня вот примерно такой результат полчился прям вчера на ноуте: 30k сэмплов, сеть в один уровень для классификации из 8 инпутов в 3 класса. 9 нейронов. соответственно, только форвард. считала 2.5 минуты

вот на этом: OpenNN

куда 7.5 из репозитория убунты

уу

ну норм по идее

но вот сейчас прикрутил на сервер куду 9.1 и что-то как-то не очень.... может железка старовата... квадра 4000

но вообще, на ноуте считать - это, наверно, зло... долго это....

но вообще, на ноуте считать - это, наверно, зло... долго это....

ну, денег нету просто, и придется обойтись тем что есть?.

понимаю и сочувствую

а кто-нибудь на амазоновских инстансах пробовал считать?

а кто-нибудь на амазоновских инстансах пробовал считать?

+1. тот же вопрос

я считал. невыгодно

я считал. невыгодно

А к google cloud?

можешь подробнее?

я считал. невыгодно

можешь подробнее?

могу

вот тут есть бенчмарки http://timdettmers.com/2017/04/09/which-gpu-for-deep-learning/

https://i2.wp.com/timdettmers.com/wp-content/uploads/2017/03/performance.jpg?w=1417