Плохо что для WaveNet нет описания архитектуры в публикации, только общее.

разве?

Там написано что она основана на PixelCNN. Открываешь PixelCNN там тоже нет схемы, только блок.

Тык вроде реплики есть у обоих сеток на гитхабах

Да, действительно есть.

Невнимательно посмотрел, даже в публикации есть схема.

Всем привет! А кто-нибудь знает какие- нибудь статьи или архитектуры сверточных сетей для анализа ЭЭГ? Хочется понять откуда копать

Гугли BrainDecode

Спасибо! А никто тут практически этим не занимался?

Я архитектуры из статьи про BrainDecode раскурил, но повторить результаты пока не осилил. Там подготовка данных сложная, и не все данные доступны. Но если что - спрашивай

Теорию на эту тему я знаю , и про фулконв сети тоже Меня скорее интересует практическая реализация, то как это работает в готовых проектах. Но спасибо

Вот еще http://machinethink.net/blog/compressing-deep-neural-nets/

Я архитектуры из статьи про BrainDecode раскурил, но повторить результаты пока не осилил. Там подготовка данных сложная, и не все данные доступны. Но если что - спрашивай

Спасибо, непременно расспрошу)

Статья называется Deep learning with convolutional neural networks for EEG decoding and visualization

https://youtu.be/T0zfD8Kf2CI

Фантасмагория: готовая архитектура из статьи, на которую даже референса нет в презентации + "придуманный хак" с усреднением предсказаний на разных эпохах, который используется уже давным-давно + чужие мощные видяхи, которых у 99% машин лёрнеров нету = PROFIT!

Фантасмагория: готовая архитектура из статьи, на которую даже референса нет в презентации + "придуманный хак" с усреднением предсказаний на разных эпохах, который используется уже давным-давно + чужие мощные видяхи, которых у 99% машин лёрнеров нету = PROFIT!

Автор студент третьего что ли курса

Если его на 3 курсе не научат элементарной научной этике, то что будет на 5 и 6?

пока что всё как у всех — в среднем, половина статей в науке невоспроизводима.

Это да, но тут речь всего лишь о том, чтобы не называть копипаст "своим решением'

Если его на 3 курсе не научат элементарной научной этике, то что будет на 5 и 6?

Имхо, ты слишком придирчив. Вспомни себя на третьем курсе. Чувак не пишет статью в рецензируемый журнал, он просто выиграл yet another hackathon

как я понимаю, реализация у него своя, а авторство идеи не доказать.

А вот я посмотрю статью "каких-то китайцев" и скажу, сколько оттуда позаимствовано. Себя на 3 курсе помню - я учился, делал "мокрую" биологию в лабе, и там скопипастить ничего нельзя было

Если его на 3 курсе не научат элементарной научной этике, то что будет на 5 и 6?

вылетит)

А вот я посмотрю статью "каких-то китайцев" и скажу, сколько оттуда позаимствовано. Себя на 3 курсе помню - я учился, делал "мокрую" биологию в лабе, и там скопипастить ничего нельзя было

В мире очень много зла, всюду нужны такие пламенные борцы с ним )))

вылетит)

да нет вроде. работает чувак

Я таки не смог найти статью "каких-то китайцев", кто знает эту статью - прошу поделиться. Зато нашел Zhichuan Tang Single-trial EEG classification of motor imagery using deep convolutional neural networks Там отдельные свертки в пространстве и во времени используются

люди, как правильно либгеном пользоваться? там поиск только по одному слову или как его заставить искать не подстроку, а все слова? вот кстати книги оттуда по нашей теме: http://libgen.io/search.php?&req=topicid81&phrase=1&view=simple&column=topic&sort=year&sortmode=DESC

Всем привет. Такой вопрос. Сильно ли можно повысить скорость обучения, если прикрутить вторую видеокарту через crossfire? (Пусть будет две 1060ых карточки) Придется ли все вручную параллелить или есть способы, которые это делают автоматически?

Всем привет. Такой вопрос. Сильно ли можно повысить скорость обучения, если прикрутить вторую видеокарту через crossfire? (Пусть будет две 1060ых карточки) Придется ли все вручную параллелить или есть способы, которые это делают автоматически?

Руками все, но это сейчас стало совсем несложно. Смысл (почти) всегда есть. Только 1060 — это SLI, а не CF :)

Всем привет. Такой вопрос. Сильно ли можно повысить скорость обучения, если прикрутить вторую видеокарту через crossfire? (Пусть будет две 1060ых карточки) Придется ли все вручную параллелить или есть способы, которые это делают автоматически?

Нету. все руками. Кто-то даже статьи на эту тему пишет на arxiv

А эффект стоит того? Сильно ли вообще повышается в среднем скорость?

ну если ты прям large-scale эксперименты делаешь. Ну например VGG Image Net на 6-8 картах тренируют

Руками все, но это сейчас стало совсем несложно. Смысл (почти) всегда есть. Только 1060 — это SLI, а не CF :)

а что можно сделать кроме раскидывания батчей по видюхам и усреднения градиентов в общем случае?

А эффект стоит того? Сильно ли вообще повышается в среднем скорость?

Ну то есть не будет такого, что воткнул две видео карты и стало в 1.5-2 раза быстрее работать само по себе

а что можно сделать кроме раскидывания батчей по видюхам и усреднения градиентов в общем случае?

Ничего

Надо посмотреть как параллелить такие вещи. Последний раз с таким работал в OpenMP/MPI. Спасибо за помощь.

Ответили уже

Да, я в теории понял, спасибо. Осталось практически понять)

именно как в тензор флоу например это делать

Удачи ;)

Squeeze-and-Excitation Networks - ILSVRC 2017 winner https://arxiv.org/abs/1709.01507

именно как в тензор флоу например это делать

есть пример же в доках

А нужен ли SLI?

А нужен ли SLI?

Ты намекаешь не купить ли вместо двух одну но мощную?

Всем привет. Такой вопрос. Сильно ли можно повысить скорость обучения, если прикрутить вторую видеокарту через crossfire? (Пусть будет две 1060ых карточки) Придется ли все вручную параллелить или есть способы, которые это делают автоматически?

Может и можно, но сильно зависит от задачи. Из пакетов, которые круто параллелят -- MXnet, CNTK.

А с tensorflow вполне может быть и так, что от смены пакета на другой скорость уже в 1.5 раза повысится) опять же, зависит от задачи

SLI сильного прироста не даст. Он для обмена данных между картами, в DL обмен данными не узкое место. Т.е. что со SLI, что без скорость примерно та же будет. Кроме батчей глубокие рекуррентные сетки тоже хорошо параллелятся.

И, кстати, 1060 sli не имеет.

SLI сильного прироста не даст. Он для обмена данных между картами, в DL обмен данными не узкое место. Т.е. что со SLI, что без скорость примерно та же будет. Кроме батчей глубокие рекуррентные сетки тоже хорошо параллелятся.

Точнее, это редко узкое место. Для больших изображений вполне может быть узким местом.

Ты намекаешь не купить ли вместо двух одну но мощную?

Я про то, о чем уже Фёдор написал :)

Вроде ж больше 2 в SLI все равно не загонишь, а народ собирает сетапы по 4...

Squeeze-and-Excitation Networks - ILSVRC 2017 winner https://arxiv.org/abs/1709.01507

А никто не считал сколько флопсов новая сетка просит? Насколько больше/меньше VGG-16?

А вообще для cuda sli разве дает прирост? Это же исключительно для рендеринга картинки было придумано

Вроде ж больше 2 в SLI все равно не загонишь, а народ собирает сетапы по 4...

Если про SLI, то топовые видюшкуи поддерживают 4хSLI

И в SLI память не суммируется, вроде бы. А мы хотим как раз суммировать ее

SLI -- это лишь канал данных. Если софт его умеет использовать, то он вполне может работать

И в SLI память не суммируется, вроде бы. А мы хотим как раз суммировать ее

(я про игры читал, если что)

В новых Nvidia -- unified memory, т.е. если одна видюшка будет брать данные по адресу данных другой карты, драйвер может отправить данные по SLI

Вот это оч. хорошо, спасибо за такую информация

Надо гуглить в общем

Но SLI медленнее PCI-E

Ребят, а подскажите. Вот в Faster-RCNN. Когда мы получаем гипотезы (proposals) как борются с тем, что боксы расположенны очень близко (например на скриншоте) ?

или ничего не делают и просто посылают все эти гиппотезы дальше?

там простой алогритм есть

в общем случае, и в R-CNN тоже он наверное

Потом через NMS удаляются пересечения

Спасибо!

Non maximum suppression

Ребят, кто на своих машиннах обучение проводит (на GPU)? Вы во время обучения можете использовать комп для других нужд? Сильно ли загружается (помимо GPU) проц и оперативка?

Использовать можно, но надо иметь либо дополнительную видеокарту для вывода или подключаться ко встроенной монитор

Ребят, кто на своих машиннах обучение проводит (на GPU)? Вы во время обучения можете использовать комп для других нужд? Сильно ли загружается (помимо GPU) проц и оперативка?

Можно, карта не сильно нагружается (не как при майнинге), можно параллельно работать, тормозов нет. Проц/оперативка зависит от реализации (иногда можно весь датасет загрузить в память, иногда с диска подгружать/обрабатывать на лету). Про доп. видеокарту фигню написали.

Ребят, кто на своих машиннах обучение проводит (на GPU)? Вы во время обучения можете использовать комп для других нужд? Сильно ли загружается (помимо GPU) проц и оперативка?

Там может почти вся память GPU расходоваться, и что-то ещё особо не запустить, что требует GPU.

Но зависит от архитектуры сети ещё.

Спасибо большое!

Ребят, кто на своих машиннах обучение проводит (на GPU)? Вы во время обучения можете использовать комп для других нужд? Сильно ли загружается (помимо GPU) проц и оперативка?

При обучении inceptionV3 даже видос не посмотришь, а при обучении u-net с меньшим числом параметров видео совсем не тормозит. В целом не лучшая идея совмещать, но грубо ориентироваться можно даже не по архитектуре в целом, а просто по числу обучаемых параметров относительно числа cuda-ядер

К последнему видосу в канале - задолго до этого видел еще вот что https://xviniette.github.io/FlappyLearning/ код https://github.com/xviniette/FlappyLearning

К последнему видосу в канале - задолго до этого видел еще вот что https://xviniette.github.io/FlappyLearning/ код https://github.com/xviniette/FlappyLearning

??

Вот еще интересный эксперимент: https://www.youtube.com/watch?v=GOFws_hhZs8 часть первая видоса. Поиграться: https://www.openprocessing.org/sketch/377698

Вот еще интересный эксперимент: https://www.youtube.com/watch?v=GOFws_hhZs8 часть первая видоса. Поиграться: https://www.openprocessing.org/sketch/377698

это вроде уже было, точно видел

Всем привет. Собираю себе относительно бюджетный комп для DL. Вот выбрал по некоторым советам карточку GTX 1060 и теперь выбираю CPU. Покурил немного тему выбора ЦП для обучения нейронок, и понял, что он выполняет небольшую работу, но все таки спрошу и здесь, так ли важен выбор CPU? Подойдет ли какой-нибудь amd rysen под эту карту?

А rysen разве намного дешевле бюджетника от интела?

5ый rysen который подходит стоит на 1к дешевле чем, допустим, i5 7400

У меня 4-ядерный ризен

А карта вообще 1050ti - спасибо майнерам, щас менять не буду

Всем привет. Собираю себе относительно бюджетный комп для DL. Вот выбрал по некоторым советам карточку GTX 1060 и теперь выбираю CPU. Покурил немного тему выбора ЦП для обучения нейронок, и понял, что он выполняет небольшую работу, но все таки спрошу и здесь, так ли важен выбор CPU? Подойдет ли какой-нибудь amd rysen под эту карту?

скорей всего разница между фреймворками будет больше чем между процессорами

Проц нужен чем многоядернее, тем лучше

Проц нужен чем многоядернее, тем лучше

тоже не факт

http://minimaxir.com/2017/07/cpu-or-gpu/

Причина - для работы с текстами нужна предобработка на процессоре, а для картинок - аугментация на нем же

http://minimaxir.com/2017/07/cpu-or-gpu/

Сферические кони в вакууме

Для домашнего юзера не актуально

rysen по всяким игровым тестам себя хуже показывает, но они конечно не показатель

Я говорю сугубо о предобработке и аугментации

Вечером могу скинуть свои бенчмарки на R с использованием foreach и parallel

Масштабирование нелинейное, но 4 потока работают в 3 раза быстрее 1 на задаче ресайза и транспонирования массивов

Да я в принципе понял ситуацию, спасибо!