Приветствую, коллеги! Подскажите пожалуйста с чего начинать обучение данной области? Есть какой-то roud map? Заранее спасибо.

Я fast.ai прохожу, мне нравится) Если кто тоже надумает - пишите, пообсуждаем)

Здравствуйте, уважаемые господа. Решил попробовать себя в нейросетях, начать решил не с готовых примеров, а с собственного датасета. Вот у меня есть набор аудиофайлов. Я их перегнал в массивы numpy, но из-за разной длительности получились разные размерности. Приводить все файлы к одинаковой длительности не очень хочется, может, есть способы дополнить формы всех массивов до самого крупного? Где почитать примеров? Спасибо.

Здравствуйте, уважаемые господа. Решил попробовать себя в нейросетях, начать решил не с готовых примеров, а с собственного датасета. Вот у меня есть набор аудиофайлов. Я их перегнал в массивы numpy, но из-за разной длительности получились разные размерности. Приводить все файлы к одинаковой длительности не очень хочется, может, есть способы дополнить формы всех массивов до самого крупного? Где почитать примеров? Спасибо.

А зачем так? Аудиофайлов надо через рекурентную сеть обрабатывать по моему(ни разу в нецросети чистый теоретик)

А зачем так? Аудиофайлов надо через рекурентную сеть обрабатывать по моему(ни разу в нецросети чистый теоретик)

Ну, захотелось попробовать так. Поставил задачу, для выполнения которой многослойный персептрон вполне годится (задача не пустая, есть реальное применение).

Т.е. не реалтайм.

Ну, захотелось попробовать так. Поставил задачу, для выполнения которой многослойный персептрон вполне годится (задача не пустая, есть реальное применение).

Ок, как скажешь. Имхо дополнить массив до самого большого очень простая задача и гуглится на раз

Я вот что-то не смог нагуглить. Видимо, как-то не так гуглил...

Sequence padding

Спасибо! Век бы не догадался, что это так называется, пришлось бы всю доку шерстить.

Четкий ник, я думал что ты бот

Почему?

Бот рекламирующий бордели

Если честно, твой ник куда больше похож на ботовский, уж прости.

Вроде все получилось, но моя нищенская видеокарта не вывозит это скомпилить. Завтра буду пробовать на онлайн-машинах, а пока, если у кого-то есть время и желание, проверьте, пожалуйста, код и скажите, есть ли какие-то существенные косяки (кроме маленького размера датасета). Буду благодарен. https://pastebin.com/QUXSND8m

Вроде все получилось, но моя нищенская видеокарта не вывозит это скомпилить. Завтра буду пробовать на онлайн-машинах, а пока, если у кого-то есть время и желание, проверьте, пожалуйста, код и скажите, есть ли какие-то существенные косяки (кроме маленького размера датасета). Буду благодарен. https://pastebin.com/QUXSND8m

for i in ("1","2","3","4","5","6","7","8","9","10","11","12")

Лол

Да, это обычное решение на коленке, чтобы не заморачиваться правильно. Так быстрее, я же не это тестирую, а сеть. Плэтому правильностью остального можно пренебречь.

for i in ("1","2","3","4","5","6","7","8","9","10","11","12")

Это в тему частых разговоров о том, что дата инженерам не надо хорошо знать программирование.

Да, это обычное решение на коленке, чтобы не заморачиваться правильно. Так быстрее, я же не это тестирую, а сеть. Плэтому правильностью остального можно пренебречь.

но ведь нормальный код и проще и читаемей ?‍♂

и писать его быстрее

Вроде все получилось, но моя нищенская видеокарта не вывозит это скомпилить. Завтра буду пробовать на онлайн-машинах, а пока, если у кого-то есть время и желание, проверьте, пожалуйста, код и скажите, есть ли какие-то существенные косяки (кроме маленького размера датасета). Буду благодарен. https://pastebin.com/QUXSND8m

for i in range(12): str(i), не? :DD а что за задачу решаешь?)

но ведь нормальный код и проще и читаемей ?‍♂

Чта

и писать его быстрее

Чта Х2

for i in range(12): str(i), не? :DD а что за задачу решаешь?)

for digit in (str(i) for i in range(1,13)):

for digit in (str(i) for i in range(1,13)):

for digit in map(str, range(1, 13)):

for digit in (str(i) for i in range(1,13)):

а защем? там нужно то: for i range(12): #read mp3 file mp3 = pydub.AudioSegment.from_mp3("test%s.mp3"%(i))

for digit in map(str, range(1, 13)):

Это хуже

стринговые переменные дороже стоят

?

а защем? там нужно то: for i range(12): #read mp3 file mp3 = pydub.AudioSegment.from_mp3("test%s.mp3"%(i))

Ну я прост первую строчку ток посмотрел)

Но меня знатно всё это улыбнуло))

Это хуже

Это читабельней двух вложенных for'ов.

for digit in map(str, range(1, 13)):

Ещё и ошибку выкинет

map object not iterable

ну лист дописать перед map

3.5, for i in map(str, range(1, 13)): print(i) прекрасно работает

2.7, та же фигня

map object not iterable

iшта?

ну лист дописать перед map

не надо

просто первое что пришло в голову, не запускал код

Странная функциональщина

Ну да ладно, она не нужна всё равно

Странная функциональщина

Она не странная, она работает с итераторами

Init signature: map(self, /, *args, **kwargs) Docstring: map(func, *iterables) --> map object Make an iterator that computes the function using arguments from each of the iterables. Stops when the shortest iterable is exhausted. ничего странного

Есть те кому нужна помощь в каком-либо проекте? Хочу куда-нибудь вписаться.. А то сижу дома, скучаю(( Задачку бы интересную порешать.

ERROR: S client not available

Init signature: map(self, /, *args, **kwargs) Docstring: map(func, *iterables) --> map object Make an iterator that computes the function using arguments from each of the iterables. Stops when the shortest iterable is exhausted. ничего странного

is exhausted Мило))))

is exhausted Мило))))

"Исчерпан", наверное? The mine can also be exhausted

for i in range(12): str(i), не? :DD а что за задачу решаешь?)

нечто вроде денойзера

и писать его быстрее

ну мне было быстрее так написать суть-то не в этом как заставлю работать - обязательно перепишу нормально

ну мне было быстрее так написать суть-то не в этом как заставлю работать - обязательно перепишу нормально

это быстрее написать? о_О Я бы заморочился поиском нормальной конструкции уже даже ради того, чтобы не набирать вручную весь этот ряд чисел с кавычками

это быстрее написать? о_О Я бы заморочился поиском нормальной конструкции уже даже ради того, чтобы не набирать вручную весь этот ряд чисел с кавычками

Готов потратить неделю, чтобы решить за пять минут то, что можно решить за десять минут? Похвально, но у меня нет столько времени.

Готов потратить неделю, чтобы решить за пять минут то, что можно решить за десять минут? Похвально, но у меня нет столько времени.

Смотрите дети, вот так и появляется говнокод

Смотрите дети, вот так и появляется говнокод

Это же просто тест. Когда будет проверена работоспособность, я исправлю говнокодные моменты.

Ну честно!

нну так-то лучше написать говнокод, чем не написать ничего

нну так-то лучше написать говнокод, чем не написать ничего

Спорно.потом попадаешь читать говнокод- и бедааа)))

Да, это обычное решение на коленке, чтобы не заморачиваться правильно. Так быстрее, я же не это тестирую, а сеть. Плэтому правильностью остального можно пренебречь.

Денойзер? Что? У тебя я так понял два вида аудиофайлов: окей. Ты ЗАЧЕМ ТО О_О берешь mp3 аудиофайл, дальше перегоняешь в wav[И ТАК КАЖДЫЙ РАЗ ПРИ ЗАПУСКЕ СКРИПТА]. Ну, окей. Дальше получаешь цифирки из аудиофайла. ОКЕЙ. Дальше ты разбиваешь массив своих цифирок на выборку размером [n,12381696](ОТКУДА ЭТО ЧИСЛО?? ПОЧЕМУ ИМЕННО ОНО??).. Ладно, не важно. Едем дальше. Что ты пытаешься сделать после этого? Однослойный персептрон. С Релу. С кросс-ентропией. Для всего этого дела. @_@

Денойзер? Что? У тебя я так понял два вида аудиофайлов: окей. Ты ЗАЧЕМ ТО О_О берешь mp3 аудиофайл, дальше перегоняешь в wav[И ТАК КАЖДЫЙ РАЗ ПРИ ЗАПУСКЕ СКРИПТА]. Ну, окей. Дальше получаешь цифирки из аудиофайла. ОКЕЙ. Дальше ты разбиваешь массив своих цифирок на выборку размером [n,12381696](ОТКУДА ЭТО ЧИСЛО?? ПОЧЕМУ ИМЕННО ОНО??).. Ладно, не важно. Едем дальше. Что ты пытаешься сделать после этого? Однослойный персептрон. С Релу. С кросс-ентропией. Для всего этого дела. @_@

Я его всего один раз запущу, сеть обучить. Очевидно же. Потом модель сохраню. Число взято как размерность тензора из самого длинного файла. Насчет топологии вот не уверен, да. Но это первый опыт. По идее, в файлах вида test*.mp3 у меня звук с примешанным шумом, в test*l.mp3 - чистый звук. Сеть должна научиться отделять шум и выкидывать, выдавая файл без шума. Поправь, что я не так изобрел.

всем привет, кто-нибудь знает где можно скачать базу картинок для обучения нейросетки, но мне нужно небольшую, нашел на kaggle но там 55 Gb, мне этого много

всем привет, кто-нибудь знает где можно скачать базу картинок для обучения нейросетки, но мне нужно небольшую, нашел на kaggle но там 55 Gb, мне этого много

в тензоре же вроде встроенные датасеты есть?

я только mnist naitk

нашел *

Я его всего один раз запущу, сеть обучить. Очевидно же. Потом модель сохраню. Число взято как размерность тензора из самого длинного файла. Насчет топологии вот не уверен, да. Но это первый опыт. По идее, в файлах вида test*.mp3 у меня звук с примешанным шумом, в test*l.mp3 - чистый звук. Сеть должна научиться отделять шум и выкидывать, выдавая файл без шума. Поправь, что я не так изобрел.

Свою сеть ты не так изобрел. Сначала изучи основы хотя-бы. Нейронные сети это не искусственный интеллект, в который можно пихать всё как в помойку и после этого ждать какого-либо результата. Это алгоритм который просто может найти приближенное решение по размеченным данным. Во первых - у тебя сеть однослойная. Ей не хватит выразительности сделать задуманное тобой. Во вторых - почитай про categorical_crossentropy и для чего она вообще используется. Я думаю, тебе всё станет ясно.

я только mnist naitk

Какая задача? Может проще предобученные веса взять и дообучить на конкретную задачу?

Свою сеть ты не так изобрел. Сначала изучи основы хотя-бы. Нейронные сети это не искусственный интеллект, в который можно пихать всё как в помойку и после этого ждать какого-либо результата. Это алгоритм который просто может найти приближенное решение по размеченным данным. Во первых - у тебя сеть однослойная. Ей не хватит выразительности сделать задуманное тобой. Во вторых - почитай про categorical_crossentropy и для чего она вообще используется. Я думаю, тебе всё станет ясно.

Ага, понятно.