
Aragaer
26.11.2018
11:44:51
учатся оба

filarius
26.11.2018
11:48:34
слепляешь вместе и учишь на "вход=выход"
нельзя вход-выход, посередине стоит "шумогенератор" через который нужно научиться передавать данные
и снова повторю что это еще осложнается тем что енкодер нельзя напрямую к шумогенератору подключать, так как последний запускается от огромного блока в миллион выходов из инкодера, и такой же большой блок данных потом выплевывает для декодера
это необходимо из-за природы генератора, на единичном выходе енкодера он даже не запуститься, а от небольшой блока нейросети не научатся с ним нормально работать

Aragaer
26.11.2018
11:49:12
можно
но в керасе это делается через функциональный апи, а не sequential

Google

filarius
26.11.2018
11:51:33
а как с этим обучалки подружаться?
или они строго весь набор тренировочных данных пропихнут и не будут там например пытаться посмотреть результат скормив только половину ?

Aragaer
26.11.2018
11:51:55
а еще кстати в керасе есть встроенные зашумлялки
хотя не, это другое

filarius
26.11.2018
11:52:25
ну у меня своя специфическая на которую я и хочу нейросети натравить

Aragaer
26.11.2018
11:52:54
в керасе одна эпоха fit это прогнать все учебные примеры, затем прогнать оценку на validation данных
и между эпохами учебные примеры сохраняются, validation тоже

filarius
26.11.2018
12:00:52
в керасе одна эпоха fit это прогнать все учебные примеры, затем прогнать оценку на validation данных
а можно я тогда еще спрошу про структуру сети
вот например на вход енкодера мне надо 5 бита ( 5 слотов в который пишем либо 0 либо 1)
на выходе нужно получить 64 байта (т.е. поставить 64 выходов)
При этом в сжималке с большой вероятностью предыдущие данные имеют некоторое влияние на последующие - там можно (и нужно ли) будет ручками скормить выход на вход следующего запуска енкодера, или лучше рекурсивный слой делать (или как там его) ?


Aragaer
26.11.2018
12:01:42
в керасе это делается просто - LSTM(64)
но вообще я не умею правильно в керасе обучать рекурсивные сети, поэтому я делаю по сути дублирование входа
твои 5 бит это числа от 0 до 31
значит ты можешь взять слой Embedding, в который ты даешь 1 число, а получаешь векторное представление этого числа
и дальше ты делаешь этот Embedding на N слов сразу (в т.ч. предыдущие)
тут есть беда - как правильно кодировать самое начало. В случае с эмбеддингом это лечится добавлением "фальшивого нуля", но у тебя ноль это валидное значение

Google

filarius
26.11.2018
12:04:54
твои 5 бит это числа от 0 до 31
ну пусть я и нуб, но какая-то у меня уверенность есть что 5 входов с цифрами 0 или 1 будут лучше работать чем один вход с масштабированием от 0 до 31

Tima
26.11.2018
12:06:13
Привет еще раз, честно не могу понять что происходит, у меня есть файл, который в идеешке PyCharm нормально интерпритируется, а в консоли на Ubuntu выдает ошибку в коде, подскажите плз)

filarius
26.11.2018
12:06:33
все равно на боевом режиме я должен работать с битами

Aragaer
26.11.2018
12:06:45
просто ему на вход данные подавать немного проще
а так надо будет руками делать Dense слой из 5 в сколько-надо бит, а потом через Merge склеивать несколько таких

Сергей
26.11.2018
12:09:09

filarius
26.11.2018
12:09:14
не думаю что мне нужно в сетке их склеивать, насколько я понял сжималка внутри как раз работает, в основном, между блоками в 64 байта, которые и должны хранить эти 5 бит, т.е. один запуск нейросети должен выдать только один блок в 64 байт

Alex
26.11.2018
12:09:50

filarius
26.11.2018
12:10:09
а с учетом что в боевом режиме блок данных для сжималки может весить 1Gb и больше, то такую жирную сеть делать себе дороже

Tima
26.11.2018
12:10:49

nnm
26.11.2018
12:10:51

filarius
26.11.2018
12:10:56
или я не понял что там Merge слой делает :)

Tima
26.11.2018
12:11:10

nnm
26.11.2018
12:11:15
у тебя наверное не той версией интерпритатора выполняется

Tima
26.11.2018
12:11:19
У меня стоит пайтон 3

Aragaer
26.11.2018
12:11:30

nnm
26.11.2018
12:11:36
то тогда посмотри venv

Tima
26.11.2018
12:11:55
ок

Alex
26.11.2018
12:12:42
покажи еще структуру проекта

Google

Tima
26.11.2018
12:14:37
Хмм когда вместо python name.py я пишу python3 name.py то все работает
Наверное в этом была ошибка

Alex
26.11.2018
12:15:29
потому что python очевидно второй версии

filarius
26.11.2018
12:15:31

Alex
26.11.2018
12:15:45

filarius
26.11.2018
12:16:25
минимльный буфер записи в сжималку сильно меньше чем буфер для обучения сетей

Weed
26.11.2018
12:23:27
Есть у кого-нибудь скрипты ботов?
в тг

Sergey
26.11.2018
12:26:02

nnm
26.11.2018
12:28:03

Вячеслав
26.11.2018
12:28:13

nnm
26.11.2018
12:29:05
python -v что говорит?
что там у него есть?

Pavel
26.11.2018
12:29:21
Привет! Есть ли либа для парсинга чисел из строк такого формата:
'*6.518867 * 3.397255 *'
'51.2087897 3.2221095,17'
'48.22272845 16.27753258<strong> </strong>'
'36.721639 --2.190679'

Alex
26.11.2018
12:29:49

Tigran
26.11.2018
12:30:20

Pavel
26.11.2018
12:30:25
import re ?
так таких фотматов много, и под каждый регулярки писать?

Мой любимый
26.11.2018
12:30:50
на то и регулярки

Pavel
26.11.2018
12:31:42
кроме библиотеке re есть еще варики?

Google

Pavel
26.11.2018
12:32:03
где все эти регулярки ваши написали

Tigran
26.11.2018
12:32:06
так что за формат-то?

Dmitri
26.11.2018
12:32:10
либа, которая сама поймет, че ты от нее хочешь?)

Tigran
26.11.2018
12:32:45
import zaebis
zaebis.sdelat()

Pavel
26.11.2018
12:33:27
так что за формат-то?
как раз формата тут нет, есть флоат который приходит рандомной строкой в разных вариантах
* 12.12*
* --12* (это -12)

Bloodseeker
26.11.2018
12:34:12

Roman
26.11.2018
12:34:14

Ibh
26.11.2018
12:34:27

Pavel
26.11.2018
12:34:30

Roman
26.11.2018
12:34:54

Pavel
26.11.2018
12:35:04
..

Bloodseeker
26.11.2018
12:35:12

Pavel
26.11.2018
12:35:14
не покатят
да я нашел уже скрипт https://github.com/hayj/SystemTools/blob/master/systemtools/number.py

Alex
26.11.2018
12:35:26

Pavel
26.11.2018
12:36:50
напишу, вопрос был: есть ли уже либа для вытаскивания флоата из рандомного текста, например как либа для парсинга номеров телефонов

Bloodseeker
26.11.2018
12:37:13

~Human
26.11.2018
12:37:19
Людииттт спаситееее

Andrew
26.11.2018
12:37:24

Google

~Human
26.11.2018
12:37:38
Как в Питоне поменять слова в файле???

Pavel
26.11.2018
12:37:53

~Human
26.11.2018
12:37:54
Можете примерный код написать

Pavel
26.11.2018
12:37:55
)

Andrew
26.11.2018
12:37:55

Alex
26.11.2018
12:37:58

Алексей
26.11.2018
12:38:12
Прочитать файл, изменить что нужно, записать в файл. Profit

Pavel
26.11.2018
12:38:20

~Human
26.11.2018
12:38:23

Alex
26.11.2018
12:38:29

~Human
26.11.2018
12:38:35
Ваще новичок

Bloodseeker
26.11.2018
12:38:35

~Human
26.11.2018
12:38:41
Ничего не знаб
Ну только базу

Alex
26.11.2018
12:38:50
потому что не может существовать либы вытягивающей что-то из чего-то неизвестного формата.

Алексей
26.11.2018
12:38:55

Alex
26.11.2018
12:39:22
неизвестен!
ну ты же как-то определяешь что это флоат?
\d+\.\d+?