@ru_python

Страница 7160 из 9768
Aragaer
26.11.2018
11:44:51
учатся оба

filarius
26.11.2018
11:48:34
слепляешь вместе и учишь на "вход=выход"
нельзя вход-выход, посередине стоит "шумогенератор" через который нужно научиться передавать данные и снова повторю что это еще осложнается тем что енкодер нельзя напрямую к шумогенератору подключать, так как последний запускается от огромного блока в миллион выходов из инкодера, и такой же большой блок данных потом выплевывает для декодера это необходимо из-за природы генератора, на единичном выходе енкодера он даже не запуститься, а от небольшой блока нейросети не научатся с ним нормально работать

Aragaer
26.11.2018
11:49:12
можно

но в керасе это делается через функциональный апи, а не sequential

Google
filarius
26.11.2018
11:51:33
а как с этим обучалки подружаться? или они строго весь набор тренировочных данных пропихнут и не будут там например пытаться посмотреть результат скормив только половину ?

Aragaer
26.11.2018
11:51:55
а еще кстати в керасе есть встроенные зашумлялки

хотя не, это другое

filarius
26.11.2018
11:52:25
ну у меня своя специфическая на которую я и хочу нейросети натравить

Aragaer
26.11.2018
11:52:54
в керасе одна эпоха fit это прогнать все учебные примеры, затем прогнать оценку на validation данных

и между эпохами учебные примеры сохраняются, validation тоже

filarius
26.11.2018
12:00:52
в керасе одна эпоха fit это прогнать все учебные примеры, затем прогнать оценку на validation данных
а можно я тогда еще спрошу про структуру сети вот например на вход енкодера мне надо 5 бита ( 5 слотов в который пишем либо 0 либо 1) на выходе нужно получить 64 байта (т.е. поставить 64 выходов) При этом в сжималке с большой вероятностью предыдущие данные имеют некоторое влияние на последующие - там можно (и нужно ли) будет ручками скормить выход на вход следующего запуска енкодера, или лучше рекурсивный слой делать (или как там его) ?

Aragaer
26.11.2018
12:01:42
в керасе это делается просто - LSTM(64)

но вообще я не умею правильно в керасе обучать рекурсивные сети, поэтому я делаю по сути дублирование входа

твои 5 бит это числа от 0 до 31

значит ты можешь взять слой Embedding, в который ты даешь 1 число, а получаешь векторное представление этого числа

и дальше ты делаешь этот Embedding на N слов сразу (в т.ч. предыдущие)

тут есть беда - как правильно кодировать самое начало. В случае с эмбеддингом это лечится добавлением "фальшивого нуля", но у тебя ноль это валидное значение

Google
filarius
26.11.2018
12:04:54
твои 5 бит это числа от 0 до 31
ну пусть я и нуб, но какая-то у меня уверенность есть что 5 входов с цифрами 0 или 1 будут лучше работать чем один вход с масштабированием от 0 до 31

Tima
26.11.2018
12:06:13
Привет еще раз, честно не могу понять что происходит, у меня есть файл, который в идеешке PyCharm нормально интерпритируется, а в консоли на Ubuntu выдает ошибку в коде, подскажите плз)

filarius
26.11.2018
12:06:33
все равно на боевом режиме я должен работать с битами

Aragaer
26.11.2018
12:06:45
просто ему на вход данные подавать немного проще

а так надо будет руками делать Dense слой из 5 в сколько-надо бит, а потом через Merge склеивать несколько таких

filarius
26.11.2018
12:09:14
не думаю что мне нужно в сетке их склеивать, насколько я понял сжималка внутри как раз работает, в основном, между блоками в 64 байта, которые и должны хранить эти 5 бит, т.е. один запуск нейросети должен выдать только один блок в 64 байт

Alex
26.11.2018
12:09:50
filarius
26.11.2018
12:10:09
а с учетом что в боевом режиме блок данных для сжималки может весить 1Gb и больше, то такую жирную сеть делать себе дороже

Tima
26.11.2018
12:10:49


filarius
26.11.2018
12:10:56
или я не понял что там Merge слой делает :)

Tima
26.11.2018
12:11:10


nnm
26.11.2018
12:11:15
у тебя наверное не той версией интерпритатора выполняется

Tima
26.11.2018
12:11:19
У меня стоит пайтон 3

nnm
26.11.2018
12:11:36
то тогда посмотри venv

Tima
26.11.2018
12:11:55
ок

Alex
26.11.2018
12:12:42
покажи еще структуру проекта

Google
Tima
26.11.2018
12:14:37
Хмм когда вместо python name.py я пишу python3 name.py то все работает

Наверное в этом была ошибка

Alex
26.11.2018
12:15:29
потому что python очевидно второй версии

filarius
26.11.2018
12:15:31
На самом деле нейросеть принимает сразу список того, чего надо кодировать. Твой "один запуск" это значит список из 1 элемента
просто таким образом (1) я могу держать в памяти только минимальный объем данных отправляя на сжималку данные как только сформируется минимальный буфер ну и (2) с моей нубской точки зрения если не тренировать нейросеть только для атомарных данных, а сразу на большой кусок данных натравить, то и обучаться она будет существенно дольше из-за наличия кучи лишних связей.

Alex
26.11.2018
12:15:45
filarius
26.11.2018
12:16:25
минимльный буфер записи в сжималку сильно меньше чем буфер для обучения сетей

Weed
26.11.2018
12:23:27
Есть у кого-нибудь скрипты ботов?

в тг

Sergey
26.11.2018
12:26:02
nnm
26.11.2018
12:28:03
Есть у кого-нибудь скрипты ботов?
https://github.com/python-telegram-bot/python-telegram-bot

Вячеслав
26.11.2018
12:28:13
Хмм когда вместо python name.py я пишу python3 name.py то все работает
У тебя вероятнее всего стоят оба пайтона в системе. Но python запускает по умолчанию вторую версию.

nnm
26.11.2018
12:29:05
python -v что говорит?

что там у него есть?

Pavel
26.11.2018
12:29:21
Привет! Есть ли либа для парсинга чисел из строк такого формата: '*6.518867 * 3.397255 *' '51.2087897 3.2221095,17' '48.22272845 16.27753258<strong> </strong>' '36.721639 --2.190679'

Pavel
26.11.2018
12:30:25
import re ?
так таких фотматов много, и под каждый регулярки писать?

Мой любимый
26.11.2018
12:30:50
на то и регулярки

Pavel
26.11.2018
12:31:42
кроме библиотеке re есть еще варики?

Google
Pavel
26.11.2018
12:32:03
где все эти регулярки ваши написали

Tigran
26.11.2018
12:32:06
так что за формат-то?

Dmitri
26.11.2018
12:32:10
либа, которая сама поймет, че ты от нее хочешь?)

Tigran
26.11.2018
12:32:45
import zaebis zaebis.sdelat()

Pavel
26.11.2018
12:33:27
так что за формат-то?
как раз формата тут нет, есть флоат который приходит рандомной строкой в разных вариантах * 12.12* * --12* (это -12)

Ibh
26.11.2018
12:34:27
import zaebis zaebis.sdelat()
try/ except Blya: print("Neeeet!")

Roman
26.11.2018
12:34:54
да
Циклы не покатят, да?

Pavel
26.11.2018
12:35:04
..

Bloodseeker
26.11.2018
12:35:12
..
20$

Pavel
26.11.2018
12:35:14
не покатят

да я нашел уже скрипт https://github.com/hayj/SystemTools/blob/master/systemtools/number.py

Pavel
26.11.2018
12:36:50
напишу, вопрос был: есть ли уже либа для вытаскивания флоата из рандомного текста, например как либа для парсинга номеров телефонов

~Human
26.11.2018
12:37:19
Людииттт спаситееее

Google
~Human
26.11.2018
12:37:38
Как в Питоне поменять слова в файле???

Pavel
26.11.2018
12:37:53
либа. Для этого уже нужна либа
ну модуль или функция

~Human
26.11.2018
12:37:54
Можете примерный код написать

Pavel
26.11.2018
12:37:55
)

Andrew
26.11.2018
12:37:55
Alex
26.11.2018
12:37:58
Алексей
26.11.2018
12:38:12
Прочитать файл, изменить что нужно, записать в файл. Profit

Alex
26.11.2018
12:38:29
неизвестен!
тогда никакая либа не поможет

~Human
26.11.2018
12:38:35
Ваще новичок

~Human
26.11.2018
12:38:41
Ничего не знаб

Ну только базу

Alex
26.11.2018
12:38:50
потому что не может существовать либы вытягивающей что-то из чего-то неизвестного формата.

Алексей
26.11.2018
12:38:55
Как
Гугл есть?

Alex
26.11.2018
12:39:22
неизвестен!
ну ты же как-то определяешь что это флоат? \d+\.\d+?

Страница 7160 из 9768