Anonymous
ну в том коде они другое делают
Anonymous
они пытаются запустить два словаря один французский против английского и делать переводы исходя из статистики употребления
Anonymous
но сами же пишут что лучший результат это 38%
Anonymous
что для перевода не годится от слова вообще
Anonymous
это просто каша в 62%
Aragaer
я взял ровно эту же сетку и пытаюсь делать перевод из "текста с опечатками" в "текст без опечаток"
Anonymous
у тебя мне кажется словари не правильные
Aragaer
в отличие от полноценного перевода результат значительно более красивый
Aragaer
у меня нет словарей
Anonymous
тебе нужен один в один слово с опечаткой против правильного
Aragaer
нет, потому что опечатка может склеить два слова в одно
Aragaer
или может поставить пробел в центре слова
Anonymous
у меня нет словарей, в камментах и аннатациях к сетке вот наши словари
Aragaer
там термин vocabulary относится к перечню символов
su
Aragaer
если посмотришь, это сет всех символов, которые встречаются в текстах
Aragaer
абсолютно побоку
Aragaer
это чисто посимвольное чтение одной строки и посимвольная генерация другой
su
абсолютно побоку
тогда случайно совпадет в процентах 25 наверное, если сильно повезет, это еще языки романской группы, посмотрел бы я на их переводчик с китайского
Aragaer
ну вот в моем случае два "языка" это русский с опечатками и русский. Очень близкие (почему-то)
Anonymous
Aragaer
и поэтому "перевод" делается очень хорошо
su
Anonymous
Anonymous
поставь китайский против франзуцского и скор будет 0
Anonymous
не ну там будет около 15 или 20
Aragaer
ващет чуть более сложной сеткой тот же seq2seq обучался с английского на вьетнамский
Anonymous
ващет чуть более сложной
su
тогда если взять украинский и русский (без политики) то тоже можно наверное перевести процентов на 40% все
Anonymous
ну сложно сказать, может и лучше группа одна
Anonymous
я думаю там и польский и славенский
Anonymous
тут как раз будет работать
su
я полагаю там колокол распределения качества перевода в 40% - идеально, в остальных от идеального до неправильного
Tishka17
Не понимаю. Скопировал папку с кодом в другой венв. Код стал работать полтора раза медленнее
Anonymous
ну запусти пип поновой
Tishka17
При чем у меня юзаются разные либы, все стали медленнее работать
Aragaer
учитывая, как устроена сетка - пофиг совсем. Она берет исходный текст, всасывает его во внутреннее представление предложения целиком. А потом из этого представления генерит полностью новое предложение.
su
Anonymous
там наверное вилы
Tishka17
Все обновил
Anonymous
надо чтобы скомпиляло у тебя сейчас тупо на питоне работает
Anonymous
проверь что wheel и pip такой же версии
Tishka17
У меня бенчмарк разных либ
Tishka17
Соотношение вроде сохранилось
Tishka17
Но если в одном окружении у меня маршмэллоу работает 20 секунд, то в другом - 14
Anonymous
такая разница как бы в 6 секунд не о чем
Mikhail
Tishka17
Tishka17
я код теста скопировал.
Anonymous
ну вэнв как бы в него не скопируешь
Tishka17
не суть. Другой венв активировал
Tishka17
и запускаю из другой папки те же сорцы
Anonymous
я имею ввиду между энвами?
Tishka17
щас проверю
Aragaer
Tishka17
хм. Обновил marhsmallow, вроде стала разница меньше
Tishka17
видимо с остальными либами действительно скачет рандомно
а
Anonymous
Aragaer
я уже много книг читал. Большая часть опять же использует готовые словари эмбеддингов типа того же glove. Как правило используются word-level модели. А я хочу character-level
Anonymous
Aragaer
да
Aragaer
но я хочу так
Aragaer
это не задача, за которую мне кто-то платит деньги
Anonymous
и ты по сути кормишь ее опять словарями но через жопу
Aragaer
ок, я идиот, пока
Anonymous
просто осознай это
Anonymous
да дело не в личностях
Anonymous
я не про то
Tishka17
Как бы мне это переписать?
https://paste.ubuntu.com/p/MJs59Xp5Bt/
Anonymous
просто сам подумай