Anonymous
ну в том коде они другое делают
Anonymous
они пытаются запустить два словаря один французский против английского и делать переводы исходя из статистики употребления
Anonymous
но сами же пишут что лучший результат это 38%
Anonymous
что для перевода не годится от слова вообще
Anonymous
это просто каша в 62%
Aragaer
я взял ровно эту же сетку и пытаюсь делать перевод из "текста с опечатками" в "текст без опечаток"
Anonymous
у тебя мне кажется словари не правильные
Andrew s1L3nT
Просто он не видит драйвер движка
юзай webdrivermanager и будет тебе счастье)
Aragaer
в отличие от полноценного перевода результат значительно более красивый
Aragaer
у меня нет словарей
Anonymous
тебе нужен один в один слово с опечаткой против правильного
Aragaer
нет, потому что опечатка может склеить два слова в одно
Aragaer
или может поставить пробел в центре слова
Anonymous
у меня нет словарей, в камментах и аннатациях к сетке вот наши словари
Aragaer
там термин vocabulary относится к перечню символов
Aragaer
если посмотришь, это сет всех символов, которые встречаются в текстах
Aragaer
абсолютно побоку
Aragaer
это чисто посимвольное чтение одной строки и посимвольная генерация другой
Anonymous
а грамматика лексика побоку?
ну там я и говорю 38% попадания у них, остальное каша
su
абсолютно побоку
тогда случайно совпадет в процентах 25 наверное, если сильно повезет, это еще языки романской группы, посмотрел бы я на их переводчик с китайского
Anonymous
если посмотришь, это сет всех символов, которые встречаются в текстах
я понимаю о чем ты, этим методом еще деды пытались расшифровать шифровки или древние языки для которых был перевод с известных но не полный
Aragaer
ну вот в моем случае два "языка" это русский с опечатками и русский. Очень близкие (почему-то)
Anonymous
тогда случайно совпадет в процентах 25 наверное, если сильно повезет, это еще языки романской группы, посмотрел бы я на их переводчик с китайского
не ну там может работать но очень очень условно и это чисто учебный пример в реальной жизни такие переводы никому не нужны
Aragaer
и поэтому "перевод" делается очень хорошо
su
ну там я и говорю 38% попадания у них, остальное каша
это просто потому что языковая группа одна
Anonymous
поставь китайский против франзуцского и скор будет 0
Anonymous
не ну там будет около 15 или 20
Aragaer
ващет чуть более сложной сеткой тот же seq2seq обучался с английского на вьетнамский
Anonymous
ващет чуть более сложной
su
тогда если взять украинский и русский (без политики) то тоже можно наверное перевести процентов на 40% все
Anonymous
ну сложно сказать, может и лучше группа одна
Anonymous
я думаю там и польский и славенский
Anonymous
тут как раз будет работать
su
я полагаю там колокол распределения качества перевода в 40% - идеально, в остальных от идеального до неправильного
Tishka17
Не понимаю. Скопировал папку с кодом в другой венв. Код стал работать полтора раза медленнее
Anonymous
ну запусти пип поновой
Tishka17
При чем у меня юзаются разные либы, все стали медленнее работать
Aragaer
учитывая, как устроена сетка - пофиг совсем. Она берет исходный текст, всасывает его во внутреннее представление предложения целиком. А потом из этого представления генерит полностью новое предложение.
Anonymous
там наверное вилы
Tishka17
Все обновил
Anonymous
надо чтобы скомпиляло у тебя сейчас тупо на питоне работает
Anonymous
проверь что wheel и pip такой же версии
Tishka17
У меня бенчмарк разных либ
Tishka17
Соотношение вроде сохранилось
Tishka17
Но если в одном окружении у меня маршмэллоу работает 20 секунд, то в другом - 14
su
При чем у меня юзаются разные либы, все стали медленнее работать
может крипто вирус в браузре один камень на 100% юзает а ты не в курсе, или в питоне, что однокуйственно, а может просто одни либы дебажные а другие нормальные
Anonymous
У меня бенчмарк разных либ
ну ты норм проверил, надо раз по 100 запустить и посчитать среднее
Anonymous
такая разница как бы в 6 секунд не о чем
Anonymous
учитывая, как устроена сетка - пофиг совсем. Она берет исходный текст, всасывает его во внутреннее представление предложения целиком. А потом из этого представления генерит полностью новое предложение.
я понимаю как оно работает я говорю этому методу уже лет 100, но для твоей задачи это как бы бесполезно ты пихаешь туда те же словари правильно против с опечатками ты же сам показал и это как бы ну хз бесполезно - давно уже есть алгоритмы которые справляются с этим беспроблем
Anonymous
там как бы и так внутри 100000 проходов
а как ты скопировал в другой вэнв? просто чот не понятно вообще
Tishka17
я код теста скопировал.
Anonymous
ну вэнв как бы в него не скопируешь
Tishka17
не суть. Другой венв активировал
Tishka17
и запускаю из другой папки те же сорцы
Anonymous
не суть. Другой венв активировал
ну ок и в чем проблема, там у тебя все версии совпадают до запятой?
Anonymous
я имею ввиду между энвами?
Tishka17
щас проверю
Tishka17
хм. Обновил marhsmallow, вроде стала разница меньше
Tishka17
видимо с остальными либами действительно скачет рандомно
Anonymous
Anonymous
окей, я наверно нифига не понимаю, поэтому и продолжаю делать своим способом
Ты зайди на рутрекер там есть книга по этой теме что-то типо Natural language processing in Python даже на русском это прямо христоматия
Aragaer
я уже много книг читал. Большая часть опять же использует готовые словари эмбеддингов типа того же glove. Как правило используются word-level модели. А я хочу character-level
Aragaer
да
Aragaer
но я хочу так
Aragaer
это не задача, за которую мне кто-то платит деньги
Anonymous
и ты по сути кормишь ее опять словарями но через жопу
Aragaer
ок, я идиот, пока
Anonymous
просто осознай это
Anonymous
да дело не в личностях
Anonymous
я не про то
Tishka17
Как бы мне это переписать? https://paste.ubuntu.com/p/MJs59Xp5Bt/
Anonymous
просто сам подумай