Tishka17
наследоваться от object в третьем питоне не нужно
Tishka17
Но не работал, пошел на селениум
не вижу в это коде слеениум
Anonymous
.
Tishka17
да, не, все ещё self.urllib
Anonymous
Работает, но запускает окно браузера
ну найди хедлесс драйвер, помоему такие были для силениума если прямо все плохо юзай casper.js
Anonymous
Я думаю это скорее сервис какой-то нужен. Типа додаты
да не, там куча либ и готового кода для nlp
Anonymous
просто надо задаться и поискать
Anonymous
но вообще я видел какие-то софтины для этого готовые
Aragaer
/me сегодня в очередной раз попытался наскоком что-то сделать с nlp, но забил
Anonymous
/me сегодня в очередной раз попытался наскоком что-то сделать с nlp, но забил
там наскоком не выйдет, как минимум надо разобраться в составных конструкциях языка, понять почему это так работает. потом забурится в термины из языкознания в программирование
Anonymous
не все просто
Aragaer
это я уже неоднократно делал, просто забываю сразу. Сегодня идея была в том, чтобы взять посимвольные эмбеддинги и натренить seq2seq сетку на исправление опечаток
Anonymous
да какие сетки, пунто свичер это делает уже лет как 20 а то и больше ни о каких сетках не знали тупо фази матчинг по словарю
Aragaer
именно что по словарю
Aragaer
я хочу без словаря
Anonymous
без словаря как?
Aragaer
через символьные эмбеддинги+один слой lstm
Aragaer
просто статистически набирается, чтобы делать прогноз, каким должен быть следующий символ при вот такой предыдущей последовательности
Anonymous
это просто набор хабровчанина, объясни как ты сам понимаешь это можно осуществить и для какого языка
Anonymous
про - какой следующий символ? по статистике "c" к слову просто а если мне надо другое?
Aragaer
берешь текст без опечаток (или с небольшим количеством опечаток), скармливаешь в сетку, которая научится по префиксу восстанавливать следующий символ. Фактически обучается именно статистическая языковая модель.
Anonymous
ну изложи своими словами как ты понимаешь, как можно корректировать ошибки через статистику?
Aragaer
в результате если этой сетке скормить кусок слова, то она предскажет веса для различных вариантов следующей буквы, причем для реальных продолжений веса будут большими, а для редко встречающихся (читай - опечаток) маленькими
Aragaer
если мы видим, что на вход пришел кусок слова, а потом буква, которая тут статистически встречается редко, то наверно это опечатка
Anonymous
ты говоришь не про орфографию а типо T9
Aragaer
йеп
Anonymous
а наверное нет
Anonymous
лол
Anonymous
ну сам подумай
Anonymous
там статистически всегда у тебя будет в ряду лидер
Anonymous
а все остальные типо "опечатки"
Anonymous
👍
Aragaer
во-первых нет, потому что мы смотрим и на последующие буквы тоже
Aragaer
то есть правильнее обучать такую сеть не через "вот 10 букв, предскажи 11-ю", а "вот 5 букв до и 5 букв после, предскажи потерянную"
Aragaer
а во-вторых если эта нейросеть еще и с реккуретнтым слоем, то там хранится (в черт знает каком виде) информация по предыдущей части предложения (которая с начала предложения накапливалась)
Aragaer
но это уже совсем черный ящик
Anonymous
еще раз намекаю это фази матчинг который без всяких сеточек работает с первых версий текстовых редакторов типа ворд
Aragaer
крч на сгенеренном примере (1000 фраз, каждую повторить 100 раз с рандомными опечатками) у меня сегодня вот seq2seq сеть научилась все это добро исправлять. Но оно не масштабируется на незнакомые символы
Aragaer
нет, потому что фаззи матчинг требует словаря
Anonymous
ну так в чем проблема? он хуже от этого ?
Anonymous
или не работает?
Aragaer
а для моей seq2seq сети нужен только массив весов, который занимает несколько сотен килобайт
Aragaer
.. хотя не, не уверен насчет сотен
Anonymous
словарь самый жирный тоже несколько сотен килобайт
Anonymous
скармливаешь ты в свою сеть по сути тот же словарь но с оверхедом в виде текстов 😂
Anonymous
не?
Aragaer
эмм
Aragaer
нет
Anonymous
просто по хабровски - сеточка, нейроночка
Anonymous
ну а как ?
Aragaer
просто куча матриц float чисел
Anonymous
это векторы слов
Aragaer
нет, векторы символов
Anonymous
сами слова никуда не девались
Aragaer
оно работает посимвольно, о словах ничего не знает
Anonymous
слов
Aragaer
символов
Anonymous
но при этом делает предсказание о словах
Aragaer
нет, символов!
Anonymous
ну ты сам подумай
Anonymous
как это может работать?
Aragaer
блин, у меня исходный код перед глазами
Aragaer
она выдает символы
Anonymous
ну как T9
Aragaer
нет, в т9 словарь слов
Anonymous
правильно
Aragaer
а тут не как т9, тут словарь символов
Aragaer
и предсказание отдельных символов
Anonymous
покажи кусок
Anonymous
кода
Anonymous
ну то есть на чем ты ее тренишь?
Aragaer
https://github.com/keras-team/keras/blob/master/examples/lstm_seq2seq.py - вот исходник "нейросеточки"
Anonymous
или какой-нибудь спайси со встроенными словарями
Aragaer
она ест символы и выдает символы
Aragaer
а треню на текстовом файле да, дооргая да, дорогая да, вдорогая да, дорогая да, дорогая да, дорогая да, дорогая да, дорогая да, дорогая да, дорогая да, дорогая да, дорогая да, дорогая да, дорогая да, одреогая да, дорогая да, дорогая да, дорогая да, дорогая да, дорогая да, дорогая да, дорогая да, дорогая да, дорогая
Aragaer
это кусок, там 700 тыщ строк
Tishka17
Блин. Вроде ничего не менял, а код медленее стал. Как так