Tigran
Как исправлять опечатки, не имея словаря?
На корпусе википедии можно собрать словарь же
Shawn
Александр
RFC
➕
Evgeniy
На корпусе википедии можно собрать словарь же
Допустим, у меня специфические бизнес-термины, и они постоянно появляются
Tigran
Допустим, у меня специфические бизнес-термины, и они постоянно появляются
Ну тогда надо придумать, откуда словарь собрать. Может, какой-то user-generated content есть?
Evgeniy
Ну тогда надо придумать, откуда словарь собрать. Может, какой-то user-generated content есть?
Есть, но не размеченный, неизвестно, где опечатки, а где нет
Tigran
Есть, но не размеченный, неизвестно, где опечатки, а где нет
Сойдёт. Можно посчитать встречаемость и отсечь редкие слова, можно для каждого слова найти близкие по Левенштейну и выкинуть те, у которых есть очень близкое и сильно более популяное, можно ещё всякие фокусы делать. Про это у меня тоже статья есть)
Denis
А можно символьными свертками угадывать опечатки без словарей?
Tigran
Ага, я тебе потому вопрос и задал, что увидел ее в профиле. Но там как раз все основано на наличии словаря в постановке задачи.
Да? Наверное, я это опустил. В статье Гугла, на которую я ссылаюсь, просто отсекают по встречаемости, а я делал всякие разные чистки и ещё с учётом особенностей русского языка.
Tigran
Есть ещё какая-то древняя юниксовая утилита (spell?), которая как раз оценивает сомнительность слов по триграммам.
Tishka17
Сейчас приеду домой буду как раз с триграммами в постгресе разбираться
Anonymous
Люди добрые, помогите пожалуйста. тут есть кто работал с pyinstaller ?
Anonymous
pyinstaller --windowed выдаёт ошибку Failed to execute script без флага --windowed скрипт работает как надо
Max
Есть кто знаком с django? Следующая проблема: Есть внешняя бд, в которую приступают данные с устройств, но схема не полная и связи не все в ней. Да и сервер не поднят сейчас, поэтому я сделал на sqlite свою схему в моделях. Но для демонстрации работы, сервер с бд поднимут, мне надо как-то брать данные из внешней бд и оставить свою схему, потому что в моей есть связи и доп. таблицы, которых там нет Как поступить в таком случае?
Maxim
Я спустя годы нашёл идеальное решение своего вопроса. 😂 https://t.me/roboxv/33
Tigran
Триграмма хорошая вещь, но мне кажется хорошо бы как-то юзать контекст
Контекст нужно юзать тоже. Смысл в том, что для слов, которых нет у тебя в словаре (и для которых, соответственно, нет статистики), ты можешь попробовать оценить их правдоподобность исходя из триграмм (или каких-нибудь более сложных моделей вроде нейросеток), распространить на них статистику с похожих слов, которые в словаре есть, и потом сверху на всей фразе начать учитывать контекст (прогнать языковую модель, воспользоваться статистикой по фразам и т. д.).
Evgeniy
Я сейчас просто пишу маленькую поисковую машинку, хочу автокомплит ввода там сделать, исправляющий опечатки
Evgeniy
Заранее словаря нет
Evgeniy
Есть некий массив текстов, без уверенности, что без опечаток, плюс история запросов
Evgeniy
Опять же, мб и с опечатками
Tigran
Что значит распространить статистику с похожих слов?
Например, у тебя нет статистики для слова “калечить”, поэтому ты не знаешь, насколько правдоподобна фраза “калечить коня”. Но ты знаешь, что оно однокоренное со словом ”калека” и ты знаешь, как часто в корпусе у тебя встречалось "что-то однокоренное с калека + конь” или “что-то однокоренное с калека + что-то однокоренное с конь”. Ещё ты знаешь, что это глагол и знаешь, как часто встречалось “глагол + конь” или “глагол + что-то однокоренное с конь”. Из этих чисел ты можешь попытаться разными способами прикинуть вероятность фразы “калечить коня” и это может быть лучше, чем ничего.
Evgeniy
Юзер допустим написал кале
Tigran
Это норм идея, а есть что-то вроде движка регулярок, где вместо символов части речи?
Прям такого я не видел, но всякие готовые лемматизаторы и токенизаторы для популярных языков обычно существуют.
Tigran
Но проблему автокомплита не решает
Проблема автокомплита — это вообще другое) В автокомплите довольно трудно сделать что-то, кроме как подсунуть уже популярные запросы, отранжированные как-то
Evgeniy
Но я хочу как-то выкрутиться из ситуации, когда нечего предложить
Evgeniy
Допустим у меня в истории не было запроса с таким началом, я пытаюсь тогда исправить ввод
Evgeniy
При этом наверное в подсчете левенштейна надо изменить веса действий
Evgeniy
Сделать более легкими приращения
Tigran
Можешь построить опечаточник на всех префиксах слов из словаря (вообще нечищенного), брать по префиксу топ предложений опечаточника, для каждого брать саджест популярных запросов и union результатов по популярности посортировать.
Evgeniy
Просто гугл как-то собака чистит
Evgeniy
В недописанном слове сразу опечатку фиксит и уже исправленную фразу предлагает
Evgeniy
Еще запросы хранить, тоже такое
Evgeniy
N^2 получается в базе храним
Evgeniy
От символов запросов
Evgeniy
Типа, на запрос в 10 символов храним полный запрос, 9 символов, 8 и тд
Evgeniy
Всего 10 фраз
Evgeniy
Если так не делать, не получится быстро доставать из kv
Андрей
#job #работа #удаленка #вакансия #fulltime #remote Вакансия Senior Python Developer! Требуемый опыт работы: более 3 лет Полная занятость, удаленная работа Заработная плата: 150’000-220’000 руб. Обязанности: • Разработка новых, международных проектов глобального значения, участие в тестировании и развертывании • Разработка архитектурных решений • Контроль над внедрением технических решений Вам предстоит: • Разрабатывать распределенные высоконагруженные информационные системы • Разрабатывать объекты бизнес-логики и эффективные методы для доступа к данным • Оптимизировать скорость обращения к данным Наши ожидания: • Опыт работы с PostgreSQL • Опыт работы с pymc3 и theano • Понимание основ Machine Learning, куда входит понимание математики и статистики в частности Пишите @andreygorshkov7
Ортонормированная
решил?
Ну относмтельно, а что?
Evgeniy
Асинк? 0_0
Не понял вопрос
Ортонормированная
Ну что имеется ввиду под мультипоточностью? Распараллелить?
Evgeniy
Да, распараллелить
Evgeniy
Это имеет смысл, если половина времени работы кода дольше временем запуска процесса
Evgeniy
Т.е. код работает вдвое или более дольше, чем нужно на запуск интерпретатора с 0
Ruslan
Мультипроцессинг же
У него маленький цпу баунд, может проще треды?
Evgeniy
У него маленький цпу баунд, может проще треды?
перебор же чистый, числодробилка
Владимир
Ну что имеется ввиду под мультипоточностью? Распараллелить?
Гм да при чем тут мультипроцессинг - обсуждпли же и Tishka17 вчера или позавчера как раз наводил человека на мысль каким условиям эти числа должны удовлетворять
Владимир
Ну что имеется ввиду под мультипоточностью? Распараллелить?
Речь все еще про числа с 3 уникальными делителями?
Владимир
Вобщем либо ищи тот диалог либо думай так: делители получаются как произведения простых делителей числа. Так? Если у числа 2 разных простых делителя, то они же 2 уникальных 2 одинаковых - 1 3 разных - уникальные получаем комбинациями (получается больше 3 да ведь?) Дальше смотри 3 одинаковых, 4 одинаковых 3 из которых 2 одинаковых И оч быстро дойдет как оптимизировать
Владимир
Я к тому что в любом случае надо сначала оптимальный алгоритм выбирать, потом двигаться в сторону оптимизаций и уж тем более дробления на процессы Тензорфлоу же если мне не отшибает все оптимизации для матричных умножений вполне использует, а вот уже поверх этого хитрые оптимизации последовательностей операций и вот к этому в придачу распараллеливание. А сейчас логика у тебя такая: есть функция для перемножения двух 2д списков на питоне... ну что можно сделать чтобы ускорить... ну разве что зафигарить мультипроцессинг)
Shawn
nometa.xyz
Вводишь хомячков в заблуждение?)
Влад
Здравствуйте. (django) У меня есть определённый отфильтрованный queryset. Могу ли я отфильтровать другую модель используя этот queryset?
Shawn
Неплохо)
Winston
Друзья, добрый вечер. Подскажите у меня есть Датафрейм с данными, один из столбцов которых это название страны в строке и есть датафрейм с id стран где в первой колонке название страны во втором id страны, вторйо датафрейм это справочник. Мне нужно добавить конку с id стран с датафреймом с данными. Я через map начал делать и не вышло, забыл ка кэто делается уже. Помогите пожалуйста вспомнить, я помню что делал как-то тривиально достаточно
Anonymous
добр люд, подскажите пожалуйста как даунгрейдить python с версии 3.9 на 3.5?
█ Антон
добр люд, подскажите пожалуйста как даунгрейдить python с версии 3.9 на 3.5?
Рядышком устанавливай , они никак друг другу не мешают
Tishka17
добр люд, подскажите пожалуйста как даунгрейдить python с версии 3.9 на 3.5?
Зачем тебе 3.5? У него срок поддержки уже кончился
🕷Ⲥⲡⲩⲇυ ⲙⲩⲏ🕷
Зачем тебе 3.5? У него срок поддержки уже кончился
Увидел 3.5, подумал ты про камри 😂
Anonymous
Зачем тебе 3.5? У него срок поддержки уже кончился
скомпилить exe шник, а то говорят что из под 3.9 pyinstall криво работает, да и на сайте pyinstall говорит что максимум 3,5
Anonymous
Чо
ыы))