🕷Ⲥⲡⲩⲇυ ⲙⲩⲏ🕷
Shawn
Александр
Evgeniy
Tigran
Есть, но не размеченный, неизвестно, где опечатки, а где нет
Сойдёт. Можно посчитать встречаемость и отсечь редкие слова, можно для каждого слова найти близкие по Левенштейну и выкинуть те, у которых есть очень близкое и сильно более популяное, можно ещё всякие фокусы делать.
Про это у меня тоже статья есть)
Evgeniy
Denis
А можно символьными свертками угадывать опечатки без словарей?
Tigran
Evgeniy
Tigran
Tigran
Есть ещё какая-то древняя юниксовая утилита (spell?), которая как раз оценивает сомнительность слов по триграммам.
Tishka17
Сейчас приеду домой буду как раз с триграммами в постгресе разбираться
Vadzim
Anonymous
Люди добрые, помогите пожалуйста. тут есть кто работал с pyinstaller ?
Anonymous
Проксимов
Anonymous
Anonymous
pyinstaller --windowed выдаёт ошибку Failed to execute script без флага --windowed скрипт работает как надо
Max
Есть кто знаком с django?
Следующая проблема:
Есть внешняя бд, в которую приступают данные с устройств, но схема не полная и связи не все в ней.
Да и сервер не поднят сейчас, поэтому я сделал на sqlite свою схему в моделях.
Но для демонстрации работы, сервер с бд поднимут, мне надо как-то брать данные из внешней бд и оставить свою схему, потому что в моей есть связи и доп. таблицы, которых там нет
Как поступить в таком случае?
Maxim
Я спустя годы нашёл идеальное решение своего вопроса. 😂
https://t.me/roboxv/33
Evgeniy
Tigran
Триграмма хорошая вещь, но мне кажется хорошо бы как-то юзать контекст
Контекст нужно юзать тоже. Смысл в том, что для слов, которых нет у тебя в словаре (и для которых, соответственно, нет статистики), ты можешь попробовать оценить их правдоподобность исходя из триграмм (или каких-нибудь более сложных моделей вроде нейросеток), распространить на них статистику с похожих слов, которые в словаре есть, и потом сверху на всей фразе начать учитывать контекст (прогнать языковую модель, воспользоваться статистикой по фразам и т. д.).
Evgeniy
Evgeniy
Я сейчас просто пишу маленькую поисковую машинку, хочу автокомплит ввода там сделать, исправляющий опечатки
Evgeniy
Заранее словаря нет
Evgeniy
Есть некий массив текстов, без уверенности, что без опечаток, плюс история запросов
Evgeniy
Опять же, мб и с опечатками
Tigran
Что значит распространить статистику с похожих слов?
Например, у тебя нет статистики для слова “калечить”, поэтому ты не знаешь, насколько правдоподобна фраза “калечить коня”. Но ты знаешь, что оно однокоренное со словом ”калека” и ты знаешь, как часто в корпусе у тебя встречалось "что-то однокоренное с калека + конь” или “что-то однокоренное с калека + что-то однокоренное с конь”. Ещё ты знаешь, что это глагол и знаешь, как часто встречалось “глагол + конь” или “глагол + что-то однокоренное с конь”. Из этих чисел ты можешь попытаться разными способами прикинуть вероятность фразы “калечить коня” и это может быть лучше, чем ничего.
Evgeniy
Например, у тебя нет статистики для слова “калечить”, поэтому ты не знаешь, насколько правдоподобна фраза “калечить коня”. Но ты знаешь, что оно однокоренное со словом ”калека” и ты знаешь, как часто в корпусе у тебя встречалось "что-то однокоренное с калека + конь” или “что-то однокоренное с калека + что-то однокоренное с конь”. Ещё ты знаешь, что это глагол и знаешь, как часто встречалось “глагол + конь” или “глагол + что-то однокоренное с конь”. Из этих чисел ты можешь попытаться разными способами прикинуть вероятность фразы “калечить коня” и это может быть лучше, чем ничего.
Это норм идея, а есть что-то вроде движка регулярок, где вместо символов части речи?
Evgeniy
Evgeniy
Юзер допустим написал кале
Tigran
Но проблему автокомплита не решает
Проблема автокомплита — это вообще другое) В автокомплите довольно трудно сделать что-то, кроме как подсунуть уже популярные запросы, отранжированные как-то
Evgeniy
Evgeniy
Но я хочу как-то выкрутиться из ситуации, когда нечего предложить
Evgeniy
Допустим у меня в истории не было запроса с таким началом, я пытаюсь тогда исправить ввод
Evgeniy
При этом наверное в подсчете левенштейна надо изменить веса действий
Evgeniy
Сделать более легкими приращения
Tigran
Можешь построить опечаточник на всех префиксах слов из словаря (вообще нечищенного), брать по префиксу топ предложений опечаточника, для каждого брать саджест популярных запросов и union результатов по популярности посортировать.
Evgeniy
Evgeniy
Просто гугл как-то собака чистит
Evgeniy
В недописанном слове сразу опечатку фиксит и уже исправленную фразу предлагает
Evgeniy
Еще запросы хранить, тоже такое
Evgeniy
N^2 получается в базе храним
Evgeniy
От символов запросов
Evgeniy
Типа, на запрос в 10 символов храним полный запрос, 9 символов, 8 и тд
Evgeniy
Всего 10 фраз
Evgeniy
Если так не делать, не получится быстро доставать из kv
Андрей
#job #работа #удаленка #вакансия #fulltime #remote
Вакансия Senior Python Developer!
Требуемый опыт работы: более 3 лет
Полная занятость, удаленная работа
Заработная плата: 150’000-220’000 руб.
Обязанности:
• Разработка новых, международных проектов глобального значения, участие в тестировании и развертывании
• Разработка архитектурных решений
• Контроль над внедрением технических решений
Вам предстоит:
• Разрабатывать распределенные высоконагруженные информационные системы
• Разрабатывать объекты бизнес-логики и эффективные методы для доступа к данным
• Оптимизировать скорость обращения к данным
Наши ожидания:
• Опыт работы с PostgreSQL
• Опыт работы с pymc3 и theano
• Понимание основ Machine Learning, куда входит понимание математики и статистики в частности
Пишите @andreygorshkov7
Ортонормированная
решил?
Ну относмтельно, а что?
Ортонормированная
Ортонормированная
Ну что имеется ввиду под мультипоточностью? Распараллелить?
Evgeniy
Evgeniy
Да, распараллелить
Evgeniy
Это имеет смысл, если половина времени работы кода дольше временем запуска процесса
Evgeniy
Т.е. код работает вдвое или более дольше, чем нужно на запуск интерпретатора с 0
Evgeniy
Владимир
Владимир
Вобщем либо ищи тот диалог либо думай так: делители получаются как произведения простых делителей числа. Так?
Если у числа 2 разных простых делителя, то они же 2 уникальных
2 одинаковых - 1
3 разных - уникальные получаем комбинациями (получается больше 3 да ведь?)
Дальше смотри 3 одинаковых, 4 одинаковых
3 из которых 2 одинаковых
И оч быстро дойдет как оптимизировать
Владимир
Я к тому что в любом случае надо сначала оптимальный алгоритм выбирать, потом двигаться в сторону оптимизаций и уж тем более дробления на процессы
Тензорфлоу же если мне не отшибает все оптимизации для матричных умножений вполне использует, а вот уже поверх этого хитрые оптимизации последовательностей операций и вот к этому в придачу распараллеливание. А сейчас логика у тебя такая: есть функция для перемножения двух 2д списков на питоне... ну что можно сделать чтобы ускорить... ну разве что зафигарить мультипроцессинг)
Влад
Здравствуйте. (django)
У меня есть определённый отфильтрованный queryset.
Могу ли я отфильтровать другую модель используя этот queryset?
Anonymous
Anonymous
Shawn
Неплохо)
Winston
Друзья, добрый вечер. Подскажите у меня есть Датафрейм с данными, один из столбцов которых это название страны в строке и есть датафрейм с id стран где в первой колонке название страны во втором id страны, вторйо датафрейм это справочник. Мне нужно добавить конку с id стран с датафреймом с данными. Я через map начал делать и не вышло, забыл ка кэто делается уже. Помогите пожалуйста вспомнить, я помню что делал как-то тривиально достаточно
Anonymous
добр люд, подскажите пожалуйста как даунгрейдить python с версии 3.9 на 3.5?
█ Антон
Tishka17
🕷Ⲥⲡⲩⲇυ ⲙⲩⲏ🕷
Tishka17
Anonymous