Ruslan
Хороший пример того что нет, это нельзя сделать это никнеймы в battle net близзардов. Буквально на днях играл с челом с ником "стараяблѧдь"
ну допустим у них есть оригинал неискаженный в базе тут расходство в 1 букве - значит подлежит модерации но всем ведь поофиг
Alex
Никита
ага, по расстоянию замены. Чтобы куй попало под хуй
тут уже автоматика врядли поможет
Ivan
ага, по расстоянию замены. Чтобы куй попало под хуй
слова != лексемы. Надо искать корень слова и реализовывать под каждый язык отдельно 😉
Alex
Словом нет, регулярками ты тут не отделаешься.
#свободуНавальному
Да ты просто идею не понял. Забей
#свободуНавальному
😄
Alex
Да ты просто идею не понял. Забей
Я понял что ты хочешь и говорю что нет - простыми инструментами ты задачу не решишь.
Ruslan
какие-то соцсети (может одна) пытались натренировать нейросеть определяющую агрессивность поста - и у них это вроде не очень получилось
Tishka17
Да ты просто идею не понял. Забей
Я бы предложил отпендерить и нейронкой распознать
Tishka17
На вряд ли она легко распознает призывы иметь п∅л∅вую связь с репродукционным органом социально отличающихся категорий мужчин
Pavel
На вряд ли она легко распознает призывы иметь п∅л∅вую связь с репродукционным органом социально отличающихся категорий мужчин
По идее, можно собрать вручную таблицу, где большинство юникода будет визуально подогнано к русским символам
Pavel
А ты когда-нибудь прикасался устами к флейте своего друга?
Я говорил только о задаче про мат и юникод
Alex
Да, задача другого уровня
Tishka17
Это уже не мат, а оскорбление.
Да всем п@&₽й на мат
Pavel
А ты когда-нибудь прикасался устами к флейте своего друга?
Чтобы фильтровать всякие пошлости и оскорбления, то нейронка должна понимать речь
Pavel
Да всем п@&₽й на мат
Табличкой это можно отматчить
Tishka17
Спасает первые недели. Потом люди ставят точки, потом начинают заменять символы на не очень похожие
Tishka17
Потом на платформе рождается свой язык
Anonymous
Ребят, есть хороший питонщик из Москвы? )
Alex
Собственно о чем я и говорил в первом ответе на вопрос.
Alex
Самая совершенная нейронка у людей в голове и мы научились обходить запрет на мат эвфемизмами. Типа гребаный, хрен и тд.
Anonymous
Тебе для еды?
нет, большое проект есть, но человек из Мск должен быть, для встречи
Petr
Народ кто-нибудь эцп рутокин в проекте на питоне использовал?
Pavel
Вам известны какие-нибудь библиотеки для описания регулярных выражений, описывающих сиволы, а не их значения? Или хотя бы такие библиотеки регулярных выражений, в которых можно задавать свои наборы значений. Например я хочу детектить мат и добавляю в фильтр слово "пидарас", любой сможет обойти этот фильтр заменив русские буквы на те же знаки закодированные другим языком, например английским. Например заменят буквы а и с. Я бы хотел составить регулярку, которая будет матчить не код символов, а их представление. Не обязательно на питоне
Для случая с матом, кажется, что библиотека не нужна. Просто составляешь словарик, где ключ - русская буква, а значение - спосок представлений этой буквы. Функция просто сшивает все элементы списка с | и все, только надо экранировать все символы потом для каждой буквы своя регулярка получается. Проблемы будут только в ситуации, когда несколько символов будут означать несколько русских символов
Pavel
Еще пользователям можно будет давать награду, если они будут репортить на ники с матом, и этот ник проверить модератор
Alex
Еще пользователям можно будет давать награду, если они будут репортить на ники с матом, и этот ник проверить модератор
Очевидно плохая идея - люди начнут обузить это поведение чтобы полчить прибыль. Просто создавать акки с матом чтобы их сразу репортить.
Alex
Изначальная идея была чтобы смайлики искать. Т.е. пользователь пишет :) и мы приводим это к smile
Pavel
Очевидно плохая идея - люди начнут обузить это поведение чтобы полчить прибыль. Просто создавать акки с матом чтобы их сразу репортить.
Еще можно сделать так, чтобы репортить можно было только пользователя с некоторым временем на платформе. Хотя эффективное поплнение базы звучит вполне себе хорошо
Tishka17
Ладно. У нас чуть по другому,
Tishka17
Там и нейронки и регулярки и юзеры
Tishka17
А награда есть?
Толоку видел?
Alex
А награда есть?
молодой человек, это не для вас написано
Pavel
Толоку видел?
Нет, что это?
Tishka17
Нет, что это?
Посмотри
Pavel
Посмотри
Что ни придумаю, то оказывается оно придумано до меня
Daniil
как сделать поворот шеи у змеи?
sabsubsib
Что ни придумаю, то оказывается оно придумано до меня
Напиши свою версию, не вижу проблемы
Daniil
pygame
sabsubsib
Pavel
Напиши свою версию, не вижу проблемы
Это не моя задача вообще, а тот, кто спрашивал слился и никак не реагирует на наши дискусии
Pavel
Это точно легально?
Мне, вообще, кажется, что лучше поддержать чужое решение, чем создавать свой велосипед
Pavel
Зависит от обстоятельств
Конечно, бывает ситуации когда стоит делать наоборот, но чаще - нет
Pavel
Например закрытые исходники
Еще например, когда существующее решение не решает твоих проблем, но оно используют недоступную тебе технологию
Pavel
Например закрытые исходники
Или оно говнокод и выстроено неправильно
Pavel
Например закрытые исходники
Или автор нехороший человек
sabsubsib
Pavel
Убивает людей?
Не обязательно, просто токсичный человек
Pavel
Там и нейронки и регулярки и юзеры
Каковы ваши успехи по борьбе с матом?
nmcli
Здравствуйте, может кто пробовал. selenium с firefox в headless mode работает без икс сервера и видеокарты?
Nikolay
как вы это представляете
nmcli
как вы это представляете
Вот поэтому и спрашиваю. С одной стороны лисе нужно где-то рисовать сайт, а с другой стороны хедлесс режим в параметрах
Nikolay
я хром в xvfb запускал, но не headless; фактически ничего не полменялось; но cpu на реднреинг уходил, конечно; некритично было
#свободуНавальному
Для случая с матом, кажется, что библиотека не нужна. Просто составляешь словарик, где ключ - русская буква, а значение - спосок представлений этой буквы. Функция просто сшивает все элементы списка с | и все, только надо экранировать все символы потом для каждой буквы своя регулярка получается. Проблемы будут только в ситуации, когда несколько символов будут означать несколько русских символов
Ты только что придумал регулярные выражения. У меня уже есть poc который примерно так работает. Например есть список букв от а до я и у каждой буквы есть алиасы, под выражение выражение "лох" будут попадать и английские буквы и даже /\ будет интерпретирована как "л", если задана такая связь. Но проблема в том, что PoC код требует ручной вставки алиасов, а на сколько мне известно, в шрифтах используются одинаковые картинки для разных букв и некоторые картинки комбинируются для создания новых символов. Я хочу библиотеку, которая оперирует информацией из шрифтов и генерирует более умный код. Вот о такой и спрашиваю. Если не найду, буду сам писать