я наверно не корректно сформировал свой вопрос

извените, задал преждевременный вопрос, сейчас подумал - я ж могу не заносить в бд нормальные сообщения, а обрабатывать между клиентом и бд, в самой проге, а в бд, записывать только результат для спамных документов ?

ну да) только тебе все равно понадобятся примеры не спама. так что лучше собирай их какое то ограниченное количество просто

Очень скромная зп, не по теме и вообще здесь нельзя вакансии :)

@anastasiafat у нас вакансии не разрешены

на то есть причина

Because Reason

Ребят. Хочу сделать спам фильтр. Знаю только один способ трансформации слов в машинно понятные значения, это tf-idf. Но тут есть проблемка, чтоб научить прогу распозновать спам, ему нужно еще скормить и нормальные сообщения, соответственно если это будет телеграмм бот, с каждым новым сообщением бд будет обонвляться или пополняться. Можно как-то обойтись только спам предложениями, без нормальных сообщений?

В телеграмм уже есть некоторые боты которые со спамом борятся, и я кажется тут писал алгоритм по которому можно проверять

В телеграмм уже есть некоторые боты которые со спамом борятся, и я кажется тут писал алгоритм по которому можно проверять

здорово! но я это пропустил(

И нет, без нормальных сообщений не обойтись в идеале. Но можно и без них, но будет погрешность весьма высока

У меня один бот уже работает с наркотой спамом, часто ловит, но там не используется не спам. И бывают дикие косяки

А готовых сетов я не находил, и весьма специфичен спам

Выход: делайте публичного бота (как я и прочие) и собирайте датасет сами

У меня где-то около 21+ млн сообщений ботом обработано, но спама все равно мало

Точнее, не достаточно для идеала:(

А так, я применяю tf idf, баевский классификатор и ещё ряд параметров. Сам текст + около 8-10 вводных числовых параметров текста. К слову, чисто без текста даже, по этим 8-10 параметрам весьма не плохие результаты получил

А так, я применяю tf idf, баевский классификатор и ещё ряд параметров. Сам текст + около 8-10 вводных числовых параметров текста. К слову, чисто без текста даже, по этим 8-10 параметрам весьма не плохие результаты получил

а что это за параметры?

а что это за параметры?

Не вспомню все которые вывел (и предлагаю подумать самим :)) но на вскидку типо длина текста количество слов, пробелов, смайлов спец символов и тд

Не вспомню все которые вывел (и предлагаю подумать самим :)) но на вскидку типо длина текста количество слов, пробелов, смайлов спец символов и тд

аа) понял, я просто думал какие то не связанные с текстом, такие мы тоже использовали

А так, я применяю tf idf, баевский классификатор и ещё ряд параметров. Сам текст + около 8-10 вводных числовых параметров текста. К слову, чисто без текста даже, по этим 8-10 параметрам весьма не плохие результаты получил

ну фиче инжениринг решает, это естественно)

аа) понял, я просто думал какие то не связанные с текстом, такие мы тоже использовали

Так не связанных с текстом смысл брать) куча критериев характеризующих текст надо же)) Не связанных с текстом лишь ники можно брать авторов думаю но толку мало

привет. Я работаю с датасетом. https://archive.ics.uci.edu/ml/datasets/online+news+popularity Там 58 атрибутов. Хочу выбрать наиболее лучшие для построения модели (около 40) . Используя sciki-learn. Как это сделать?

Хочешь, чтобы тебе scikit-learn выбрал атрибуты?

http://scikit-learn.org/stable/modules/feature_selection.html

Хочешь, чтобы тебе scikit-learn выбрал атрибуты?

da

Кто нибудь разбирался в задачах поиска контуров ?

Почему один контор похож на другой ?

Контур*

У меня один бот уже работает с наркотой спамом, часто ловит, но там не используется не спам. И бывают дикие косяки

Да, встречал нарк спамы, там так описано, что нужно читать подтекст чтоб понять

кто видел примеры Bayesian CNN на Edward?

Да, встречал нарк спамы, там так описано, что нужно читать подтекст чтоб понять

не знаю, я обычно встречаю явный спам. там видно сразу

Ребят, кто-нибудь встречал корпус с размеченными датами на русском языке?

Ребят, кто-нибудь встречал корпус с размеченными датами на русском языке?

датами - в смысле типа "1 декабря 2017 года" ?

можно и с такими, но желательно с разным представлением

можно и с такими, но желательно с разным представлением

так сгенерируйте

допустим с такими "завтра в первой половине дня"

так сгенерируйте

Можно и так, но было бы неплохо, если он где-то есть

Подскажите пожалуйста как с помощью scipy или statsmodels посчитать Scheffe test ?

С помощью R считайте, быстрее будет

В какую крипту вкладываться?))

В какую крипту вкладываться?))

в котиков

В какую крипту вкладываться?))

предлагаю сразу же прекратить этот флуд ?

Народ, подскажите алгоритм по которому можно привести две кривые к одной размерности? Ну, тобишь, "растянуть". К примеру, был вектор данных с размерностью 37. Как привести этот вектор к размерности 100, не теряя при этом сами данные?

Народ, подскажите алгоритм по которому можно привести две кривые к одной размерности? Ну, тобишь, "растянуть". К примеру, был вектор данных с размерностью 37. Как привести этот вектор к размерности 100, не теряя при этом сами данные?

нулями конец забей, спой "ще не вмерла" и закоммить

нулями конец забей, спой "ще не вмерла" и закоммить

Та не, надо именно проинтерполировать както

Та не, надо именно проинтерполировать както

1000 и 1 метод здесь

Народ, подскажите алгоритм по которому можно привести две кривые к одной размерности? Ну, тобишь, "растянуть". К примеру, был вектор данных с размерностью 37. Как привести этот вектор к размерности 100, не теряя при этом сами данные?

ну подумай, как бы ты хотел двумерный вектор в трехмерный превратить

а главное зачем

ну подумай, как бы ты хотел двумерный вектор в трехмерный превратить

та не, ты не понял смысл. У тебя есть изображение размером 1000 на 1000. Тебе нужно из него сделать 500х500. Что ты делаешь? Просто ужимаешь картинку с потерей качества. Так вот, такую же операцию нужно проделать с вектором, тоесть вместо вектора размерностью 10, условно, пикселей, олучить размерность 100. Гугл чет ничего путного не дает. Наверное поздно уже, туплю.

та не, ты не понял смысл. У тебя есть изображение размером 1000 на 1000. Тебе нужно из него сделать 500х500. Что ты делаешь? Просто ужимаешь картинку с потерей качества. Так вот, такую же операцию нужно проделать с вектором, тоесть вместо вектора размерностью 10, условно, пикселей, олучить размерность 100. Гугл чет ничего путного не дает. Наверное поздно уже, туплю.

ну почитай про алгоритмы интерполяции

изображений

та не, ты не понял смысл. У тебя есть изображение размером 1000 на 1000. Тебе нужно из него сделать 500х500. Что ты делаешь? Просто ужимаешь картинку с потерей качества. Так вот, такую же операцию нужно проделать с вектором, тоесть вместо вектора размерностью 10, условно, пикселей, олучить размерность 100. Гугл чет ничего путного не дает. Наверное поздно уже, туплю.

без ответа на вопрос зачем что-то лучше сложно подсказать

без ответа на вопрос зачем что-то лучше сложно подсказать

Просто необходимо привести неоднородные временные данные к одной размерности для того чтобы загнать в нейронку.

ERROR: S client not available

Просто необходимо привести неоднородные временные данные к одной размерности для того чтобы загнать в нейронку.

а данные о времени есть?

Домножь х на повышающий кожффициент чтобы уложить их в одну размерность по длине и построй полином

а данные о времени есть?

Неа. Просто вектора различной величины.

Домножь х на повышающий кожффициент чтобы уложить их в одну размерность по длине и построй полином

а либы есть для этого?

Неа. Просто вектора различной величины.

чутье подсказывает что это плохая идея

чутье подсказывает что это плохая идея

паучье? :D

Здравый смысл) 1

паучье? :D

а что в векторах? опиши задачу по человечески

а что в векторах? опиши задачу по человечески

Окей. Народ, наверное, начнет с этого подхода дикого угарать... В общем, я хочу попробовать порешать задачу speaker recognition без привязки к конкретному тексту. Про то какие сейчас подходы есть почитал, про то как там с помощью чего голос обрабатывается - тоже. Первичные данные получил поигрался, все ок. В общем, идея следующая - попробовать запилить VAE для того чтобы он генерил фичи из голоса. Для этого на вход подаётся отрезок записи голоса, а на выход - другой отрезок. Но при этом обучаться этот VAE будет для одного человека на разных отрезках на входе, и одном отрезке на выходе. (На вход - множество различных отрезков с различными комбинациями слов, на выход - один отрезок с одной фиксированной комбинацией => у меня это одно слово). Но, человеки говорят это слово примерно с одной длительностью, а на деле - есть небольшая(но существенная) разница в количестве семплов. Так вот, хотелось бы привести звуковой отрезок к одной фиксированной длине.... как-то так.

Окей. Народ, наверное, начнет с этого подхода дикого угарать... В общем, я хочу попробовать порешать задачу speaker recognition без привязки к конкретному тексту. Про то какие сейчас подходы есть почитал, про то как там с помощью чего голос обрабатывается - тоже. Первичные данные получил поигрался, все ок. В общем, идея следующая - попробовать запилить VAE для того чтобы он генерил фичи из голоса. Для этого на вход подаётся отрезок записи голоса, а на выход - другой отрезок. Но при этом обучаться этот VAE будет для одного человека на разных отрезках на входе, и одном отрезке на выходе. (На вход - множество различных отрезков с различными комбинациями слов, на выход - один отрезок с одной фиксированной комбинацией => у меня это одно слово). Но, человеки говорят это слово примерно с одной длительностью, а на деле - есть небольшая(но существенная) разница в количестве семплов. Так вот, хотелось бы привести звуковой отрезок к одной фиксированной длине.... как-то так.

а почему бы тебе скользящее окно в rnn не подавать?

а почему бы тебе скользящее окно в rnn не подавать?

потому что в таком случае будет привязка к предыдущему сэмплу. Другими словами - зависимость семпла от букв. Мне нужно чтобы была независимая оценка каждого семпла

потому что в таком случае будет привязка к предыдущему сэмплу. Другими словами - зависимость семпла от букв. Мне нужно чтобы была независимая оценка каждого семпла

ну так он же и на самом деле зависит

ну так он же и на самом деле зависит

хммм. Кажется я кое-что придумал :D Спасибо :)

хммм. Кажется я кое-что придумал :D Спасибо :)

Надеюсь это что-гениальное, ибо мне lstm+ctc дает 12% word accuracy. В прочем, наверное словарь подрезать надо. 545к слов не шутки.

Окей. Народ, наверное, начнет с этого подхода дикого угарать... В общем, я хочу попробовать порешать задачу speaker recognition без привязки к конкретному тексту. Про то какие сейчас подходы есть почитал, про то как там с помощью чего голос обрабатывается - тоже. Первичные данные получил поигрался, все ок. В общем, идея следующая - попробовать запилить VAE для того чтобы он генерил фичи из голоса. Для этого на вход подаётся отрезок записи голоса, а на выход - другой отрезок. Но при этом обучаться этот VAE будет для одного человека на разных отрезках на входе, и одном отрезке на выходе. (На вход - множество различных отрезков с различными комбинациями слов, на выход - один отрезок с одной фиксированной комбинацией => у меня это одно слово). Но, человеки говорят это слово примерно с одной длительностью, а на деле - есть небольшая(но существенная) разница в количестве семплов. Так вот, хотелось бы привести звуковой отрезок к одной фиксированной длине.... как-то так.

distill.pub/2017/ctc

Все уже украдено до нас

distill.pub/2017/ctc

У меня не рекуррентная сеть. У меня просто набор фичей.

Я про идею работы без выравнивания аудиопотока на текстовый транскрипт

Для этого можно просто опенцв

Например canny edge detector

Кто-нибудь знает как решить проблемy недостаточного количества места в корневом каталоге на ubuntu(ака: [Errno 28] No space left on device) при pip install ?

Кто-нибудь знает как решить проблемy недостаточного количества места в корневом каталоге на ubuntu(ака: [Errno 28] No space left on device) при pip install ?

освободить место)

освободить место)

не, не прокатит. На сервере корневой каталог размером всего-лишь 10gb. Переразметку\очистку делать не вариант.

посмотри кто сьел место (не в корень же оно падает) и примапай в тот каталог раздел.

... это как временная неотложная мера.

Это, а кто-то уже пробовал reVISION от Xilinx?