Спасибо, успокоили мой гуманитарный разум ?

а вообще за полгода реально написать что-то стоящее, если я полный нуб в этом деле?

Командой из пары десятков специалистов, подогретых охуллиардом денег - реально

там нужно было по статье в википедии и данному вопросу понять релевантен ли вопрос статье, чот такое

Задача на 2 порядка проще анализа правильности русского текста

это ж диплом, можно взять самые простые правила для примера

а потом наращивать сложность и идти уже на кандидатскую

Самые простые правила хардкодятся просто, и в этом нет новизны и актуальности даже для диплома

Если обработка текста такая легкая, то почему гугл переводит так плохо?)

Командой из пары десятков специалистов, подогретых охуллиардом денег - реально

Жопа.

Ну у меня есть вариант если что использовать готовое АПИ, которое можно совершенствовать)

И в которое добавлять правила к 250 существующим

Машинное обучение тут где?

Машинное обучение тут где?

В использовании АПИ)

Машинное обучение тут где?

В совершенствовании системы, у которое есть апи) потому что она открыта для обучения вроде как

Жопа.

Тут интересно то, кто твой научный руководитель и чем он занимается. В том смысле, что задача непростая, а науч рук должен хорошо оценивать твою способность подобный проект осуществить. На мой взгляд, без бэкграунда будет сложновато

Тут интересно то, кто твой научный руководитель и чем он занимается. В том смысле, что задача непростая, а науч рук должен хорошо оценивать твою способность подобный проект осуществить. На мой взгляд, без бэкграунда будет сложновато

Научник вообще мобильными сетями занимается :( У меня кафедра совсем не об этом, просто для поступления в магистратуру решила делать этот проект, чтобы потом продолжить над ним работать.

А вообще на сетевого инженера учусь ?

Научник вообще мобильными сетями занимается :( У меня кафедра совсем не об этом, просто для поступления в магистратуру решила делать этот проект, чтобы потом продолжить над ним работать.

фиговая затея имхо

Научник вообще мобильными сетями занимается :( У меня кафедра совсем не об этом, просто для поступления в магистратуру решила делать этот проект, чтобы потом продолжить над ним работать.

Это очень плохо. Я сам сейчас в похожей ситуации и я столкнулся с крайне существенными проблемами из-за этого

лучше делай то в чем научник разбирается а на магу найди чела который в теме

а пока сам въезжай

Да уже поздно тему менять, ахаха

лучше делай то в чем научник разбирается а на магу найди чела который в теме

Люто плюсую. Скорее всего, человек если и разбирается в твоей теме, то со временем ты поймёшь, что он больше у тебя под ногами мешается, чем тебе помогает

Просто ее можно по разному обыграть

Эту тему

Да уже поздно тему менять, ахаха

Уже какие-то документы оформлены?

Уже какие-то документы оформлены?

Заявление подписано

Типа задание на работу итд?

Понял

Пока никаких подробностей, что должно быть внутри, нет

Ну тогда остаётся только коптиться в задачу и пробовать сделать по своим возможностям и умениям.

Просто в чем проблема: я очень много работаю с текстом и очень часто не замечаю свои опечатки, поэтому хочу систему, которая будет делать это за меня. Есть один проект, который платный, и всё. Остальные работают не так хорошо. С русским языком очень мало хороших систем. А я хочу бесплатный и открытый проект делать

Я бы так сказал

На мой взгляд, тут очень все сильно зависит от тебя, раз тебе не смогут особо помочь. Если у тебя, например, была хорошая математика и программирование, где тебя реально выдрессировали, то тогда теоретически можно равняться на то, что говорили ребята выше: типа, в тех штуках разобралась, разберёшься и в этом. Но если все не совсем так, тогда стоит готовиться к тому, что надо будет приложить усилий чуть более, чем дохера) Не подумай, что я как-то запугиваю, просто это личный опыт, который оказался негативным)

Да даже не то что хорошая математика, а ты просто можешь дела до конца доводить и работать усердно, скорее так.

Да, я понимаю, спасибо)

Да, я понимаю, спасибо)

Плюс ко всему, я вот какое-то время уже мл занимаюсь, но я слабо представляю, где данные для обучения такой модели брать. На русском для таких специфических задач часто бывают проблемы с тем, чтобы что-то найти. В общем, ладно, это все общие слова. По существу: 1) попробуй сформулировать на английском запрос, найти основные ключевые слова по данной теме, потом нарыть какие-нибудь статьи. 2) поищи работы по частеречной разметке (pos-tagging) и походи по ссылкам, которые в них даются. Скорее всего, в таких системах это применяется (не знаю, не уверен, если что- не бейте). Возможно, что там найдешь что-то полезное. 3) в репке Кати Демидовой на гитхабе, которую тебе кинули почти сразу после твоего вопроса найди ссылку на чат по nlp в телеге, и задай свой вопрос там.

Как-то так)

ооой, спасибо большое за помощь

Не за что)

всем привет) а что можно почитать по интеллектуальному анализу текста? С чего начать изучение темы? Выбрала тему диплома: создание веб-сервиса для проверки текста на соответствие правил русского языка (тему выбрала сама, легких путей не ищу). Нашла, конечно, открытое АПИ одного сервиса, но хочется попробовать написать систему анализа самой. А опыта — ноль. С чего начать вообще не знаю, потому что всю жизнь занимаюсь тем, что пишу про стартапы и бизнес.

Если хочется похайпить на нейросеточках, то я бы предложил: 1. Намайнить заведомо-грамотные тексты. 2. Сделать искусственную выборку, в которой текст портится какими-нибудь легкопрограммируемыми методами (опечатки, лишняя/убранная пунктуация). 3. Обучить, например, transformer, который будет по испорченному тексту "восстанавливать" неиспорченный. 4. Обучить классификатор, который будет для каждой конкретной ошибки предсказывать её тип (тут можно синтетически сгенерировать выборку с различными типами ошибок). Но это всё долго и нетривиально.

кстати, с текстами вообще проблем нет) у меня своих много :D

кстати, с текстами вообще проблем нет) у меня своих много :D

Я бы добил классикой из открытых источников хотя бы до 100M предложений

Я бы добил классикой из открытых источников хотя бы до 100M предложений

да, тоже вариант

Войну и Мир, например, ахаха

Там 31к

Из них значительная доля на французском

Зачем я полезла в этой дерьмо. Могла же как и все сделать интернет-магазин...

Зачем я полезла в этой дерьмо. Могла же как и все сделать интернет-магазин...

Подумай ещё о том, что интернет-магазины прибыльнее, чем это дерьмо!

Ничему меня жизнь не учит. Вечно ищу себе проблемы))

?

Слушай своё сердце. К чему тебя больше тянет тем и надо заниматься

Слушай своё сердце. К чему тебя больше тянет тем и надо заниматься

бухать например

Не стоит

ок

ERROR: S client not available

стопе

а че платят в этой области?

Вакансии у нас под запретом, за крайне редким исключением

200+ я и формошлепать под айфон могу

а тут технологии

инновации

бигдата

ну, +, возможно плюс большой, так сложно обсуждать что-то)

Ребята, а есть группа, где GameDev обсуждается с применением ML?

Ребята, а есть группа, где GameDev обсуждается с применением ML?

https://github.com/goq/telegram-list там были группы по геймдеву точно

https://github.com/goq/telegram-list там были группы по геймдеву точно

Спасибо)

всем привет) а что можно почитать по интеллектуальному анализу текста? С чего начать изучение темы? Выбрала тему диплома: создание веб-сервиса для проверки текста на соответствие правил русского языка (тему выбрала сама, легких путей не ищу). Нашла, конечно, открытое АПИ одного сервиса, но хочется попробовать написать систему анализа самой. А опыта — ноль. С чего начать вообще не знаю, потому что всю жизнь занимаюсь тем, что пишу про стартапы и бизнес.

Может поможет. https://nlpub.ru/%D0%9E%D0%B1%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%BA%D0%B0_%D1%82%D0%B5%D0%BA%D1%81%D1%82%D0%B0

Может поможет. https://nlpub.ru/%D0%9E%D0%B1%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%BA%D0%B0_%D1%82%D0%B5%D0%BA%D1%81%D1%82%D0%B0

если мне вообще что-то уже поможет :D

У тебя уже выбора нет) Либо менять тему.

да я поняла уже всю безысходность своего положения)

да я поняла уже всю безысходность своего положения)

так смени тему

Андрей: Всем привет! Здесь кто-то имел дело с генерацией сетью чего-то подобного выборке? Не очень понятно как это делается если не использовать автоэнкодер. Что подаётся на y?

так смени тему

да у меня всё получится

Андрей: Всем привет! Здесь кто-то имел дело с генерацией сетью чего-то подобного выборке? Не очень понятно как это делается если не использовать автоэнкодер. Что подаётся на y?

gan?

Андрей: Всем привет! Здесь кто-то имел дело с генерацией сетью чего-то подобного выборке? Не очень понятно как это делается если не использовать автоэнкодер. Что подаётся на y?

я вот сегодня пробовал лица генерировать. пока что получается неочень

https://machinelearningmastery.com/text-generation-lstm-recurrent-neural-networks-python-keras/ Нашел вот такую вещь, но не пойму по какой логике они y формируют

@chr0non я бы на твоём месте не стал повторять такое

ok

подскажите пожалуйста как правильно прочитать текстовый файл в питоне? Если пробовать вот так: def read_file(filename): file = unidecode.unidecode(open(filename, encoding='utf-8').read()) return file, len(file) то вываливается со ошибкой "Недопустимая инструкция (сделан дамп памяти)" сам файл прикрепляю (может с ним что не так?)

просто читал что если декларация кодировки файла не соответствует фактической кодировке файла то будут проблемы, но как узнать нормальная у меня декларация?

подскажите пожалуйста как правильно прочитать текстовый файл в питоне? Если пробовать вот так: def read_file(filename): file = unidecode.unidecode(open(filename, encoding='utf-8').read()) return file, len(file) то вываливается со ошибкой "Недопустимая инструкция (сделан дамп памяти)" сам файл прикрепляю (может с ним что не так?)

def read_file(name): with open(name, encoding='utf-8') as file: return file.read()