Плохая реализация:)

Зы,ребятки подскажите.Есть файлик куда поступает текст построчно,как мне реализовать чтение,чтобы не один и тот же текст выводился (много раз),а при обновлении файла

tail -f file)

Спасибо:-)

Кто-то писал алгоритмы ранжирования web-документов? Нужна помощь!

Поясни. Интересно

Поясни. Интересно

Просто литературы нефига нет на русском, может кто внедрялся, и если есть то оценка документа идёт по wikipedia, а в россии(яндекс) по yarn, вот если кто работал с словарями типа yarn и писал различные классификаторы мог-бы проконсультировать

Поясни. Интересно

Кароче машинным обучением если кто занимался тот мб подскажет

Ну у учебное задание на эту тему было.

Ну у учебное задание на эту тему было.

в приват напиши плз что у тебя там было плз

tail -f file)

надо было скриптик на похапе написать)

Завтра посмотрю что как делатьтподелюсь опытом. В целом текст в вектор.

в приват напиши плз что у тебя там было плз

Да хорошо, но уже завтра

Да хорошо, но уже завтра

завтра отпишу

Но там классификация, не ранжирование.

Да хорошо, но уже завтра

ВСМ алгоритм?

Но там классификация, не ранжирование.

я сейчас про граффы читаю, ток уже писать пора а не читать=)))

Не помню как называется. Но суть текст делаем в вектор. Вырезаем стоп слова + морфология. Дальше классифицирум.

А блин, питон же

Не помню как называется. Но суть текст делаем в вектор. Вырезаем стоп слова + морфология. Дальше классифицирум.

пофигу!

Это же не на пхп надо будет?

А блин, питон же

нет, это учебная фигня т.ч. пофиг

Хорошо пришлю

Это же не на пхп надо будет?

мне главное практически как ты всё реализовывал

Не помню как называется. Но суть текст делаем в вектор. Вырезаем стоп слова + морфология. Дальше классифицирум.

морфология на сколько я понимаю -это лемматизация (стемминг еще может). Таким образом ты в итоге сможешь разве что похожие тексты найти, в ранжировании это вряд ли поможет, хотя для меня понятие ранжирования не очень понятно вообще, что вообще сделать то нужно в nlp как бы очень много всего

мне главное практически как ты всё реализовывал

в чем суть задачи то? вообще простейший способ для работы с текстами -это небольшая билиотечка https://tech.yandex.ru/mystem/doc/grammemes-values-docpage/ и пакет nltk, но nlp сильно широкая тема там подходов в каждой задаче немеренно

в чем суть задачи то? вообще простейший способ для работы с текстами -это небольшая билиотечка https://tech.yandex.ru/mystem/doc/grammemes-values-docpage/ и пакет nltk, но nlp сильно широкая тема там подходов в каждой задаче немеренно

Диплом Алгоритмы ранжирования web-страниц

ну так тебе нужно описать различные реализации скорее, а не изобретать что -то, поскольку писать такой алгоритм -на научную работу тянет, не меньше.

в общем то, что вы обсуждали примерно -это частотный анализ слов, как варраинты векторная модель тот же tfidf (это все гуглится), графы о которой ты говоришь это скорее всего PageRank считать, еще считает mean average precision (хз как оно переводится, усредненная средняя точность, наверно), но это разные подходы и они работают. Тут как бы нужно реализации смотреть и выбирать где лучше результат / подгонять. Прям с ходу простого решения нет, дже библиотеки умеющей все сразу сделать тоже нет вроде, но я совсем поверхностно с nlp знаком, потому хз.

в общем то, что вы обсуждали примерно -это частотный анализ слов, как варраинты векторная модель тот же tfidf (это все гуглится), графы о которой ты говоришь это скорее всего PageRank считать, еще считает mean average precision (хз как оно переводится, усредненная средняя точность, наверно), но это разные подходы и они работают. Тут как бы нужно реализации смотреть и выбирать где лучше результат / подгонять. Прям с ходу простого решения нет, дже библиотеки умеющей все сразу сделать тоже нет вроде, но я совсем поверхностно с nlp знаком, потому хз.

Есть еще комбинированный метод

да их много, но прям подхода единого верного нет, тут даже хз, вот например книжка хорошая http://www.williamspublishing.com/Books/978-5-8459-1623-5.html

в общем то, что вы обсуждали примерно -это частотный анализ слов, как варраинты векторная модель тот же tfidf (это все гуглится), графы о которой ты говоришь это скорее всего PageRank считать, еще считает mean average precision (хз как оно переводится, усредненная средняя точность, наверно), но это разные подходы и они работают. Тут как бы нужно реализации смотреть и выбирать где лучше результат / подгонять. Прям с ходу простого решения нет, дже библиотеки умеющей все сразу сделать тоже нет вроде, но я совсем поверхностно с nlp знаком, потому хз.

И вот его я тоже рассматриваю, но это только в математике

ты в любом случае будешь на разных этапах обработки и подготовки текста разные методы использовать, но прям большая тема. там теории очень мног. посмотри mystem(ее просто использовать можно, там все довольно просто, но она в виде одного файла распространяется без проблем обычно все работает), там много полезного на умеет для подготовки текста, nltk питоновский и word2vec

просто не заморачиваясь можно посчитать колличество вхождений слов и на основе этого строить индекс, например эта штука это делает просто https://github.com/RaRe-Technologies/bounter но это довольно наивный способ, но примерно суть n грамм. без учета последовательности

ну и учти, что нейронные сети -это тяжело (в смысле вычислительных мощностей и сложности модели), но на задачах nlp качество лучше у простых линейных моделей. (это я к тому, что ты говорил о машинном обучении, а оно тут тебе только проблемы создаст, но если это важно - LSTM)

ну и да, еще стоит поискать готовые тулзы, к примеру если строить вектора слов, может быть полезным подобная коллекция эмбидингов https://github.com/bheinzerling/bpemb , но конечно русского там нет (по крайней мере небыло и не планировалось, как сейчас я хз, просто из закладок достал))

ну и да, еще стоит поискать готовые тулзы, к примеру если строить вектора слов, может быть полезным подобная коллекция эмбидингов https://github.com/bheinzerling/bpemb , но конечно русского там нет (по крайней мере небыло и не планировалось, как сейчас я хз, просто из закладок достал))

Спасибо. Оценим

посмотри еще на google scoolar пейперы, там все реализации описанны, например pagerank можно еще и тут найти https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4545754/

ну и учти, что нейронные сети -это тяжело (в смысле вычислительных мощностей и сложности модели), но на задачах nlp качество лучше у простых линейных моделей. (это я к тому, что ты говорил о машинном обучении, а оно тут тебе только проблемы создаст, но если это важно - LSTM)

Теории много, притом в России и СНГ разработок 0!

ну и да, еще стоит поискать готовые тулзы, к примеру если строить вектора слов, может быть полезным подобная коллекция эмбидингов https://github.com/bheinzerling/bpemb , но конечно русского там нет (по крайней мере небыло и не планировалось, как сейчас я хз, просто из закладок достал))

Одни китайцы индусы и америкосы

ну вообще есть, но довольно мало, ресурсов таких нет )

ну вообще есть, но довольно мало, ресурсов таких нет )

Просто начал я с хабры и там такой детсад пишут или детсад переводят

вообще конечно зависит от сроков, но тебе стоит посмотреть летнии школы по теме, тот же http://deephack.me/ там масса лекций и хакатоно по nlp в том числе, с таких "школ" обычно самое ценное выходит) или http://romip.ru/russir2018/russir-2018-program/ но это из того, что мне попадались, где то в Германии и Китае еще были. если прям интересно, то нужно искать и записываться -это лучший способ въехать в тему и сейчас самое время по сезону, чтобы попасть на лето.

вообще конечно зависит от сроков, но тебе стоит посмотреть летнии школы по теме, тот же http://deephack.me/ там масса лекций и хакатоно по nlp в том числе, с таких "школ" обычно самое ценное выходит) или http://romip.ru/russir2018/russir-2018-program/ но это из того, что мне попадались, где то в Германии и Китае еще были. если прям интересно, то нужно искать и записываться -это лучший способ въехать в тему и сейчас самое время по сезону, чтобы попасть на лето.

Со сроками пока все норм. К лету 15.07 диплом на эту делу (

но опять же я прям совсем по верхам плаваю в nlp, попробуй написать вот этому чуваку, думаю если не будет сильно занят найдет время ответить, он вполне адекватный http://www.kansas.ru/pb/ вот кстати у него в дисере 2 раздел "Классификация документов по стилям" может пригодится (ну и там есть список литературы) http://www.dissercat.com/content/metody-povysheniya-effektivnosti-poiska-nauchnoi-informatsii-na-materiale-internet

А дальше 2 года еще

это если не лучший, то один из лучших специалистов в РФ по теме

просто опиши ситуацию, он сможет порекомендовать что -то. И у него курс есть бесплатный https://stepik.org/course/1233/syllabus . Но он прям к русскому привязан.

долбанный ркн. наш гитлаб накрыл.

я вообще не понимаю как вы еще им там стекла не побили))

Некому бить стелка, это роевая некомпетентность

ркн просто исполняет то что ему регуляторы запросили

А регуляторы просто исполняют закон

А закон просто приняли депутаты которые на самом деле были на отдыхе пока за них бегали нажимали кнопки

Всем привет

Некому бить стелка, это роевая некомпетентность

есть, вот исполнители http://e-soft.ru/

Фанат ещё жив?

Фанат ещё жив?

появляется на форуме.

и на реддите тусует

Помню он меня банил году в 2004-2005

:))

Вот было время...

я еще в универе учился... счастливый. не знал про php ничего

Да, пых в те времена был ужасен

Хотя он и сейчас не фонтан

чего это вас в праздник на некрофилию потянуло? )

смешно, пока одни блокируют, другие зарабатывают на vpn > " ГУ МВД России по Ростовской области планирует потратить на аренду каналов для передачи данных 37 миллионов рублей." https://lenta.ru/news/2018/04/20/vpn/

ERROR: S client not available

плз подскажите любой пример) как через рекурсию посчитать, сколько уровней вложенности у масива, универсально, можно направление, но только не в гугл, на ересь всякую попадаю

плз подскажите любой пример) как через рекурсию посчитать, сколько уровней вложенности у масива, универсально, можно направление, но только не в гугл, на ересь всякую попадаю

function count_r($array, $i = 0){ foreach($array as $k){ $i++; if(is_array($k)){ $i += count_r($k); } } return $i; }

function count_r($array, $i = 0){ foreach($array as $k){ $i++; if(is_array($k)){ $i += count_r($k); } } return $i; }

спасибо...махать я тупанул...

Это считает не уровни вложенности а что то другое

Количество элементов

угу число элементов

максимальную вложенность искать код немного похитрее должен быть. максимумы искать и возвращать

ну да не просил же никто точного примера, а этот легко адаптируется, если элементы посчитать задача то тогда count с рекурсивным флагом использовать нужно и все

обычная рекурсия с передачей level и сравнением его с максимумом

а если у нас n-размерная матрица, то еще проще

да не надо передавать level то) просто обновляй максимум, когда надо и ок

Дмитрий прав, Дмитрий

рекурсия...

да не надо передавать level то) просто обновляй максимум, когда надо и ок

глубину то как считать будешь?

https://ru.wikipedia.org/wiki/%D0%9F%D0%B5%D0%BD%D0%BA%D0%B8%D0%BD,_%D0%A1%D0%B5%D1%80%D0%B3%D0%B5%D0%B9_%D0%9C%D0%B8%D1%85%D0%B0%D0%B9%D0%BB%D0%BE%D0%B2%D0%B8%D1%87

что у вас тут за жесть?!

возвращаем максимум в рамках себя, и там предыдущая итерация рекурсии посмотрит больше она или нет)

тудух))

максимум чего?

максимум того, что вернут наши вызовы себя

конкретнее

конкретнее

Наследники сами знают свою глубину

И они ее вернут тебе

эм... откуда?

Ты посчитаешь максимум глуюин наследников прибавишь один и вернешь дальше

Глубина снизу, дима

Не сверху :)

с какого низу

Ну нопешыте уже рабочий код!

плин я с телефона на ходу... и может туплю, но не понимаю

как погружаясь во вложенный элемент... он узнает свою глубину

без передачи в аргументах

Если это обычныц массив его глубина 1