
Александр
07.11.2016
09:32:33
Товарищи, кто нибудь занимался обработкой естественного языка?
NLP поще говоря

Vic
07.11.2016
09:34:12

Александр
07.11.2016
09:34:24
Что юзал?

Google

Vic
07.11.2016
09:35:16
nltk, glrparser
pymorphy2

Александр
07.11.2016
09:35:52
Для каких целей?

Vic
07.11.2016
09:37:01
извлечение информации, классификация

Александр
07.11.2016
09:38:20
Я вот чат бота сделать хочу, поинраться
Поиграться
Не супер сложного, простенького

魯
07.11.2016
09:45:58
для чат бота не обязательно нлп использовать
простые запросы вполне шаблонами ловятся
а нормальную лингвистику пилить долго
мы уже почти год api.ai пилим

Levent
07.11.2016
09:51:48

魯
07.11.2016
09:52:18
обработчик языковых запросов

Google

Damir
07.11.2016
09:53:56
Есть у когонибудь примеры ваших работ на джанго?
всмысле прям в нете посмотреть

魯
07.11.2016
09:54:07
есть

Vic
07.11.2016
09:54:08
для чат бота не обязательно нлп использовать
О, так это вас Гугл купил?) Я заглядывал в доки ваши: у вас там все равно шаблоны задаются юзером, слова для типовых ответов. Я тк понимаю, чтобы дать разметку для последующего машинного обучения под предметную область?

魯
07.11.2016
09:54:13
но под нда ?

Damir
07.11.2016
09:54:20
покажите, если не жалко

魯
07.11.2016
09:54:52

Nikolay
07.11.2016
09:55:43
спайсы

Damir
07.11.2016
09:56:20
Узнал много про язык, но без привязки к какой либо прикладной области. До этого с вебом дел не имел. Писал на с# wpf. Хочу посмотреть что люди делают. Сказать "как же классно, тоже так хочу делать".

Nikolay
07.11.2016
09:56:59
почему питонжив тольков восточной европе? в западной - с ним только на помойке рыться, чтоб заработать что-то

魯
07.11.2016
09:57:19
боюсь, что глядя на мой код, такое не скажешь )

Artur
07.11.2016
09:58:57
https://www.youtube.com/watch?v=-e8dmF5lU_0

Vic
07.11.2016
10:00:13
ага, нас
да, после 10 запросов начинает мл работать
Как спец, ответите на вопрос, везде его писал, но ничего не нашел: как делать извлечение информации для предметной области с фичами-категориями? Пример: есть корпус текстов про банки, в нем много разных продуктов банка и проблем их, надо все их найти в тексте, это и морфология и синтаксический анализ + семантика. Можно это сделать нейросетью без предварительной разметки? Если с разметкой, то как размечать, т.к. это онтология: Кредиты - кредиты потреб., кредиты на машину, кредиты ипотека, далее от каждой подкатегории уже названия кредитов, которые люди пишут в тексте.
Это не позитив/негатив, там просто разметка около текста pos neg, а тут у каждого текста кучу фич надо вручную выискивать??

魯
07.11.2016
10:03:13
да, мы сначала приличный корпус руками размечали

Vic
07.11.2016
10:05:21

魯
07.11.2016
10:05:38
нет, конечно
это ж гугл

Аркадий
07.11.2016
10:06:01
а как гугл узнал про вас?

魯
07.11.2016
10:06:44
мы прямой конкурент

Google

魯
07.11.2016
10:06:46
были
раньше основным продуктом был ассистент

Аркадий
07.11.2016
10:07:33
Расскажи, если не сложно, как происходил процесс покупки вас

魯
07.11.2016
10:08:25
да мне как рядовому сотруднику про процесс почти ничего не рассказывали
просто объявили в один момент, что вас купили, радуйтесь, все дела

Аркадий
07.11.2016
10:09:05
а были вы просто стартапом?

魯
07.11.2016
10:09:13
да

Eldar
07.11.2016
10:09:52
а nda не запрещает об этом говорить?

魯
07.11.2016
10:10:20
я ничего такого не рассказал
статья про покупку была уже
а про процесс я и не рассказал ничего )
но нда у них какие-то совсем лютые

魯
07.11.2016
10:12:05
как и требования к безопасности

Аркадий
07.11.2016
10:12:35
скорей всего и зп соответствующие

魯
07.11.2016
10:13:02
пока не ощутили

Аркадий
07.11.2016
10:13:11
ну вот :(

Vic
07.11.2016
10:13:15

Аркадий
07.11.2016
10:13:33

魯
07.11.2016
10:14:23
а вот тут я уже насчет неразглашения таких вещей не очень уверен
нас друг другу то попросили свои зп не раскрывать

Google

魯
07.11.2016
10:16:40
я, правда, не в курсе сколько получают лингвисты в гугле, так что сравнить не могу

Subbotin
07.11.2016
10:18:56
https://www.python.org/dev/peps/pep-0498/
Блин. Вот это начало пепа: "Существуют три разных способа сделать одно и тоже, так что мы придумали четвертый." Интересно можно ли в пеп вставлять картинки? Надо было вставить туда всем известный комикс.

Eldar
07.11.2016
10:21:41

魯
07.11.2016
10:22:10
понятно, что в договоре это не прописано, просто есть устные договоренности

Eldar
07.11.2016
10:23:24

魯
07.11.2016
10:23:45
ну так и есть

Admin
ERROR: S client not available

魯
07.11.2016
10:24:03
если я узнаю, что кто-то получает больше меня, начнется фигня, допустим
начальству это не нужно

Eldar
07.11.2016
10:25:53
Эх, а ведь зарплаты в отрасли могли быть ещё выше)

b0g3r
07.11.2016
10:27:12

Stanislav
07.11.2016
10:31:19
У нас также, это в любой конторе так

魯
07.11.2016
10:33:11
это везде так, я думаю

Stanislav
07.11.2016
10:34:30
Это норма
Лишняя паника на галерах не нужна

Artyom
07.11.2016
10:35:32
Вопрос. Есть библиотека для симуляции логических цепей для питона? Краткий гуглинг дал только библиотеку для отрисовки схем. Может кто знает

Stanislav
07.11.2016
10:37:32
Нету
Ну я не находил

Artyom
07.11.2016
10:38:43
Спасибо. Придется свой костыль пилить

Google

Stanislav
07.11.2016
10:39:19
Могу помочь, если на гитхабе запулишь

Artyom
07.11.2016
10:40:23

Stanislav
07.11.2016
10:41:09

Artyom
07.11.2016
10:41:25
@stasfilin спасибо)


Vic
07.11.2016
10:50:42
Вопрос по ElasticSearch http://stackoverflow.com/questions/39837890/elasticsearch-make-facets-by-category-for-complex-query?noredirect=1
Кратко: надо фасеты по сложным категориям, которые вычисляются в процессе поиска. Я сам нашел решение такое: https://www.elastic.co/guide/en/elasticsearch/reference/1.7/search-request-named-queries-and-filters.html именованные запросы, каждому подзапросу should дать имя и потом фильтровать. Но делать я это должен уже сам в коде и писать эти категории в базу, что не очень хорошо (сейчас так сделано).
Сразу еще вопрос, чтоб не раскидывать по чату: https://discuss.elastic.co/t/get-termvectors-in-search-result/62508
Кратко: не нашел способа как мне к каждому запросу в результате получать те слова, которые найдены в тексте. Это термвекторы (https://www.elastic.co/guide/en/elasticsearch/reference/1.7/docs-termvectors.html), я их в консоли вижу, а мне надо их в результате поиска. И опять же надо в базу их писать, чтобы во вьюсе показывать.
Юзаю либы: https://django-haystack.readthedocs.io/en/v2.5.0/searchquery_api.html и
http://elasticsearch-dsl.readthedocs.io/en/latest/
(еще не решил какую юзать, но первая не работает с эластик 2.4, только 1.7)
ребят, продублирую вопрос, а то в ленте постов затонул, тут вроде был человек, который знал ответ


Stanislav
07.11.2016
10:56:10
Vic щя попробую найти IRC чат там где чуваки с еластика сидели

Vic
07.11.2016
10:56:37

Stanislav
07.11.2016
10:57:06
Vic #elasticsearch
Это ирка
Vic https://webchat.freenode.net/#elasticsearch
Vic я раньше там вопросы задавал, хз жив чат еще или нет

Vic
07.11.2016
11:01:54

Stanislav
07.11.2016
11:02:52
Это ИРК) он древний) первоистоки)

魯
07.11.2016
11:03:39
поколение, которое не знает про ирк ))

Stanislav
07.11.2016
11:04:19
@mrukhlov а жаль) я досих пор в некоторых каналах)
Кстати, джаббер еще жив? Ну не протокол xmpp а сам джаббер как чат

arisu
07.11.2016
11:45:15
конечно
в узких кругах

C
07.11.2016
11:46:19
единственный безопасный мессенджер