@dmalkr тут нету?

Можно в гиттере в ruhaskell спросить

Хм, попробую

В этом чате никто не знает алгоритмов постройки контекстно-свободных грамматик по корпусу предложений?

Ради интереса: какие именно грамматики?

Эм, контекстно-свободные)

Можно уточнить вопрос?

Ну они разные бывают. Контекстно свободные это как класс грамматик. Не уверен конечно в своей правоте

Короче, у меня есть корпус вопросов к боту

Городить под них регексы надоело

Да я при первом прочтении подумал о контекстно зависимых. Энивей интересно конечное применение

Нейросетки это хорошо, но не нейросетками едиными, и там тоже не все так чисто

Хочу типа кучу разных вариаций более компактно хранить

И более систематически что ли

А еще smoke тесты генерить из разных наборов хороших и плохих stdout'ов

А ещё (мне человеку отдаленному) корпус звучит так как будто есть единый формат хранения корпусов

Нету) но это не проблема

Как будто тебе кинут прогу и ты сразу туда корпус

Ну конвертнуть придется, как всегда

Вообще 80% датасаенса это конверторы)) если на практике

Чистка датасетов, какие-то преобразования, нормализация, дебиасинг итд

вспомнил. https://api.ai/ вот такую штуку на работе использовали. Дурацкая вещь на самом деле - парсер как сервис. Кто-то умелый видимо смог продать это организации. Ну и сейчас задумался как у тебя может выглядеть корпус. Скорей всего там либо перечилсены все варианты предложений с плейсхолдерами под даты, время и тд. Либо она уже представлена в bnf. в обоих случаях там должно быть очень большое описание чтобы не взяться за написание парсера вручную

Корпус это вообще то что люди вводили

То что не попало под рукописную грамматику в частности

Так что там нету ни бнф ни плейсхолдеров, в том-то и дело

Кстати, а чем плох парсер как сервис?

Кстати, а чем плох парсер как сервис?

тратить деньги на то что мобилка могла бы и сама осилить. лишняя задержка для пользователя.

ну ты можешь подумать что там же предоставляется и спич рекогнайзер, но нет. это был отдельный сервис

тратить деньги на то что мобилка могла бы и сама осилить. лишняя задержка для пользователя.

мне вот кстати неочевидно что парсинг поместится на мобилку

не говоря уже об доучивании

у простенького стэнфорд парсера которому сто лет в обед - моделька для одного английского языка весит больше гига

гугл для транслейта очень гордился тем что смог ужать пару EN-DE в менее 200 метров, чтобы сделать офлайновый

ну и тд

короче я не уверен что контекстно-свободные языки гарантируют однозначность вывода. если не гарантируют то нужна моделька для вывода. но так до этого я подразумевал обычные детерменированные парсеры как в языках программирования. понятно что для норм нлп это не годится но для тупого бота пойдёт

кстати вообще не имею представления насколько тупые/умные у гугл транслейта механизмы. ну то есть наверное кроме слов, нейронок обученных на предложениях есть ещё какое то знание о языковой модели

короче я не уверен что контекстно-свободные языки гарантируют однозначность вывода. если не гарантируют то нужна моделька для вывода. но так до этого я подразумевал обычные детерменированные парсеры как в языках программирования. понятно что для норм нлп это не годится но для тупого бота пойдёт

контекстно-свободные языки, кстати, не являются детерминированными в общем случае ;)

и например Earley парсеры парсят такое нормально, выдавая разные варианты

у ГТ механизмы менялись from scratch уже раз 10 наверное

в блогах писали

кстати вообще не имею представления насколько тупые/умные у гугл транслейта механизмы. ну то есть наверное кроме слов, нейронок обученных на предложениях есть ещё какое то знание о языковой модели

Недавно нейронку впилили

у ГТ механизмы менялись from scratch уже раз 10 наверное

лол ни разу не ощущал

в комьюнити всяких переводчиков бывают батхерты на эту тему)

Вечер в хату, кодеры и кокодеры

Где в этот раз ссылку запостили?:)

В чате про зависимые типы ??☺️☺️

В чате про зависимые типы ??☺️☺️

а есть такой?)

++ дайте ссылку

Invite link: https://t.me/joinchat/AAAAAD9SWO-kmHf9o6Cn-Q

Ну идея что пойдут те кому интересно

а кто-нибудь щупал propellor ?

когда я его последний раз смотрел, он умудрялся не работать на базовых кейсах. но после этого чувак выступал на каких=то эвентах, продвигал его

может, оно живое.

или лучше научиться nix для деплоймента - алсо, кто=нибудь так делает?

все таки не люблю ansible, прям мутит каждый раз когда надо опять его использовать.

У нас делают, но я не умею

Точнее у нас адищще мы никсом генерим rpm репу, а дальше с нее обновляется

Но скрипты обновления это чужое legacy

казалось бы, rpm это как раз тот ад, от которого должен был избавить nix

Ну там огромная инфраструктура на рпм

Нам бы не дали ее менять

Но тут получилось что есть и старая инфраструктура и бонусы от никса

ну ладно, но все таки - кто как еще деплоится?

в перспективе надо бы еще и виртуалки оркестрировать

Паппет : (

в пропеллоре кстати какое-то колыхание наблюдается, т.е чел не забил

меня удручает, что весь этот "деплоймент" можно нафигачить на баше или туртле - возможно, быстрее чем разбираться с остальным

Вот есть такое дело, у меня с новыми технологиями вообще проблемы

В смысле что я частотные понимаю нафига оно

меня удручает, что весь этот "деплоймент" можно нафигачить на баше или туртле - возможно, быстрее чем разбираться с остальным

докер же?

хаха нет

ну и не решает

а чо нет? удобно вроде

про докер в продакшене тут прям надысь был знатный срачь

да не вижу как он поможет

ссылку?

сейчас

ну как, собираешь в одном месте, разливаешь образы по машинам

https://thehftguy.com/2016/11/01/docker-in-production-an-history-of-failure/

раз

https://medium.com/@demeliorator/docker-in-production-a-cargo-cult-and-the-rise-of-church-of-metrics-b0472148d939#.o1cpmr1sb

два

почитаю у меня чёт граблей с ним почти и не было

с сетью было давно ещё

но в данном случае мне ближе позиция первого чувака. т.е докер да, решает, как зависимостями какого-нибудь рубипитонапхпапачамускула

не засрать напрочь всю систему

но у нас с хаскеллем в условиях выпиленной СУБД проблемы совсем другие

в общем случае их да, решает ансибль, но уж больно он мерзкий

ну и вообще если динамически линкуешься с чем-то то помогает

ну и не атомарный и не идемпотентный

ансибл работает но ебучие yml эти

на которых логику писать

в нашем случае проблема была только с libgmp на старом дебиане