причем тут либа?

я про то, что вне зависимости от гетерогенности архитектуры, на каждой ноде все должно считаться оптимально именно для ее ресурсов

и BLAS как бы для этого и создан

Ну и положи jblas или какой нибудь colt и считай

теоретики, вы пробовали это делать?

сравнивали производительность?

там же катастрофа

и да, blas не спасет в большинстве ситуаций

jni реально проблема

Jni не проблема

ок

на котлине UI писать ок

вот эти вот swing huing

по поводу открытых ML либ, не важно на чем, тоже не все прекрасно но спарк наверное наиболее фееричен

напихали решений в лоб, и даже не думали смотреть а параллелится ли оно

И правильно сделали

а есть хоть одно работающее решение deep learning для джавы?

И правильно сделали

нет

Это ж бизнес, нужно продукт давать 'вчера', а потом уже чтот оптимизировать

И правильно сделали

естественно. раз ждут, пока сбт собирает, подождут и пока в кластере посчитается

а есть хоть одно работающее решение deep learning для джавы?

dl4j

dl4j

ох... боль...

боль, но выбора нет

dl4j

и что, оно хоть с tensorflow сравнимо?

нет

Интересно, чем вам jni не угодил? Если не делать коротких и частых вызовов все ок.

Ах да, есть ж jni critical

у меня в одном проекте оказалось существенно быстрее и дешевле скидывать по сети матрицы в сервис с numpy

вот эти вот swing huing

Свинг потихоньку умирает.

проблема с jni в том что ML часто data intensive

проблема с jni в том что ML часто data intensive

Значит нужно юзать jni critical если есть возможность, ну или писать на джаве

Значит нужно юзать jni critical если есть возможность, ну или писать на джаве

в мире, где вычисления нужно делать на GPU

в мире, где вычисления нужно делать на GPU

Обычно это не задачи где нужно делать миллионы вызовов вjni

ну или взять спарк и заплатить в несколько раз больше за обучение моделей

а потом придумывать, как эти модели в продакшене использовать))

Интересно, чем вам jni не угодил? Если не делать коротких и частых вызовов все ок.

скоро же будет project panama

скоро же будет project panama

ну не скоро еще, но у меня даже есть собранная ветка

ну не скоро еще, но у меня даже есть собранная ветка

и как оно? я не пробовал ещё

насчет машинного обучения — с моей точки зрения, нлп удобнее делать именно в джаве (stanford nlp, factorie)

причем последняя на скале

но, может, я не дорос до действительно сложных задач

и как оно? я не пробовал ещё

все зависит от решаемых задач

насчет машинного обучения — с моей точки зрения, нлп удобнее делать именно в джаве (stanford nlp, factorie)

stanford nlp ужасен на dependencies

все зависит от решаемых задач

если смотреть с точки зрения удобства API

stanford nlp ужасен на dependencies

в каком смысле?

после релиза syntaxNet он устарел

в каком смысле?

в смысле качество заметно ниже

насчет машинного обучения — с моей точки зрения, нлп удобнее делать именно в джаве (stanford nlp, factorie)

при наличии nltk это как-то странно

да даже на POS tagging он проигрывает

я активно с ним работал года два назад

тогда всех этих диплернингов не было

действительно оно круче того же CRF для аннотаций? (NER, POS, разные парсеры)

если смотреть с точки зрения удобства API

будет похоже на jnr скорее всего

действительно оно круче того же CRF для аннотаций? (NER, POS, разные парсеры)

для ner и pos оно ещё годится, но на dependency сильно проигрывает

после того, как гугл начал публиковать исследования и открывать код, всё, что старше 2-3 лет стало стремительно терять актуальность =/

насчет машинного обучения — с моей точки зрения, нлп удобнее делать именно в джаве (stanford nlp, factorie)

а там что-нибудь для русского появилось?

а там что-нибудь для русского появилось?

вроде есть предобученные модели, но я только с англ работал

ну так, интересно что там в этих нлп с русским от того, кто что-то в этом понимает

русский дико сложный, вообще говоря

я не видел давно в стенфорде ничего предобученного

после того, как гугл начал публиковать исследования и открывать код, всё, что старше 2-3 лет стало стремительно терять актуальность =/

та я так и понял, что отстал от жизни

надо потратить пару месяцев на воспоминания, и ещё пару на вьезд в тему

ну так, интересно что там в этих нлп с русским от того, кто что-то в этом понимает

с русским примерно так же, как и 5 лет назад. разве что syntaxNet его теперь поддерживает

короче скорее никак

пни кого-то из яндекса у них, говорят, своих наработок хватает

ERROR: S client not available

но те, что в открытом доступе, сырые до невозможности

они даже открывать что-то начинали, но у них с опенсорсом не складывается почему-то

вроде только друид нормально сопровождается

сейчас без сторонних api невозможно просто взять и достать из текста дату или что-то там еще несложное

и то наверняка и там оно на if-ах

сейчас без сторонних api невозможно просто взять и достать из текста дату или что-то там еще несложное

мм, стеммер + регулярки :)

ну такое вот типа "завтра"

без явного формата

дату сейчас и на английском не достать. есть миллион библиотек на if-else / yacc, но каждая по-своему ущербна )

и готовый словарь, конечно

ну как-то там лучше кажется и хоть что-то есть. хотя на англ я совсем не пробовал

на английском парсить руками проще

сентимент анализ на англ вроде есть больше предобученных моделей

а то у нас ведь могут сказать “со вчера до завтрашнего обеда” — и выкручивайся как хочешь =(

ну вообще регулярки — зло в таких задачах я для похожего разбивал на dependency graph и как-то финтил

недалеко ушел от ифов, впрочем

вот это все сильно тормозит текстовые/голосовые интерфейсы. то ничего, что нет в опенсурсе

ну вообще регулярки — зло в таких задачах я для похожего разбивал на dependency graph и как-то финтил

dep graph ломается на ура цифрами =(

хотя у фирм, делающих всяких корпоративных автоответчиков наверняка этих шаблонов сделанных навалом

наверное достают же смысл или посыл запроса, когда человек в поддержку позвонил

ну да, вы упоминали яндекс, он вроде в это вошел

есть куча сервисов типа alchemyapi / api.ai / ...

но они платные)

угу, вот только api

и тоже не делятся

классификатор ашманова туда же

ну это их хлеб, было бы странно, если бы делились

почему-то в интернетах 100500 веб фреймворков открытых, это ничей не хлеб. а вот текстовые модели зажали

возможно не лучший пример, но полно всякого в опенсурсе, что есть чей-то хлеб. или был им

хотя у фирм, делающих всяких корпоративных автоответчиков наверняка этих шаблонов сделанных навалом

самое простое — взять индусов/студентов и полузахардкодить тысячи моделей, с иерархзической кластеризацией

уверен, что 80% всех этих супер-умных диплернингов так и работают

да как-то накостылить/разработать можно, мне все готовое подавай :D