потому и не нахватает лишнего

несколько десятков

Как ты разбивку по множествам, кстати, делаешь?

Train, test, validation

Как ты разбивку по множествам, кстати, делаешь?

20% сразу прячется "подальше"

оставшиеся 80% пользуются для CV через разбиение 4fold, 10раз. Т.е. 40 раз.

после того как модель найдена через 4fold CV по 40 забегам (4x10), вынимаю загашник 20% и смотрю резалт

он идёт в глобальный score, который я выводил выше

Нормально

всё это проделывается на множестве задач - порядка 3000

3000 фирм

и уже по ним строятся средние о которых я писал

щас ищу в инете все упоминания fail-ов xgboost, для понимания что же является "плохой" областью

редко, очень редко встречаются такие, но все в области time series, что характерно

http://ellisp.github.io/blog/2016/11/06/forecastxgb

не хотел я стакингом заниматься, но наверно придётся строить... ну хоть что то xgboost должна же высосать

т.е. взять Ridge за основу и прикрутить туда xgb на резидуалс или как то ещё

редко, очень редко встречаются такие, но все в области time series, что характерно

У time series проблемы с функциональным приближением градиента ошибки

[:|:|:|:]

я вроде знаю этот стартап

они всех хотят обучать с помощью AI, который обучается образцовыми учителями (репетиторами)

Много их

если ничо не путаю

друзья. всем привет. кто может подсказать, как при помощи сверточной сети попробовать спрогнозировать перемещение обьекта? чтобы было понятно: есть поле давления,и два поля скорости ветра(по Х и по У). Как спрогнозировать перемещение на основе данных о скорости ветра? Логично, что нужен кодировщик... но вот более конкретно. Слои, функции активации, и т.д. Задача не обычная, информации в интернете не нашел((. Может быть кто-нибудь чтонибудь подскажет?Есть идеи?)

Обучающая выборка нужна, а не слои с кодировщиками

в школе вроде без сверточных сетей обходились при решении таких задач)

Обучающая выборка нужна, а не слои с кодировщиками

выборка длиной в 4 года устроит? Данные уже есть, теперь разбираюсь с алгоритмом...

а выборка из каких данных состоит? интересно просто, решаю похожую задачу но без сеток. а в каком масштабе решается задача?

что с этим делать знает кто? IPython.core.error.UsageError: Invalid GUI request 'inline', valid ones are:dict_keys(['none', 'osx', 'tk', 'gtk', 'wx', 'qt', 'qt4', 'qt5', 'glut', 'pyglet', 'gtk3'])

что с этим делать знает кто? IPython.core.error.UsageError: Invalid GUI request 'inline', valid ones are:dict_keys(['none', 'osx', 'tk', 'gtk', 'wx', 'qt', 'qt4', 'qt5', 'glut', 'pyglet', 'gtk3'])

поменять ключ на валидный

а выборка из каких данных состоит? интересно просто, решаю похожую задачу но без сеток. а в каком масштабе решается задача?

Выборка состоит из полей интересующих величин(к примеру: давление, температура, ветер, и т.д)

поменять ключ на валидный

поменял на osx

Выборка состоит из полей интересующих величин(к примеру: давление, температура, ветер, и т.д)

Что есть поле величины?

Табличку с парой строк бы увидеть...

Что есть поле величины?

Поле давления: [[1000,1001,1004], [1000,1002,1003], [1001,1003,1003]]

Только в масштабе земного полушария, к примеру.

Тогда да, можно свертки применять

На вход 3d-тензор с пространственными измерениями и глубиной по числу величин (t, давление)

В пространстве сколько точек? 100х100, 1000х1000?

В пространстве сколько точек? 100х100, 1000х1000?

Не имеет значения. Любые размеры. Если с шагом по планете в 1 градус, то 180*360.

Всем привет. Мне нужно собрать датасет из сообщений/постов/статей с тематикой оскорбления чувств верующих, призывов к митингам, продаже наркотиков, проституции и подобного рода тематик. Где лучше собрать? Хочу по апи вк, но не могу подобрать нормальные ключевики для поиска (все время одна порнуха). Буду очень благодарен за любую наводку)

можем сюда накидать

шутка

Давайте все вместе поднажмем

сначала нужно попросить индульгенцию у модератора

Всем привет. Мне нужно собрать датасет из сообщений/постов/статей с тематикой оскорбления чувств верующих, призывов к митингам, продаже наркотиков, проституции и подобного рода тематик. Где лучше собрать? Хочу по апи вк, но не могу подобрать нормальные ключевики для поиска (все время одна порнуха). Буду очень благодарен за любую наводку)

призывы к митингам как то вроде не оч вписываются в список))

а тут все пойдет

что якобы мешает информационной безопасности общества

ну да, так и понял) забавно просто

что якобы мешает информационной безопасности общества

Ну смотри. Составь список прошедших митингов спорных

И по датам делай поисковый запрос к вк-ленте

Найдешь анонсы мероприятий

сижу, слушаю и офигеваю

Там же комментарии и репосты анонсов и комментарии к ним

Вот тебе и будет "материал"

Конституция РФ Статья 31 Граждане Российской Федерации имеют право собираться мирно без оружия, проводить собрания, митинги и демонстрации, шествия и пикетирование.

С оскорблениями сложнее, но вспомни последние муссируемые в СМИ истории типа Матильды и покемонов в храмах - по этим словам аналогично насобирай из ленты + комментарии репостов - срач там будет в ассортименте.

Конституция РФ Статья 31 Граждане Российской Федерации имеют право собираться мирно без оружия, проводить собрания, митинги и демонстрации, шествия и пикетирование.

существует ли отдельно список всего, что могут трактовать оружием?

Конституция РФ Статья 31 Граждане Российской Федерации имеют право собираться мирно без оружия, проводить собрания, митинги и демонстрации, шествия и пикетирование.

И это прекрасно, что мы живём в такой свободной стране

я бы посмотрел на решения суда которые принимались по этим статьям. там-то точно плохие тексты.

И это прекрасно, что мы живём в такой свободной стране

я иногда перечитываю конституцию РФ (и всем советую), очень отрезвляет.

я иногда перечитываю конституцию РФ (и всем советую), очень отрезвляет.

И на трезвую голову конституции других стран читали? Где именно вам бы бОльше хотелось жить?

чятаны, давайте с политикой завязывайте

И на трезвую голову конституции других стран читали? Где именно вам бы бОльше хотелось жить?

купить остров, обьявить королевством

купить остров, обьявить королевством

Отличный план ?

Сколько % done?

Читаю сейчас Брэнсона, так тот себе остров (Некер) всего за 175 тысяч фунтов купил когда-то

Правда инфраструктура намного дороже обошлась

Для ИИ спеца это не деньги, ребят

существует ли отдельно список всего, что могут трактовать оружием?

Существует готовая классификация вплоть до указания дульной энергии снаряда

Существует готовая классификация вплоть до указания дульной энергии снаряда

где? и пользуется кто-то?

Anyone looking for junior assistance?

AIs promise and risks https://www.techgig.com/tech-news/AI-s-promise-and-risks-136237

Не имеет значения. Любые размеры. Если с шагом по планете в 1 градус, то 180*360.

Значение имеет. 1000х1000 в VGG или другой подобной архитектуре потребует овердофига памяти GPU. А так - начните с обычной архитектуры Lenet

На входе все равно почти что картинка, на выходе - надо решить, но пусть даже вектор координат

Всем доброго утра! Интересует вопрос в ритейле и продуктовой аналитике Пробовал ли кто-нибудь считать: - ценовую эластичность по товарам на основе исторических данных по продажам и изменению цен - взаимное влияние цен различных товаров друг на друга (например, товар подорожал, но у него есть товар-заменитель и все продажи перемещаются туда, или наоборот подешевел, и начинает подъедать продажи похожих товаров)

Предположу прежде чем пытаться это счетать вам стоит пообщаться с кем-то из крупного ретейла, кто с этим связан. Т.к. есть ощущение, что крупный ретейл сознательно старается вести к неэластичности.

Всем привет! Есть база данных, в которой хранятся адреса производителей продукции. Эти самые адреса вносятся вручную пользователем, а хранятся они убожествейнишим образом - varchar. То есть в общем итоге, в базе куча дублирующихся адресов, которые отличаются друг от друга перестановкой слов и сокращениями. Каким вариантом можно решить проблему с дублированием? Я начиталась про MDM системы, может кто посоветует насчет них?

Всем привет! Есть база данных, в которой хранятся адреса производителей продукции. Эти самые адреса вносятся вручную пользователем, а хранятся они убожествейнишим образом - varchar. То есть в общем итоге, в базе куча дублирующихся адресов, которые отличаются друг от друга перестановкой слов и сокращениями. Каким вариантом можно решить проблему с дублированием? Я начиталась про MDM системы, может кто посоветует насчет них?

Почему не использовать готовое решение, например https://tech.yandex.ru/maps/geocoder/ ?

Просто возможно, в дальнейшем может возникнуть проблема не только с адресами... хотелось бы универсальное решение проблемы дублирования

Предположу прежде чем пытаться это счетать вам стоит пообщаться с кем-то из крупного ретейла, кто с этим связан. Т.к. есть ощущение, что крупный ретейл сознательно старается вести к неэластичности.

Это не так)

Это не так)

Расскажите о своё опыте) Просто на "эластичность" влияет ассортимент и выкладка. Это как раз то в чём Ашаны эксперты. Там наверняка есть свой взгляд на эти вопросы

Просто возможно, в дальнейшем может возникнуть проблема не только с адресами... хотелось бы универсальное решение проблемы дублирования

"универсального решения" любых проблем скорее всего нет либо оно будет стоить вам как Боинг. Так что как предлагали выше начните с геокодера яндекса

Просто возможно, в дальнейшем может возникнуть проблема не только с адресами... хотелось бы универсальное решение проблемы дублирования

Если этого будет действительно много и хочется поддерживать велосипед - MDM звучит хорошо. А так у Яндекса есть ещё справочник по организациям (хоть я и не уверен, насколько он хорош в данном конкретном случае).

Велосипед поддерживать мало хочется, но базы на пару лямов записей и постоянно пополняются. Пока мне сообщили только о дублировании с адресами и наименованием производителей, а что еще может вскрыться, кто знает. Для аналитики хотелось бы чтобы базы были приведены в порядок и в дальнейшем бардак не разводить.

Велосипед поддерживать мало хочется, но базы на пару лямов записей и постоянно пополняются. Пока мне сообщили только о дублировании с адресами и наименованием производителей, а что еще может вскрыться, кто знает. Для аналитики хотелось бы чтобы базы были приведены в порядок и в дальнейшем бардак не разводить.

Честно говоря не знаю, как тут поступить лучше. Мне кажется, что можно сделать для аналитики маленький кастомный велосипед с заменой сокращений (их можно искать с помощью частотного анализа) и оценки расстояния по, например, мешку слов.

Хорошо, спасибо большое за совет :)

Всем привет! Есть база данных, в которой хранятся адреса производителей продукции. Эти самые адреса вносятся вручную пользователем, а хранятся они убожествейнишим образом - varchar. То есть в общем итоге, в базе куча дублирующихся адресов, которые отличаются друг от друга перестановкой слов и сокращениями. Каким вариантом можно решить проблему с дублированием? Я начиталась про MDM системы, может кто посоветует насчет них?

можно взять алгоритм для сравнения похожести слов. дальше разбиваешь каждый адрес на слова, таким образом адрес представляется как множество слов. и считаешь для каждой пары адресов коэффициент жаккарда, где совпадающими считаешь очень близкие слова. эмпирически подбираешь значение при котором два адреса объявляются одинаковыми. в моем случае сравнивались названия фирм, было в районе 0.7