https://tproger.ru/news/openai-five-vs-gamers/amp/

Это была первая игра ИИ в Dota 2 против геймеров-профессионалов. 5 августа 2018 года OpenAI провела матч по Dota 2 между ботами и командами любителей и полупрофессионалов. Соревнование завершилось победой ИИ со счетом 2:0.

Так кто кого обыграл?

боты разгромно проиграли команде профи, но выиграли у рандомной несыгранной команды

Ну выиграли хотя бы, уже хорошо

Это была первая игра ИИ в Dota 2 против геймеров-профессионалов. 5 августа 2018 года OpenAI провела матч по Dota 2 между ботами и командами любителей и полупрофессионалов. Соревнование завершилось победой ИИ со счетом 2:0.

5 выиграли, сейчас проиграли

ну как сказать, с моей точки зрения (много играл в д1, в д2 ориентируюсь "по памяти") у ботов уровень стратегической игры чуть выше нулевого

но скорость реакции используют классно, это да

Roc_auc она хорошо работает для тех случаев, когда данные сбалансированы

ей по барабану на дисбаланс, вот то, что стоимости ошибочной классификации могут при одинаковом AUC быть разными, вот это важно

А вот эти приватные каналы - это какой-то изощрённый спам, что ли?

Просто Виталий Сергиенко некрофил

Чего изощрённый - обычный. Просто напарсить чатов всех подряд - и спамят. Зачем вычищать если проще скопом слать. Небось опять копрокобра гадит

Так поищи anomaly detection в тайм сериях

Это очевидно не то

У Евгения Бурнаева из Сколково были доклады на эту тему

Они как раз поломки какие то детектировали через тайм серии

Вроде поломки датчиков измеряющих температуру асфальта

Но это собственно не важно)

Ребята, хочу посоветоваться с вами. Собираюсь попробовать арендовать спотовый AWS, сейчас упражняюсь в загрузке файлов на бесплатном t2.micro. Проблема собственно вот в чем: на загрузку в инстанс более-менее больших объемов данных, например в >6 ГБ уходит довольно много времени. Сейчас на моём халявном t2.micro на это ушло 23 минуты. Если бы это был дорогой p3 с GPU, то это означает что платя за видюху я ею не пользуюсь целых пол-часа. И это еще мне не требовалось пока устанавливать софт. Как эффективно решить данную проблему простаивания оплаченных ресурсов? Может можно менять конфигурацию инстанса без очистки диска, типа аплоадишь файлы и настраиваешь софт на дешевом t2.micro а потом, когда нужно запустить рассчёты - подключаешь мощное железо?

Ребята, хочу посоветоваться с вами. Собираюсь попробовать арендовать спотовый AWS, сейчас упражняюсь в загрузке файлов на бесплатном t2.micro. Проблема собственно вот в чем: на загрузку в инстанс более-менее больших объемов данных, например в >6 ГБ уходит довольно много времени. Сейчас на моём халявном t2.micro на это ушло 23 минуты. Если бы это был дорогой p3 с GPU, то это означает что платя за видюху я ею не пользуюсь целых пол-часа. И это еще мне не требовалось пока устанавливать софт. Как эффективно решить данную проблему простаивания оплаченных ресурсов? Может можно менять конфигурацию инстанса без очистки диска, типа аплоадишь файлы и настраиваешь софт на дешевом t2.micro а потом, когда нужно запустить рассчёты - подключаешь мощное железо?

@aws_ru

ок

Каким алгоритмом можно сегментированное изображение (детектирование зданий) можно векторизовать, что бы контуры зданий были прямые, а не рваные?

Ребята, хочу посоветоваться с вами. Собираюсь попробовать арендовать спотовый AWS, сейчас упражняюсь в загрузке файлов на бесплатном t2.micro. Проблема собственно вот в чем: на загрузку в инстанс более-менее больших объемов данных, например в >6 ГБ уходит довольно много времени. Сейчас на моём халявном t2.micro на это ушло 23 минуты. Если бы это был дорогой p3 с GPU, то это означает что платя за видюху я ею не пользуюсь целых пол-часа. И это еще мне не требовалось пока устанавливать софт. Как эффективно решить данную проблему простаивания оплаченных ресурсов? Может можно менять конфигурацию инстанса без очистки диска, типа аплоадишь файлы и настраиваешь софт на дешевом t2.micro а потом, когда нужно запустить рассчёты - подключаешь мощное железо?

Из рассказа непонятно где узкое место, поэтому нет возможности дать ценный совет.

Откуда закачка, какие преобразования претерпевают данные, куда они закачиваются, какой фреймворк

В целом это задача фундаментальная, я постоянно с ней сталкиваюсь и решения всегда свои

Откуда закачка, какие преобразования претерпевают данные, куда они закачиваются, какой фреймворк

Закачка происходит с моего жесткого диска. В пакет файлов входит сама программа на питоне, датасет ( в данном случае это текст, т.е. весит немного) и предтренированая модель векторов слов fasttext, которая весит (omg) 6 ГБ. В принципе это стандартная задача, которая на том же floydhub решалась введением репозиториев на ихнем же облаке, и подключением папки с данными в /input/ контейнера. Так что всё было довольно быстро, и при запуске тренировки модели работа начиналась почти сразу, не расходуя арендованное время на передачу данных прям с твоего компа. В AWS мой конфуз был в том, что я не знал как загрузить в облако свои данные до того как пошел отсчёт драгоценного времени аренды видеокарты. В соседней группе мне подсказали что можно менять тип инстанса, так что буду копать в эту сторону. Очевидно, можно закачать в хранилище свои данные под дешевым инстансом, и сделать необходимые настройки, а потом сменить инстанс на какой-нибудь p3 с видюхой и запустить тренировку модели не расходуя время на технические операции.

На всякий случай, ключевое отличие, что тайм серия не одна.

Посмотрите на тайм серии со стороны библиотеки prophet от FB там как раз теория описывается.

Закачка происходит с моего жесткого диска. В пакет файлов входит сама программа на питоне, датасет ( в данном случае это текст, т.е. весит немного) и предтренированая модель векторов слов fasttext, которая весит (omg) 6 ГБ. В принципе это стандартная задача, которая на том же floydhub решалась введением репозиториев на ихнем же облаке, и подключением папки с данными в /input/ контейнера. Так что всё было довольно быстро, и при запуске тренировки модели работа начиналась почти сразу, не расходуя арендованное время на передачу данных прям с твоего компа. В AWS мой конфуз был в том, что я не знал как загрузить в облако свои данные до того как пошел отсчёт драгоценного времени аренды видеокарты. В соседней группе мне подсказали что можно менять тип инстанса, так что буду копать в эту сторону. Очевидно, можно закачать в хранилище свои данные под дешевым инстансом, и сделать необходимые настройки, а потом сменить инстанс на какой-нибудь p3 с видюхой и запустить тренировку модели не расходуя время на технические операции.

можно данные предварительно закачать на ebs/efs/t2, и его маунтить при старте дорогого инстанса

хотя для 6 гб это как-то несерьёзно, я бы забил)

да, канал на t2 и p3 разный

А если мне надо будет питон 3.6 насторить? В официальных AMI с Deep Learning Ubuntu 16 там 3.5 только. Всё-таки придётся наверное менять тип инстанса.

У меня дома тоже разный канал :)

23 минуты качал однако

А если мне надо будет питон 3.6 насторить? В официальных AMI с Deep Learning Ubuntu 16 там 3.5 только. Всё-таки придётся наверное менять тип инстанса.

запускаешь машину с старым ami, ставишь чего надо, сохраняешь свой новый ami, юзаешь уже его

можно вообще прямо в ami загнать данные, если они редко меняются

запускаешь машину с старым ami, ставишь чего надо, сохраняешь свой новый ami, юзаешь уже его

Надо попробовать...

Is there English version of this particular group.. I am not able to get this language

@bigdata_en

Thank you

I just joined the group, thanks once again ?

You're welcome

#рекомендация Как не потратить месяцы и десятки тысяч рублей на поиски годных курсов и литературы по Data Science! Личный экспиренс автора в необычном формате, о том какие скилы подтянуть, на что сделать упор и как строить карьеру https://t.me/mommyscience

Я почти научился вычислять спамеров автоматом, но есть нюансы :)

Я почти научился вычислять спамеров автоматом, но есть нюансы :)

М?

М?

Да ходютъ тут спамботы, рекламируют канал какого-то криптотрейдера очередного :)

Да ходютъ тут спамботы, рекламируют канал какого-то криптотрейдера очередного :)

Да, я вычищал парочку, меня заинтересовало «автоматом»

Да, я вычищал парочку, меня заинтересовало «автоматом»

Я фиксирую паттерны поведения. И "автоматом" - ставлю триггеры на такие события. Некто повторил действия один-в-один как спамбот - сразу триггер: потенциальная угроза. Далее проверка, есть ли общие чаты, активность в них, аватар, юзернейм, адекватность юзернейма. Шансы не считал, но вероятность опеределения спамера высокая

Пишу бота который убьет этого трейдера Вильнюсова лично

Пишу бота который убьет этого трейдера Вильнюсова лично

Это не выход. Формально, он "не уиноуат". Потому что "заказывал продвжение канала", а какими методами - это "не его дело". Разумеется, это ложь, но это не проверить. Так что он вроде как не виновен. Да и поддержка телеграма тоже отказывается накладывать ограничения на него, потому что не он занимается спамом, а кто-то. А вот связаны ли они - не известно. Ведь это могла бы быть и провокация, чтобы "убрать" этого трейдера из телеграма :)

ERROR: S client not available

В общем, бороться мы можем только реактивно, и только со спамерами и их методами.

Я фиксирую паттерны поведения. И "автоматом" - ставлю триггеры на такие события. Некто повторил действия один-в-один как спамбот - сразу триггер: потенциальная угроза. Далее проверка, есть ли общие чаты, активность в них, аватар, юзернейм, адекватность юзернейма. Шансы не считал, но вероятность опеределения спамера высокая

И когда это заработает)?

И когда это заработает)?

Ой надеюсь скоро. Но я очень ленивый в этом плане :)

Кстати, я тут думаю над определением мета вопросов в чатиках

Чтобы оперативно neprivet.ru отсылать

Можно просто на "привет" сделать хайлайт с автоответом

Можно просто на "привет" сделать хайлайт с автоответом

Хочу умнее

Ловить не только приветы

Например: «Можно ли задать вопрос?» «кто-то шарит в n?” «Могу ли я спросить по поводу k” “Есть кто разбирается в m”?

жениться вам надо барин (с)

Главный вопрос в разметке датасета

Есть два пути. Добавлять руками, либо парсить стековерфлоу и считать вопросы с минимальным количеством слов в предложении

А почему бы не выпиливать все ссылки, кроме тех, которые предваряются каким-то значком? Тип "#$@ ссылка" не удаляется, а "ссылка" удаляется.

Я бы пошёл по "ручному" пути, датасет будет уникальным. Но времени много займёт

Можно еще на Толоке задание сделать )

Можно еще на Толоке задание сделать )

Во во

Стартап запустить.

Во во

Дать историю чатиков и пусть размечают

+ скорее всего +- 10 сообщений после каждого джойна

А мотивация?

А мотивация?

Лень руками набирать ссылку на непривет

Я понимаю если бы коммерция, а так...

Мотивация чего? )