самое дешевое - это спотовые инстансы, которые стоили от 10 до 30 центов в час

на aws вроде разные типы есть?

соответственно если планируешь вложить больше чем 175 долларов, g2 становится невыгодным. А 175 долларов это 21 день по цене 30 центов в час

на aws вроде разные типы есть?

ну вон на картинке еще P2 есть, он чуть побыстрее, но не думаю, что спотовая цена на него ниже

вот эти как?

это рекомендация от вендора библиотеке, которую юзаю

так что если мало денег я бы купил 1060 или что там по перфомансу на рубль выгоднее всего (с этими майнерами не поймешь), ну а так 1080TI просто сказка, то, что считается на амазоне ночь ты считаешь за час, в итоге прогресс идет намного быстрее

согласен, что тут время важнее

вот эти как?

с GPU по-моему только G2 и P2, их перформанс на моей картинке есть. P2 работает на уровне 1050TI

у коллеги есть 2 шт. 1080. Видимо придется проставляться....

я вторую сейчас хочу покупать

https://www.avito.ru/syzran/tovary_dlya_kompyutera/1050ti_inno3d_4_gb_garantiya_vga_vyhod_1154640132 ну вот например, отличная штука для начала, окупится по сравнению с амазоном за месяц

Ребят, подскажите, пожалуйста как правильно составлять датасет для тренировки классификатора? Конкретно, как правильнее тегировать изображение, например, дракона: [дракон] или [дракон, мистическое существо, крылья, летает и тд] ?

ну, еще такой момент - шум во вторых - у меня реально на третьи сутки от воя системника начинался уже нервный тик и приходилось выключать обучение чтоб тупо отдохнуть и поспать (а вот эти вот ваши диплернинги прогревают карту на отличненько, и приходилось держать обороты кулера на 80% чтоб по температуре оставаться в пределах нормы)

*расходы на э/э во первых докидывайте к стоимости карты

у меня на балконе системник

радикальный подход к охлаждению

да не, но вот шум не мешает

да не, но вот шум не мешает

++ также делал

да не, но вот шум не мешает

зимой можно крышку открыть и снегом облепить внутри

А если у меня в loss function вызов vgg например, это фреймворк продифференцирует эту самую Vgg по всем ее переменным, или не продифференцирует вообще? ?

есть такое понятие как автоматическое дифференцирование, если фреймфорк это умеет и vgg представлена в виде соответствующей функции, то да

ну, еще такой момент - шум во вторых - у меня реально на третьи сутки от воя системника начинался уже нервный тик и приходилось выключать обучение чтоб тупо отдохнуть и поспать (а вот эти вот ваши диплернинги прогревают карту на отличненько, и приходилось держать обороты кулера на 80% чтоб по температуре оставаться в пределах нормы)

gigabyte gtx10xx[ti] xtreme gaming не слышно, к примеру

Ребят, подскажите, пожалуйста как правильно составлять датасет для тренировки классификатора? Конкретно, как правильнее тегировать изображение, например, дракона: [дракон] или [дракон, мистическое существо, крылья, летает и тд] ?

Правильно так, как позволяет на то бюджет.

Непонял? А причем тут бюджет?

Точнее, кажется, понимаю причем, но всё таки можно подробнее?

Точнее, кажется, понимаю причем, но всё таки можно подробнее?

чем подробнее тем лучше и дороже

так, понял, спасибо! А не в курсе, можно ли кому то зааутсорсить такую задачу?

так, понял, спасибо! А не в курсе, можно ли кому то зааутсорсить такую задачу?

толока и амазоновский сервис с которого ее списали

турк

либо размечать, обучать модель и поправлять

ага, понял, спасибо!

так, понял, спасибо! А не в курсе, можно ли кому то зааутсорсить такую задачу?

Разные компании любят повесить вакансии дата-сатанистов, а на деле, человек сидит и размечает, думая, что он джун и так положено. Такая кабала.

Можно парсить сторонние источники данных, если они есть. Это дешевле и чаще встречается. А вообще, организация сбора данных — часть работы дата-сатаниста

Разные компании любят повесить вакансии дата-сатанистов, а на деле, человек сидит и размечает, думая, что он джун и так положено. Такая кабала.

неужели дешевле той же толоки

неужели дешевле той же толоки

1) nda, на толоку не все хотят всё выставлять 2) мотивация толокера априори меньше ждуна-разметчика

3) Ну и с ждуна спросить можно, оплеух отвесить

есть такое понятие как автоматическое дифференцирование, если фреймфорк это умеет и vgg представлена в виде соответствующей функции, то да

ну, вообщем то если сделать вопрос более глобальным, - вопрос был в следующем - может ли тф (или пайторч с его автоградом) дифференцировать штуку вроде - Mean( Abs (VGGModel.predict(y_true) - VGGModel.predict(y_pred) ) ).

gigabyte gtx10xx[ti] xtreme gaming не слышно, к примеру

Zotac GTX1060 Mini - воет под нагрузной. Ну 1060 все таки погорячее чем 1050ти. Хотя наверное 1060 с топовым охладом (вроде того же хтрем гейминг) тише чем мой зотак.

ну, вообщем то если сделать вопрос более глобальным, - вопрос был в следующем - может ли тф (или пайторч с его автоградом) дифференцировать штуку вроде - Mean( Abs (VGGModel.predict(y_true) - VGGModel.predict(y_pred) ) ).

естественно

ну, вообщем то если сделать вопрос более глобальным, - вопрос был в следующем - может ли тф (или пайторч с его автоградом) дифференцировать штуку вроде - Mean( Abs (VGGModel.predict(y_true) - VGGModel.predict(y_pred) ) ).

но тебе надо просто почитать про gan

а потом почитать их код

ну, я сейчас как раз пилю ган))0

(так себе получается правда)

(так себе получается правда)

ну в пайторч/экзамплс есть ган

ну, я пытаюсь свой ган для суперрезолюшейна запилить (вдохновившить SRGAN)

ну, я пытаюсь свой ган для суперрезолюшейна запилить (вдохновившить SRGAN)

ну если понимание на уровне "можно ли продифференциироавать loss gan'а", стоит почитать чужой код для начала

ну вообщем, и вопрос и про ган тоже - зачем вообще городить вот эти вот combined models Типа G > D и потом обратно G < D, если можно было бы просто вызывать дискриминатор в своем loss function?

ну вообщем, и вопрос и про ган тоже - зачем вообще городить вот эти вот combined models Типа G > D и потом обратно G < D, если можно было бы просто вызывать дискриминатор в своем loss function?

ну дискриминатор обучать надо

ну так мы же его замораживаем когда делаем G > D проход

как раз чтобы он не обучался когда учится генератор

ну а в чем вопрос тогда

если мы можем дифференцировать вот такие штуки как на скришноте (когда мы не лепим VGG поверх сети как в ганах), то почему бы таким же образом не делать в ганах ?

так и делаем же? ?‍♂

вместо vgg вызывая дискриминатор

ну +- конкретная функция loss

(((9 во всех примерах на гите да и вообще во всех - везде именно создание модели содержащей и генератор и дискриминатор, и потом обучение в стиле "тренируем дискриминатор - замораживаем веса дискриминатора - тренируем всю модель d_on_g"

я не понимаю в чем разница

Несколько дискриминаторов запилить таким образом проще, мне кажется

Чем собирать страшную модель G > D1 > D2...

если ты можешь сформулировать в два предложения в чем отличие двух подходов

ERROR: S client not available

то я наконец пойму о чем речь)

концептуально ни в чем - мы и так и так считаем лосс при помощи другой сети

просто пытаюсь понять почему я нигде не видел вот такого кода как на скриншоте)

ребята, есть java big data специалист? на стеке hadoop, hbase, spark и т.д, хотел бы задать пару вопросов?

Задавай. Из 2k человек кто-то точно ответит

Бесплатная екнига от орейли (ничего о ней не знаю, но вдруг кому то интересно) https://conferences.oreilly.com/artificial-intelligence/ai-ny/public/content/the-new-artificial-intelligence-market

Есть ли какой-то известный стек для анализа биг дата в реальном времени? подходит ли вообще hadoop для этого? когда лучше не использовать hadoop? пытаюсь сделать что-то в связке hadoop, hbase, impala. Прка не понятно, оправданно ли это всё? Например есть абстрактный кейс, есть например 3миллиона пользователей соц сети, они каждый день продают друг другу товары, неограниченное количество раз, нужно по требованию брать и считать на какую сумму продал тот то, тот то за такой то месяц или группа лиц купила за такой то месяц

Есть ли какой-то известный стек для анализа биг дата в реальном времени? подходит ли вообще hadoop для этого? когда лучше не использовать hadoop? пытаюсь сделать что-то в связке hadoop, hbase, impala. Прка не понятно, оправданно ли это всё? Например есть абстрактный кейс, есть например 3миллиона пользователей соц сети, они каждый день продают друг другу товары, неограниченное количество раз, нужно по требованию брать и считать на какую сумму продал тот то, тот то за такой то месяц или группа лиц купила за такой то месяц

хадуп для батч обработки больше подходит

для реалтайма это вам очередь типа кафки надо заводить

и разгребать Спарк стримингом или Флинком

Есть ли какой-то известный стек для анализа биг дата в реальном времени? подходит ли вообще hadoop для этого? когда лучше не использовать hadoop? пытаюсь сделать что-то в связке hadoop, hbase, impala. Прка не понятно, оправданно ли это всё? Например есть абстрактный кейс, есть например 3миллиона пользователей соц сети, они каждый день продают друг другу товары, неограниченное количество раз, нужно по требованию брать и считать на какую сумму продал тот то, тот то за такой то месяц или группа лиц купила за такой то месяц

все что влезает в оперативку не бигдата, что такое 3 млн. пользователей, там гигабайт данных хотя бы наберется?

ну я принимаю пачки спарком, обрабатываю rdd и скидываю их в hdfs по средствам hbase

все что влезает в оперативку не бигдата, что такое 3 млн. пользователей, там гигабайт данных хотя бы наберется?

ну да, по сути по этому одному кейсу можно считать около биллиона транзакций в год

за 5 часов 500гб данных

ну я принимаю пачки спарком, обрабатываю rdd и скидываю их в hdfs по средствам hbase

ну это спарк стриминг

если такой микробатч вас устраивает, то все норм

ну это спарк стриминг

а как потом из hbase оперативнинько анализировать этот кейс и вообще нормально ли это так делать?

например в hbase есть счетчики для каждого пользователя, продал купил и я их обновляю

ну в принципе это обычные агрегаты получаются

хранить их по ключу юзера

вполне норм кейз для hbase

но оно почему-то не очень и быстро их агрегирует, по одному пользователю да, по нескольким да - быстро, а если я хочу по всем 3кк взять аггрегацию, то всё - бай бай, минут 15 считает пол терабайта

как вообще анализ брать из hbase? какие есть практики? я пробовал через spark брать rdd из hbase, но там время уходит на поднятие спарк кластеров, это уже не риал тайм анализ

hbase сопроцессоры пробовал, чтоб он считал у себя на кластере и возвращал, дак он вообще уходит в вечное раздумье

за 5 часов 500гб данных

то есть пользователь генерирует в среднем 1.5 мегабайта за 5 часов и выкинуть ничего нельзя?

то есть пользователь генерирует в среднем 1.5 мегабайта за 5 часов и выкинуть ничего нельзя?

хотя наверно 500гигов за 5 часов, это новые данные, потом идёт аггрегация, наверно всего данных не должно быть более 1TB - 2TB

за год примерно 1-2TB наверно

все равно как-то странно, если это торговля, получается какой-то высокочастотный трейдинг, мне просто интересно, где такое встречается

хотя наверно 500гигов за 5 часов, это новые данные, потом идёт аггрегация, наверно всего данных не должно быть более 1TB - 2TB

Тогда это снова не бигдата, купи побольше оперативки и скидывай по итогу на ssd. Чем проще будет решение тем лучше, я вот щас lmdbjava использую, чтобы хранить 20_000_000 ключей В оперативке используй что-нибудь типа SmoothieMap/ChronicleMap, затем сортирую ключи и в lmdbjava последовательно вставляю. Получается очень шустро, даже на ноутбуке.

но оно почему-то не очень и быстро их агрегирует, по одному пользователю да, по нескольким да - быстро, а если я хочу по всем 3кк взять аггрегацию, то всё - бай бай, минут 15 считает пол терабайта

для всех он и не предназначен