@bigdata_ru

Страница 249 из 327
Egor
23.03.2018
18:57:15
А таких на просторах необъятного СНГ много. Такие и платят за курсы.

Artyom
23.03.2018
19:02:21
я какой-то не типичный преподаватель курсов, мне платят, но если не делают ДЗ, выгоняю))

Dmitry
23.03.2018
19:03:00
Да, типичный преподаватель выгоняет если не платят…

Artyom
23.03.2018
19:03:29
но тут мотивационка, когда человек понимает, что он этого нигде не найдет, по-другому относится

Google
Artyom
23.03.2018
19:05:35
ну то есть мат. описание, программирование он все это в Интернете найдет, а как экономический эффект измерить, как монетизировать модель, P&L анализ сделать - оот это уже интересно

это ж только в книжках отсечку по специфичности и чувствительности ставим

я тут не объективен, там нас в конце немного рекламируют, но посмотрите презентацию https://www.youtube.com/watch?v=G3pbpy8l1Q4

делайте упор на бизнес-аспект DS

Egor
24.03.2018
14:02:33
Кто нибуть знает detectMultiScale из opencv максимум 6 человек находит или я с параментрами что то не так сделал ? String face_cascade_name = "haarcascade_frontalface_alt.xml";..... face_cascade.load(face_cascade_name).... face_cascade.detectMultiScale(frame_gray, faces, 1.1, 2, 0 | CASCADE_SCALE_IMAGE, Size(30, 30))

Mackenlly
24.03.2018
15:53:24
Здравствуйте, коллеги, можете помочь? Вот недавно занялся машинным обучением. Ищу датасет, может кто видел - зависимость частоты пульса от упражнения в спорте. Если кто встречал подобное, отпишитесь плеаз

Viktor
24.03.2018
16:07:54
Здравствуйте, коллеги, можете помочь? Вот недавно занялся машинным обучением. Ищу датасет, может кто видел - зависимость частоты пульса от упражнения в спорте. Если кто встречал подобное, отпишитесь плеаз
Пульс во время упражнений зависит не от упражнений а от режима (интенсивности работы). Кроме того он изменяется даже в рамках одной тренировки. Более того по уму он еще и во время тренировки измеряется, контролируется и корректируется. Короче врядли такой датасет может существовать

Samosvalkin
24.03.2018
17:14:57
вот именно. от человека зависит ещё

dot
25.03.2018
02:48:39
Добрый день всем :) А вы не могли бы помочь разобраться с туториалом по керасу ? Я сделал как та написано но я не все понял. Я так понимаю что чтобы обучить модель нам необходимо сделать определенную структуру директорий. Одна будет training другая validation. Внутри этих двух директорий у нас будут поддиректории . Какждая поддиректория это отдельный класс. Нам нужно называть как то файлы для тренировок и для обучения я так понял. Я сделал свою модель но она не фига не угадывает . Я так понял что это изза того что у меня в папке валидатион всего 150 элементов а в трэнинг 24 000. В туториале там для валидатион имена файлов от балды писались, а в папке трэининг там прямо писалось название фотки типо это собака это кошка. Точнее например dog.234.jpg ну и для кошек примерно так же. Зачем это ? Я раскидал собак и кошек по разным папкам исходя из названия. А вот для папке валидатион не понятно по названию файла где кошка и где собака. Поэтому я нашел 150 изображений кошек и собак и раскидал их там по категориям. Как нужно было правильно делать ? Вот сам туториал по которому я учился https://deeplearningsandbox.com/how-to-use-transfer-learning-and-fine-tuning-in-keras-and-tensorflow-to-build-an-image-recognition-94b0b02444f2

И еще вопрос а есть ли где нибудь перевод официальной документации по керасу на русский ?

и еще у меня вопрос по активаторорам , когда какой активатор ставить ? есть например relu, softmax

Alex
25.03.2018
07:09:19
Привет, в папке validation должна быть такая же структура папок как в train, где название папки - определённый класс. Названия файлов в таком случае не важны Вот тут то, что ты пытался сделать https://www.asozykin.ru/deep_learning/2018/01/06/how-to-prepare-image-dataset-for-keras

Google
Andrey
25.03.2018
07:47:49
лучше сразу научиться писать нормальные итераторы. Пример с такой структурой папок работает только для классификации, и картинки не всегда по папкам разложены

dot
25.03.2018
07:53:09
понял спасибо , щас гляну :)

Vyaches
25.03.2018
07:58:14
Ребят, посоветуйте машинку в районе 100к для сеточек. С видяшкой более менее определился... А процессор/материнку вот даже незнаю какую брать...

dot
25.03.2018
08:05:45
Эмм еще вопрос а откуда люди знают какие слои добавлять? в этом примере пишут model = Sequential() model.add(Conv2D(32, (3, 3), input_shape=(150, 150, 3))) model.add(Activation('relu')) model.add(MaxPooling2D(pool_size=(2, 2))) model.add(Conv2D(32, (3, 3))) model.add(Activation('relu')) model.add(MaxPooling2D(pool_size=(2, 2))) model.add(Conv2D(64, (3, 3))) model.add(Activation('relu')) model.add(MaxPooling2D(pool_size=(2, 2))) model.add(Flatten()) model.add(Dense(64)) model.add(Activation('relu')) model.add(Dropout(0.5)) model.add(Dense(1)) model.add(Activation('sigmoid'))

Andrey
25.03.2018
08:23:08
Ребят, посоветуйте машинку в районе 100к для сеточек. С видяшкой более менее определился... А процессор/материнку вот даже незнаю какую брать...
у меня ASUS Prime B350-Plus, как вариант можно рассмотреть. В нее ставится АМД Ризен, самый мощный, который влазит в бюджет.

Andrey
25.03.2018
08:26:24
не знаю, я брал почти год назад, тогда мой вариант казался самым выгодным

Grigory
25.03.2018
08:27:18
я тоже не знаю, посмотрел просто цены на камни и что-то не увидел сильного ценового преимущества амд свежих процессоров) вот и спросил

Andrey
25.03.2018
08:28:20
https://hard.rozetka.com.ua/amd_ryzen_7_1800x/p14528816/ 8 ядер, частота почти такая же, стоит дешевле, чем https://hard.rozetka.com.ua/intel_core_i7_8700K/p24270050/comments/page=4/?gclid=EAIaIQobChMIxrSa04aH2gIVjr_tCh1U8wp5EAAYASAAEgJgiPD_BwE#tab=characteristics

я брал вообще 4-ядерный, и необходимости апгрейда по процессору пока не ощущаю. Сначала новая видяха, потом больше ОЗУ, и в последнюю очередь проц

Grigory
25.03.2018
08:31:09
Ну там 2-3 тыщи девиация думаю

Andrey
25.03.2018
08:32:21
на 2-3 тыщи лучше лишних 8 Гб ОЗУ взять

Grigory
25.03.2018
08:32:22
интересно увидеть бы реальный бенч какогонибудь конкретного мл кейса на двух процессорах

на 2-3 тыщи лучше лишних 8 Гб ОЗУ взять
Оперативка быстрая не стоит сток)

Andrey
25.03.2018
08:33:14
она и не нужна в таком компе.

Grigory
25.03.2018
08:33:19
ну я в плане про то что б посмотреть какие задачи какой проц лучше решает

не нужна?

Andrey
25.03.2018
08:34:03
надо просто понимать, где узкие места алгоритмов. Если нужно много читать данных, вкладываемся в топовый SSD. Если алгоритм херово параллелится, ставим меньше ядер, но с большей частотой - и наоборот

Grigory
25.03.2018
08:34:31
ну я про то же

Google
Andrey
25.03.2018
08:35:04
Для нервных сеток нужно обеспечить достаточную скорость чтения данных и их предобработки (ресайз картинок, аугментация), чтобы видяха не простаивала.

Сергей
25.03.2018
10:50:15
Всем привет, только начал изучать сверточные сети, и не имею опыта их оптимизации, взял датасета cats vs dogs из kaggle, моя сеть фигово их различает:



увеличивать число слоев?

Изложения ресайжу до 50*50 пикселей

dot
25.03.2018
11:46:18
Слушай а за сколько времени у тебя модель делается ? Сорри за офтоп

dot
25.03.2018
12:01:55
просто у меня она 3 суток считалась

Evgeniy
25.03.2018
12:16:21
просто у меня она 3 суток считалась
за трое суток у меня ResNet-34 на ImageNet тренируется

Boojum
25.03.2018
12:33:22
А какие у вас gpu

Kek
25.03.2018
12:33:48
А какие у вас gpu
Какие пейперспайс дает

dot
25.03.2018
12:49:31
у меня на проце на виртуалке на убунте считает, amd a10-5700

Сергей
25.03.2018
12:56:39
Слушай а за сколько времени у тебя модель делается ? Сорри за офтоп
У меня комп без видео карты, так что, давайте не будем о плохом

dot
25.03.2018
12:57:33
ясно ?

Сергей
25.03.2018
12:58:27
Я уменьшаю датасет до 10 мб

Admin
ERROR: S client not available

Evgeniy
25.03.2018
13:07:23
А какие у вас gpu
1080 ti, titan x, p100

Google
Evgeniy
25.03.2018
13:07:51
указывай имена аргументов, не будут возникать вопросы

Сергей
25.03.2018
13:25:40
указывай имена аргументов, не будут возникать вопросы
так код я с туториала tflearn взял, как там было, та и записал

Dan
25.03.2018
16:02:56
Oleg у нас вакансии не разрешены ?

dot
25.03.2018
21:52:48
Всем доброй ночи :) А может кто натыкался на датасеты с нарисованными от руки планировками этажей ?

Dmitry
25.03.2018
23:41:52
интересно увидеть бы реальный бенч какогонибудь конкретного мл кейса на двух процессорах
Сверточная сеть типа unet, 4 кодирующих слоя, 4 декодирующих, adam с батчсайзом 48 на 1080ti отрабатывает за 3 секунды. Никакой особенной аугментации в течение работы скрипта нет, или все заранее и сохранено в hdf5, или tf выполняет это на видюхе. Первая машина: шестиядерный феном купленный в 2012 году Вторая машина: ryzen 7 1800x Разница в перформансе процентов двадцать. То есть хреновый процессор работает на 1080 ti со скоростью простого 1080. Возможно из-за недостаточного числа pcie lanes. Меня устраивает, учитывая, что разница в цене между ti и не ti тысяч 10, а новый комп - это тысяч 40. Захочется потратить еще 40 тысяч, лучше еще одну видюху куплю.

Ребят, посоветуйте машинку в районе 100к для сеточек. С видяшкой более менее определился... А процессор/материнку вот даже незнаю какую брать...
Оперативки побольше, ssd, БП взять с двухкратным запасом, чтобы особо не грелся при работе. У проца нужно обратить внимание на число pcie lanes, особенно если хочешь взять мать с двумя слотами под GPU на будущее (думаю это неплохая идея, мать и бп выйдут подороже тысяч на 10, зато потом можно будет сэкономить на апгрейде) А вот производительность процессора не так важна, хотя при подготовке датасета приятнее на быстром процессоре работать.

Илья
26.03.2018
05:17:12
Добрый день, господа. Хотел бы поучаствовать в каких-нибудь соревнованиях от Kaggle чтоб попрактиковаться на реальных задачах. Но вот незадача, из видюх у меня только nvidia 740M на ноутбуке. Греется адово, долго гонять вычисления не могу, да и слабовата она. Как выйти из ситуации когда нет подходящих вычислительных мощностей? Может для участников таких соревнований есть какие-то скидки при аренде мощностей в облаке, например на каком-нибудь floydhub?

Zidan
26.03.2018
05:41:50
Всем привет

Помогите решить задачу

Надо распознать показания счетчика

Проксимов
26.03.2018
05:42:34
Уже видел такого бота

Zidan
26.03.2018
05:43:36


Проксимов
26.03.2018
05:48:39
Что за бот ?
Точно не помню, автор вроде в https://telegram.me/joinchat/ABI4pz3M7FCxoDZcdcfVUA

С таким качеством гугл api вполне сойдёт

Александр
26.03.2018
05:50:44
Уже видел такого бота
Который заставляет кожаных мешков решать капчу за него?)

Илья
26.03.2018
05:59:43
Cats vs dogs
Мой вопрос о том где добыть вычислительные ресурсы для таких соревнований. Неужели нет альтернативы тому чтоб покупать Titan V или платить стопицот долларов floydhub-у?

Или DataScience только для состоятельных господ ? :)

Andrey
26.03.2018
06:03:19
Да какой титан, это соревнование на CPU можно зарешать

Google
Илья
26.03.2018
06:03:52
ок, спс

Страница 249 из 327