@bigdata_ru

Страница 119 из 327
Denis
08.08.2017
11:52:53
Artem
08.08.2017
11:54:36
тем, что ADLS + ADLA выйдет дешевле. К тому же, здесь ты можешь прикрутить нужный тебе функционал на C# (таким образом расширив возможности T-SQL), а так же код, написанный на R или Python'e

Google
Artem
08.08.2017
11:56:58
а точнее с HDInsights, верно ?)

Evgeniy
08.08.2017
11:57:39
я работал с data lake, в одном мега энтерпрайзе, какая-то часть из open-source мира, какие-то части свои

большая помойка, способная кушать данные с доступных каналов, в любых форматах ну и естественно аналитика сверху

Artem
08.08.2017
11:58:57
ну тут не "естественно", а "самое главное", как мне кажется

Evgeniy
08.08.2017
11:59:13
тот же data ingestion tool свой был

Dmitriy
08.08.2017
12:12:52
Котики, а тут вакансии размещать вообще можно?

Alex
08.08.2017
12:13:46
Многабукв. вакансии запрещены, какими бы они ни были. агенты тем более.

Dmitriy
08.08.2017
12:14:15
Оке

Dan
08.08.2017
12:21:28
Котики, а тут вакансии размещать вообще можно?
если ты агент - да. если ты представитель компании, которая остро нуждается в поиске специалиста именно в этом чате - можно подумать в индивидуальном порядке. исключения из правил есть всегда

Dan
08.08.2017
12:23:37
думаешь "котиком" называет не агент?
да от него за милю пахнет агентом. но я так, на всякий случай напоминаю что в действительно экстренных ситуациях исключения возможны. а вот из агентов мы фарш делать будем ?

Vo
08.08.2017
12:28:15
#полезное #математика #алгебра #math Может кому пригодится, серия неплохих noob-визуализаций разных аспектов линейной алгебры https://www.youtube.com/playlist?list=PLZHQObOWTQDPD3MizzM2xVFitgF8hE_ab

Alex
08.08.2017
12:32:06
??

Google
Maxim
08.08.2017
12:32:48
А кто-нибудь пробовал вставлять в нейросети функцию активации в веса, а не по выходу? Вышло из этого что-то интересное? Может, сетям надо больше нелинейности, чем линейности...

tonko
08.08.2017
12:34:08
как это, в веса? соединить несколько сеток последовательно?

Maxim
08.08.2017
12:35:54
Ну после умножения на вес добавлять bias, пускать на Relu, а потом только все на сумматор

Т.е. сделать нелинейностей по числу весов

Henadz
08.08.2017
12:36:42
просто первым слоем сетки станут нейроны с единственным входом

Sergey
08.08.2017
12:37:08
объясните пжлс что делает bias

Andrey
08.08.2017
12:37:14
Не в том дело

Dan
08.08.2017
12:37:14
bias ?

Andrey
08.08.2017
12:38:03
Избавляет от необходимости центрировать данные

Т.е. сделать нелинейностей по числу весов
Она и так есть - вес может быть нулевым

tonko
08.08.2017
12:38:35
объясните пжлс что делает bias
смещает функцию по оси

Sergey
08.08.2017
12:38:50
смещает функцию по оси
а, еще вопрос, видел пример там перцептрон обучаеться по двум признакам, и они там сделали три веса, третий был для bias, зачем?

Andrey
08.08.2017
12:40:24
Relu добавит не нелинейность, а ограничение - веса будут неотрицательными

Henadz
08.08.2017
12:41:33
а, еще вопрос, видел пример там перцептрон обучаеться по двум признакам, и они там сделали три веса, третий был для bias, зачем?
bias - это словно дополнительный вход, который всегда равен 1. Чтобы задать нужное тебе смещение, нужно обучить вес, который будет домножаться на 1.

Andrey
08.08.2017
12:41:44
Чтобы все в одну матрицу запихнуть

Maxim
08.08.2017
12:42:44
ничего не изменится
ну понятно, что обычную сетку можно свести к предлагаемой путем обрубания всех весов кроме одного. Но, чтобы достичь той же "нелинейной" функции потребуется в два раза больше слоёв. Может быть, больше нелинейности лучше, в плане экономии ресурсов

Google
Sergey
08.08.2017
12:43:53
bias - это словно дополнительный вход, который всегда равен 1. Чтобы задать нужное тебе смещение, нужно обучить вес, который будет домножаться на 1.
ааа! пасиб огромное. понял. Еще уточню, перцептрон это ж булевый предсказатель, так вот, если мы ожидаем 1 по определенным признакам, то даем bias=1, а если ожидаем 0 на выходе, то даем bias=0. Верно?

Sergey
08.08.2017
12:45:57
нет, bias всегда 1
ок, я изначально так и думал, но тот код сбил меня с толку

Henadz
08.08.2017
12:46:22
если ты хочешь перцептроном аппроксимировать некую булеву функцию, то тогда надо зафиксировать веса bias и входного параметра, а затем варьировать входной параметр

и будешь получать нужные тебе выходные значения

Sergey
08.08.2017
12:48:55
да. На этих выходных написал перцептрон, вбщ я фронтедер, в свободное время хочу попробовать соединить несколько перцептронов и попробовать ф-цию градиентного спуска, а то у меня там совсем примитивная - пороговая

Andrey
08.08.2017
12:50:08
Функция градиентного спуска

Sergey
08.08.2017
12:50:30
Функция градиентного спуска
что-то не так сказал?)

Andrey
08.08.2017
12:50:59
Но это же набор слов просто

Sergey
08.08.2017
12:52:41
Но это же набор слов просто
ну... мож это не так называеться? есть же ф-ция активации, не пороговая, а ммм, блин как объяснить, ща покажу лучше



Sergey
08.08.2017
12:52:55


Но это же набор слов просто
как это правильно назвываеться ^ ?

Vo
08.08.2017
12:54:09
Это то, что спрашивают часто первое на собеседованиях про нейронки, кстати.

Andrey
08.08.2017
12:54:31
Сигмоида это

И гиперболический тангенс

А функции градиентного спуска не существует

Henadz
08.08.2017
12:56:58
есть метод градиентного спуска

Google
Henadz
08.08.2017
12:57:08
это способ оптимизировать некую функцию

Maxim
08.08.2017
12:57:21
почему потребуется в 2 раза больше слоёв?
ну, допустим, у нас два входа и один выход, мы хотим обучить сеть выдавать 1, если по каждому входу значение больше 0.5, и 0 в обратном случае. Если брать обычную нейросеть, то потребуется, как я вижу, минимум один промежуточный слой (всего три), а если поместить ReLU в веса, то можно обойтись двумя (вход и выход). Пример синтетический, но кто знает там что нужно в реальных задачах, может больше нелинейностей - лучше

Henadz
08.08.2017
12:57:22
найти какой-нибудь её минимум, возможно локальный

Andrey
08.08.2017
12:57:55
То есть красная кривая выглядит как тангенс

Sergey
08.08.2017
12:58:29
и вот чтоб применить метод градиентного спуска, нужно юзать сигмойдную ф-цию активации. Правильно понимаю?

Andrey
08.08.2017
12:58:45
Нет

Henadz
08.08.2017
12:58:54
любую дифференцируемую функцию можешь использовать

Admin
ERROR: S client not available

Henadz
08.08.2017
12:59:32
метод градиентного спуска - это просто шагание в сторону, противоположную градиенту (производной по всем переменным)

просто конкретно для полносвязной нейронной сети удобно использовать сигмоиду

поэтому её и используют

для свёрточных нейронных сетей используют ReLu, т.к. вычисления менее ёмкие

Maxim
08.08.2017
13:01:21
С ReLU и полносвязная сходится быстрее, нет затухания градиента

Henadz
08.08.2017
13:01:47
да, но на её примере тяжелее объяснять нейронные сети новичкам

т.к. производная нетривиальная

есть точка разрыва

первого рода вроде

Sergey
08.08.2017
13:02:13
ого

Henadz
08.08.2017
13:02:17
поэтому берут чё попроще

Google
Henadz
08.08.2017
13:02:22
гладкую сигмоиду

Sergey
08.08.2017
13:02:43
есть точка разрыва
таких слов в нейронных сетях я еще не слышал ?

Henadz
08.08.2017
13:02:52
это из математики же

Sergey
08.08.2017
13:03:19
мат тоже надо подучить ?

Henadz
08.08.2017
13:03:45


грубо говоря, вот точка разрыва первого рода

функция словно надломана

Evgeniy
08.08.2017
13:04:10
есть точка разрыва
в нуле не определена вроде?

Sergey
08.08.2017
13:04:11
типо угол?

Henadz
08.08.2017
13:04:11
негладкая

Sergey
08.08.2017
13:04:20
а

Andrey
08.08.2017
13:04:36
Производная не определена в 0, да

tonko
08.08.2017
13:04:52


так чтоле?

Henadz
08.08.2017
13:05:10
а это второго рода

Sergey
08.08.2017
13:05:17
ого

tonko
08.08.2017
13:05:23
надо тоже вспомнить матан

Sergey
08.08.2017
13:05:25
вот это разрыв

Henadz
08.08.2017
13:05:37
там если угорать по определению, надо через левосторонние и правосторонние лимиты выводить

Andrey
08.08.2017
13:06:03
Причем эту неопределенную производную просто считают = 0

Страница 119 из 327