Мне было интересно: в многослойной нейронной сети с прямой связью должен ли входной слой включать нейрон смещения, или это просто полезно в скрытых слоях? Если да, то почему?
Должен ли входной слой включать нейрон смещения?
Ответы (1)
Нет, входной слой не нуждается в подключении к нейрону смещения, поскольку любая активация, полученная от нейрона смещения, будет полностью переопределена фактическим вводом.
Например, представьте себе сеть, которая пытается решить классическую задачу XOR, используя эту архитектуру ( где нейрон, только что отмеченный 1, является смещением):
Чтобы запустить эту сеть на входе (1,0), вы просто фиксируете активацию нейронов X1=1 и X2=0. Теперь, если бы X1 или X2 также получили входные данные от смещения, то эти входные данные в любом случае были бы переопределены, что сделало бы такое соединение бессмысленным.
person
zergylord
schedule
30.08.2011
Простите, на вашем рисунке нейрон смещения является частью входного слоя, так как он перенаправляется на скрытый слой, я ошибаюсь?
- person tunnuz; 31.08.2011
Эх, типа. Нейрон смещения обычно всегда изображается как находящийся в своем собственном нижнем слое. Я думал, что ваш вопрос был о том, следует ли ПОДКЛЮЧАТЬ блок смещения к блокам во входном слое. В любом случае ответ твердый нет; вам всегда нужен только один блок смещения, который имеет постоянную активацию и находится на своем собственном уровне. Как правило, он подключается ко всем не входным слоям.
- person zergylord; 31.08.2011
Для дальнейшего объяснения см. этот вопрос: stackoverflow.com/q/7175099/821806. Кроме того, это не моя цифра, а та, которую я получил отсюда: home.agh.edu.pl/~vlsi/AI/xor_t/en/main.htm
- person zergylord; 31.08.2011
Входы X1, X2 на картинке выше на самом деле не нейроны, а ... эм, входы. Каждый реальный нейрон (что-то, что принимает входные данные, имеет веса, имеет функцию активации, выполняет вычисления) должен иметь смещение. Математически каждый нейрон вычисляет φ(b + x1 w1 + x2 w2 + ... + xn wn), где b — смещение. Но xi — это просто числа, их нельзя связать ни с чем.
- person Panayiotis Karabassis; 14.12.2012
