Одна сеть — несколько выходов или несколько сетей — один выход?

При проектировании нейронной сети с прямой связью с несколькими выходами существует ли концептуальная разница (кроме вычислительной эффективности) между наличием одной сети с несколькими выходами и наличием нескольких сетей, каждая из которых имеет один выход?

Хотя выходные нейроны в одной и той же сети не влияют друг на друга «на лету», они влияют на обучение, поскольку ошибка от каждого вывода распространяется обратно и влияет на веса скрытого слоя, которые, в свою очередь, влияют на значение других выходов. .

Есть ли проблемы, которые лучше решаются тем или иным способом? Интуитивно я бы сказал, что одна сеть лучше подходит для задач, когда одновременно должен быть активен только один выход (т. е. OCR), а несколько сетей лучше подходят для задач, где несколько выходов могут быть активны одновременно (т. на входе, где их может быть несколько одновременно). Но это всего лишь интуиция. Практически держит?


machine-learning neural-network backpropagation perceptron
person sold    schedule 01.02.2010    source источник

Ответы (1)


arrow_upward
3
arrow_downward

Концептуальное отличие, как вы сами отметили, заключается в совместном обучении и раздельном обучении. Я думаю, люди считают, что в большинстве случаев совместное обучение помогает, если проблемы связаны (например, если все результаты связаны с распознаванием символов). Поэтому я думаю, что в обеих проблемах, о которых вы упоминаете, совместное обучение поможет, независимо от того, могут ли несколько выходов быть активными одновременно.

Тот случай, когда совместная тренировка не поможет и, скорее всего, навредит, — это когда задачи вообще не связаны между собой, т.е. если один вывод относится к «символу а», а другой — к «звуку х».

person user245973    schedule 01.02.2010