Нейронная сеть пропускает соединения с TF-Slim?

У меня всего пара вопросов по нейронным сетям и пропуску соединений:

  1. Когда люди говорят о трехслойной NN, это означает, что есть входной слой, скрытый слой и выходной слой, верно?

  2. Кажется, я не могу найти много ресурсов/информации о пропущенных соединениях/слоях в Интернете. Для какого типа NN они обычно используются? МЛП? Си-Эн-Эн? РНН?

  3. Кроме того, можно ли реализовать пропускное соединение с tensorflow и TF-slim? Я проверил библиотеку TF-slim, но, похоже, она не содержит пропускаемых слоев в качестве одного из включенных слоев.

Большое спасибо заранее!


tensorflow neural-network tf-slim
person dooder    schedule 23.05.2017    source источник

Ответы (1)


arrow_upward
0
arrow_downward

  1. Да, трехслойная НС — это НС с одним скрытым слоем.
  2. Они не используются для определенного типа нейронной сети. Вы можете очень легко реализовать их на MLP. Но термин «пропустить уровень» на самом деле применяется только к полносвязным многоуровневым сетям. В более абстрактных сетях, таких как LSTM (RNN), есть группы нейронов, которые питают -вперед только к другой конкретной группе нейронов. Но эти синапсы «пропустить слой» сложно назвать, поскольку это всего лишь архитектура. Если определение «пропустить слой» состоит в том, что группа нейронов передает данные другой группе нейронов, которая не является следующей в линии активации, то большинство архитектур имеют синапсы «пропуска слоя» (GRU, Hopfield, NARX).
  3. Я не знаком с тензорным потоком, не могу ответить :)
person Thomas Wagenaar    schedule 24.05.2017
comment
Спасибо! Итак, пропуск соединений теоретически должен улучшить производительность MLP с несколькими уровнями, верно? Кроме того, я также слышал об остаточных соединениях/слоях — это то же самое, что и пропущенные соединения? - person dooder; 25.05.2017
comment
@dooder зависит от того, что вы определяете как «производительность». Любая функция может быть отображена только с одним слоем. Добавление соединений с пропуском прямой связи добавляет в целом больше соединений, что требует дополнительных вычислений (таким образом, снижается производительность). Однако по мере увеличения количества соединений сеть может изучать закономерности между разными уровнями абстрактности: возможно, находя полезные закономерности. Я просмотрел остаточные соединения, и из того, что я увидел, это в основном пропущенные соединения. - person Thomas Wagenaar; 25.05.2017
comment
Спасибо! Я не думаю, что понимаю, что вы подразумеваете под любой функцией, которая может быть отображена только с одним слоем. Означает ли это, что одного слоя достаточно для полного описания любой функции? - person dooder; 25.05.2017
comment
@dooder действительно, одного слоя достаточно, чтобы полностью описать любую заданную функцию neuralnetworksanddeeplearning.com/chap4.html - person Thomas Wagenaar; 26.05.2017