- AdaCap: адаптивное управление пропускной способностью для нейронных сетей с прямой связью (arXiv)
Автор: Катя Мезиани, Карим Луничи, Бенджамин Риу.
Аннотация: Возможности модели ML относятся к ряду функций, которые эта модель может аппроксимировать. Это влияет как на сложность шаблонов, которые модель может выучить, так и на запоминание, способность модели соответствовать произвольным ярлыкам. Мы предлагаем Adaptive Capacity (AdaCap), схему обучения для нейронных сетей с прямой связью (FFNN). AdaCap оптимизирует возможности FFNN, чтобы он мог фиксировать высокоуровневые абстрактные представления, лежащие в основе рассматриваемой проблемы, без запоминания обучающего набора данных. AdaCap представляет собой комбинацию двух новых ингредиентов: запутанных меток для потерь при регуляризации (MLR) и схемы обучения операторов Тихонова. Потеря MLR использует случайно сгенерированные метки для количественной оценки склонности модели к запоминанию. Мы доказываем, что потеря MLR является точной оценкой в выборке для производительности обобщения вне выборки и что ее можно использовать для выполнения гиперпараметрической оптимизации при условии соблюдения условия отношения сигнал-шум. Схема обучения операторов Тихонова модулирует пропускную способность FFNN адаптивным, дифференцируемым и зависящим от данных способом. Мы оцениваем эффективность AdaCap в условиях, когда DNN обычно склонны к запоминанию, небольшим наборам табличных данных, и сравниваем его производительность с популярными методами машинного обучения.
2. Аксональная задержка как кратковременная память для нейронных сетей с глубокими пиками прямой связи (arXiv)
Автор: Пэнфэй Сун, Лунвэй Чжу, Дик Боттелдорен.
Аннотация: информация нейронных сетей с шипами (SNN) распространяется между соседними биологическими нейронами с помощью шипов, что обеспечивает вычислительную парадигму с перспективой моделирования человеческого мозга. Недавние исследования показали, что временная задержка нейронов играет важную роль в процессе обучения. Поэтому настройка точного времени пика является перспективным направлением для понимания и улучшения процесса передачи временной информации в SNN. Тем не менее, большинство существующих методов обучения импульсных нейронов сосредоточены на регулировке синаптического веса, в то время как очень мало исследований посвящено задержке аксонов. В этой статье мы проверяем эффективность интеграции временной задержки в контролируемое обучение и предлагаем модуль, который модулирует аксональную задержку посредством кратковременной памяти. С этой целью модуль выпрямленной аксональной задержки (RAD) интегрирован с моделью спайков, чтобы согласовать время спайков и, таким образом, улучшить способность к изучению характеристик временных характеристик. Эксперименты с тремя нейроморфными эталонными наборами данных: NMNIST, DVS Gesture и N-TIDIGITS18 показывают, что предлагаемый метод обеспечивает современную производительность при использовании наименьшего количества параметров.
