1. Влияние встроенной связи на технологии памяти для нейроморфных систем (arXiv)
Автор:Сабер Моради, Раджит Манохар
Аннотация: Новые нанотехнологии энергонезависимой памяти с высокой плотностью интеграции предлагают многообещающее решение для преодоления ограничений масштабируемости архитектур нейронных сетей на основе CMOS, эффективно демонстрируя ключевой принцип нейронных вычислений. Несмотря на потенциальные улучшения в вычислительных затратах, проектирование высокопроизводительных сетей связи на кристалле, поддерживающих гибкие соединения с большими ответвлениями, остается сложной задачей. В этой статье мы подробно остановимся на коммуникационных требованиях крупномасштабных нейроморфных проектов и укажем на различия с традиционными архитектурами «сеть на кристалле». Мы представляем существующие подходы к нейроморфным сетям маршрутизации на кристалле и обсуждаем, как новые технологии памяти и интеграции могут помочь облегчить проблемы связи при создании интеллектуальных вычислительных машин следующего поколения.
2. Неконтролируемая нейроморфная система на основе мемристоров для быстрого и энергоэффективного GAN (arXiv)
Аннотация: Мемристивные устройства представляют собой многообещающую технологию для создания нейроморфных электронных систем. Помимо компактности и энергонезависимости, они характеризуются значимыми для вычислений физическими свойствами, такими как зависимость от состояния, нелинейные изменения проводимости и внутренняя изменчивость как порога переключения, так и значений проводимости, что делает их идеальными устройствами для эмулируя биофизику реальных синапсов. В этой статье мы представляем архитектуру импульсной нейронной сети, которая поддерживает использование мемристивных устройств в качестве синаптических элементов, и предлагаем схемы аналогово-цифрового интерфейса со смешанными сигналами, которые смягчают эффект изменчивости значений их проводимости и используют их изменчивость порога переключения. для реализации стохастического обучения. Эффект изменчивости устройства смягчается за счет использования пар мемристивных устройств, сконфигурированных в виде взаимодополняющего двухтактного механизма и подключенных к схеме нормализатора токового режима. Механизм стохастического обучения получается путем сопоставления желаемого изменения синаптического веса с соответствующей вероятностью переключения, которая выводится из внутреннего стохастического поведения мемристивных устройств. Мы демонстрируем особенности схем CMOS и применяем предложенную архитектуру к стандартному тесту классификации рукописных цифр нейронной сети на основе набора данных MNIST. Мы оцениваем производительность подхода, предложенного для этого эталонного теста, с помощью моделирования нейронной сети на уровне поведения, демонстрируя как эффект снижения изменчивости проводимости, вызванный схемой нормализатора токового режима, так и увеличение производительности в зависимости от количества мемристивных устройств, используемых в каждом синапсе.
3. Неконтролируемая нейроморфная система на основе мемристоров на пути к быстрой и энергоэффективной GAN (arXiv)
Аннотация. Глубокое обучение добилось огромного успеха в продвижении современного искусственного интеллекта. Чтобы решить проблему ограниченных размеченных данных в мире контролируемого обучения, обучение без учителя было предложено несколько лет назад, в то время как низкая точность намекает на его реалистичное применение. Генеративно-состязательная сеть (GAN) появляется как неконтролируемый подход к обучению с многообещающей точностью и активно изучается. Однако выполнение GAN чрезвычайно интенсивно использует память и вычисления, что приводит к сверхнизкой скорости и высокому энергопотреблению. В этой работе мы предложили целостное решение для быстрого и энергоэффективного вычисления GAN с помощью нейроморфной системы на основе мемристоров. Во-первых, мы использовали подход совместного проектирования аппаратного и программного обеспечения для эффективного сопоставления вычислительных блоков в GAN. Мы также предложили эффективный поток данных для оптимального обучения и тестирования параллелизма в зависимости от корреляций вычислений между различными вычислительными блоками. Чтобы вычислить уникальные и сложные потери GAN, мы разработали блок сравнения с оптимизированной точностью и производительностью. Результаты эксперимента с большими данными показывают, что наша разработка обеспечивает ускорение в 2,8 раза и энергосбережение в 6,1 раза по сравнению с традиционным ускорителем на GPU, а также ускорение в 5,5 раз и энергосбережение в 1,4 раза по сравнению с предыдущим ускорителем на базе FPGA.
