Я скачал эту статью Глубокое неконтролируемое обучение с использованием неравновесной термодинамики на время, но прочитал ее только сегодня. Типичным примером прямой связи между нейронной сетью и статистической физикой является некоторая спин-магнитная система, подобная модели Изинга. Эта статья интересна тем, что связывает глубокое обучение с другой областью статистической физики, например неравновесный диффузионный процесс.
Связь между моделью Изинга и глубоким обучением можно увидеть из прекрасного вводного видео Кэри Наченберга Стэнфордский семинар - Глубокое обучение для чайников. Каждый из маленьких магнитов, которые физики называют спином, имеет два состояния. Они становятся нейроном в нейронной сети глубокого обучения. В нейронной сети взаимодействие между маленьким магнитом не задается лежащей в основе квантовой механикой, как в физике, но необходимо разработать процесс, чтобы изучить взаимодействия между нейронами, чтобы восстановить шаблоны обучения.
В этой статье Яша и др. Авторы рассматривают иной физический процесс «диффузии», чем магнитные системы для построения «процесса обучения». Вместо того, чтобы моделировать вероятности соединения функцией энергии с распределением Больцмана, авторы создают глубокую сеть, чтобы изучить «процесс диффузии» от известного распределения к более простому окончательному распределению. Затем они разрабатывают формулировку для обращения такого процесса, чтобы можно было восстановить исходное распределение из случайного распределения с помощью процесса «обращения времени».
В отличие от других подходов «равновесной» статистической механики, мы не ищем распределения в «равновесии» (строго говоря, машина Больцмана кодирует «подавленный беспорядок», который не находится в состоянии равновесия с другими частями системы. ). Исходное распределение восстанавливается путем обращения вспять процесса диффузии без каких-либо предположений о том, что система находится в определенном состоянии равновесия.
Думаю, идея довольно интересная и оригинальная. Такую связь между машинным обучением и неравновесной статистической механикой, безусловно, стоит изучить подробнее. Я также считаю, что многие идеи, которые были выдвинуты в контексте неравновесной статистической механики, вероятно, будут полезны для новых методов машинного обучения. Например, я думаю, что существует некоторая связь между неравновесными управляемыми процессами, связывающими систему гасящего беспорядка (например, модель спинового стекла). Здесь бесстыдная самореклама: я написал статью об аномальном процессе диффузии, который связывает процесс диффузии с явлениями неравновесного роста: Пассивные случайные блуждающие и похожие на реки сети на растущих поверхностях. В одной связанной статье показана такая управляемая система, демонстрирующая нарушение симметрии реплики: Нарушение симметрии реплики в траекториях управляемой броуновской частицы ». Поскольку нарушение симметрии реплики является признаком системы спинового стекла для изучения различных паттернов, может возникнуть интересный вопрос, будет ли такая управляемая система диффузии полезна для машинного обучения. Надеюсь, мы скоро увидим больше работ по теме.
