Гениальная нейробиология сна млекопитающих была математически смоделирована для оптимизации искусственного интеллекта. память и объем памяти

Сны по большей части восхитительны. Пока мы спим, визуальные и звуковые фрагменты объединяются в бессмысленные отрывки и эпические повествования. Слабо запоминаемые моменты сливаются с яркими воображаемыми сценами; мы взаимодействуем с известными персонажами и созданными персонажами; мы исследуем наши фантазии и иногда сталкиваемся со своими страхами. Однако сон и сновидения существуют не только для нашего ночного удовольствия.

Когда мы спим, наш мозг фильтрует информацию, собранную в часы бодрствования. В действие вступают неврологические процессы. Они отбрасывают то, что не имеет отношения к делу, и объединяют то, что важно; они формируют и хранят воспоминания. Эти механизмы, встречающиеся во всем мире млекопитающих, настолько эффективны, что группа итальянских исследователей математически смоделировала их для использования в искусственном интеллекте.

Результатом является алгоритм, который увеличивает емкость памяти искусственных сетей, переводя их в автономную фазу сна, во время которой они усиливают релевантные воспоминания (чистые состояния) и стирают нерелевантные (ложные состояния).

Когда математика встречает млекопитающих

Адриано Барра - физик-теоретик Университета Саленто в Италии. Барра нетерпелив и оживлен, когда говорит со мной, часто используя пачку сигарет Marlboro как маловероятную опору, чтобы проиллюстрировать тонкости искусственного интеллекта.

Вместе со своими коллегами Еленой Альяри и Альберто Фачечи Барра изучает сложные системы, такие как мозг, и создает математические модели их нейробиологии. «Мы, физики-теоретики, имеем крохотное преимущество перед инженерами», - говорит Барра. «Поскольку математика такая же, почти бесплатно, мы можем применить наши результаты в искусственном интеллекте. Мы являемся мостом между нейробиологией и инженерией ».

Классический план искусственных нейронных сетей - это модель Хопфилда. Разработанный Джоном Хопфилдом в 1982 году, он описывает, как искусственные сети изучают и извлекают информацию с помощью таких механизмов, как распознавание образов, которые имитируют реальный мозг. Самым популярным правилом обучения для сети Хопфилда является обучение Хебба, которое предлагает, как синапсы между нейронами укрепляются в процессе обучения.

Однако есть недостаток. Модели Хопфилда уже несколько десятилетий, и она может хранить лишь ограниченный объем информации. Выражаясь математически, максимальная емкость памяти для этой симметричной сети составляет α∼0,14. Однако теоретический предел равен 1 или α = 1.

Сети в состоянии бодрствования или онлайн всегда изучают новые шаблоны информации. Однако, помимо желаемых шаблонов, они собирают нерелевантные, даже поддельные шаблоны.

Пропускная способность сети определяется количеством нейронов (n), которые она содержит. Каждый бит информации, например цифровой пиксель, представляет собой отдельный образец (p) информации. «Вы можете сохранить максимальное количество шаблонов, которое p равно 0,14 раз n, - говорит Барра.

Почему же тогда емкость хранилища - лишь часть того, что теоретически возможно? Почему это 0,14, а не 1?

Сети в состоянии бодрствования или онлайн всегда изучают новые шаблоны информации. Однако, помимо желаемых шаблонов, они собирают нерелевантные, даже поддельные шаблоны. «Вы заставляете сеть хранить эти важные шаблоны, но она неизбежно также будет хранить ошибки», - говорит Барра. «Вы не можете избежать их. Они генерируются автоматически ».

Он хватает свои «Мальборо» и сравнивает их с пачкой сигарет «Кэмел». «Если вы продолжите хранить подробности об этих пачках сигарет - синяя - Camel, красная - Marlboro и т. Д. - но вы также принимаете всю избыточную информацию, сеть в конечном итоге зависнет». Переполненный нерелевантной и ложной информацией, максимальная емкость достигается при 0,14.

Эта ограниченная емкость не останавливает А.И. от выполнения конкретных задач, но засорение ценного пространства бесполезными данными расточительно и неэффективно. Решение итальянской команды - это алгоритм, который переводит сети в автономную фазу, которая повторяет сон млекопитающих, который используется чтобы закрепить важные воспоминания и стереть ненужные.

«Это глубоко связано со сном, - говорит Барра, - потому что, если вы не избавитесь от всех этих ложных ошибок, их станет слишком много, и сеть больше не сможет различать, что такое Мальборо, а что нет. Верблюд ».

Освобождение места

Мозг млекопитающих также постоянно собирает новые образцы информации. Но, как рыбацкая лодка, которая без разбора роется по морскому дну, наряду с соответствующей информацией, они также улавливают неважные детали.

«Когда вы бодрствуете, вы пассивно храните много информации; вам это на самом деле не нужно, и вы действительно не хотите его хранить », - говорит Барра. «Мы также производим ложные и поддельные образцы информации. Мы хотим от этого избавиться. Мы делаем это во сне ».

Во время сна с быстрым движением глаз (REM), фазы сна, в которой мы обычно видим сны, наш мозг занят стиранием ненужных воспоминаний. Это освобождает место для хранения новых. В медленноволновом сне укрепляются важные воспоминания. Хотя большая часть сновидений происходит во время быстрого сна, мы можем видеть нечеткие сновидения, которые труднее вспомнить во время быстрого сна.

Исследовательская группа знала, что мозг млекопитающих использует высокоэффективные механизмы для очистки памяти во время сна. Их анализ этого факта стал отправной точкой для их алгоритма.

«Мы сказали: хорошо, давайте рассмотрим нейробиологическую статью, в которой объясняется это явление в реальном мозге, и попробуем смоделировать его математически», - говорит Барра. «Затем мы спросили: что может произойти, если мы применим эту математическую основу к модели Хопфилда?»

Эволюция предоставила критерии, на которые опирается мозг млекопитающих, чтобы определить, что следует объединить, а что стереть, но искусственным сетям нужны люди, чтобы взяться за эту задачу.

Их ответ представлен в статье, опубликованной в Neural Networks в апреле . Согласно новой структуре, искусственные сети продолжают изучать и сохранять шаблоны информации (в виде воспоминаний) во время стандартные сеансы онлайн или бодрствования. Однако, когда емкость хранилища достигает 0,14, сеть принудительно переходит в автономный или спящий сеанс. Эта фаза сна используется для удаления нерелевантной информации и консолидации важной информации, или, говоря более технически, для удаления ложных паттернов и усиления чистых паттернов. Внедрив новый автономный режим, команда смогла освободить место для хранения и увеличить емкость до 1.

Эволюция предоставила критерии, на которые опирается мозг млекопитающих, чтобы определить, что следует объединить, а что стереть, но искусственным сетям нужны люди, чтобы взяться за эту задачу. «Они [сети] являются абсолютными рабами нашего восприятия, поэтому мы должны сказать им:« Это важно, обратите на это внимание. Это не важно », - говорит Барра. «У них нет понятия важности».

Есть и другие технические отличия. Например, в человеческом мозге стирание и консолидация происходят во время двух различных стадий сна (REM и SW); когда сети спят, обе задачи выполняются одновременно. Возможно, то, что больше всего отличает человеческий сон от машинного, заключается в том, что мы обладаем автономией в отношении сна и сна. Сеансы сна в искусственных сетях запускаются математикой - уютного одеяла не требуется.

С новой структурой в публичной сфере работа Барры окончена. «Я физик-теоретик; Я развиваю математический аппарат », - говорит он. «Теперь это дело инженеров, чтобы реализовать это». И, возможно, он - и искусственные сети - смогут вздремнуть заслуженно.