Роль внимания в нейробиологии, глубоком обучении и повседневной жизни
Большой адронный коллайдер (БАК) - одна из самых сложных машин, которые когда-либо создавалось человечеством. Когда он работает, каждую секунду примерно один миллиард частиц сталкивается друг с другом со скоростью, близкой к скорости света, исследуя физику за пределами текущей стандартной модели физики элементарных частиц.
Многое может произойти в этих столкновениях с миллиардом частиц, и вокруг кольца БАК построены огромные детекторы, чтобы не пропустить ничего важного. Но такое большое количество столкновений в сочетании со сложными детекторами генерирует много данных. Серьезно, много данных. Примерно один петабайт, или одна тысяча терабайт, или один миллион гигабайт данных о столкновениях в секунду, если все это просуммировать.
Если вы слышите эти числа, становится совершенно очевидно, что такой безумный объем данных невозможно проанализировать или даже записать с помощью современных вычислительных устройств. Следовательно, большое количество данных должно быть выброшено в режиме реального времени, прежде чем какой-либо их анализ станет возможным.
Вот почему детекторы на LHC встроили в них множество быстрых, автоматизированных систем запуска и фильтрации, которые сигнализируют детектору, что стоит начать запись события, и какие события не говорят нам ничего значимого и могут быть безопасно отброшен.
Но даже после резкого сокращения объема данных, достигнутого с помощью этих средств, центр обработки данных на LHC по-прежнему получает петабайт данных каждый день, что составляет всего 0,001 процента от исходных входящих данных.
Наш мозг ежедневно сталкивается с аналогичной проблемой: когнитивная обработка и хранение, как и время вычислений, является самым ценным ресурсом мозга, а для когнитивных систем Что касается эволюции, то экономное расходование ресурсов - один из ключей к выживанию.
Все познания можно рассматривать как компромисс между получением информации и метаболическими расходами. БАК можно рассматривать как своего рода сверхчеловеческую когнитивную систему, которая исследует окружающую среду и извлекает из нее релевантную информацию с минимальными затратами.
Один из ключей к эффективному извлечению информации - наличие высокооптимизированных датчиков, которые обладают собственным быстрым мышлением до того, как произойдет какая-либо глубокая обработка. Эти низкоуровневые фильтры определяют, какие события записываются, а какие отбрасываются, прежде чем тратить на них слишком много энергии.
Они сочетаются с высокими научными амбициями ученых, которые составляют другую часть этой сверхчеловеческой когнитивной системы - БАК: благодаря огромному потоку информации о окружающая среда, протекающая через датчики, какие события кажутся достаточно интересными для дальнейшего исследования? Какие события должны привлечь наше внимание и потребовать дальнейшего расследования? И как наши цели (например, поиск бозона Хиггса или суперсимметричных частиц) сообщают, с чего мы смотрим и как строим фильтры?
Внимание в мозгу
«Все знают, что такое внимание. Это овладение разумом в ясной и яркой форме одним из того, что кажется несколькими одновременно возможными объектами или последовательностями мыслей ».
Уильям Джеймс
Даже в то время как Уильям Джеймс утверждал, что все знают, что такое внимание, и здесь важно подчеркнуть, что внимание - это не одна однородная вещь, контролируемая гомункулом, сидящим за рулем колесо внутри шишковидной железы, но это сложное многогранное явление, которое лучше всего рассматривать в нескольких слоях и как состоящее из нескольких отдельных движущихся частей. В моей предыдущей статье о том, почему мы можем неправильно смотреть на мозг, я обсуждал частую проблему применения многовековой терминологии для описания новых нейробиологических явлений (наследие Иакова играет свою роль), и часто использование древней терминологии и древней интуиции может помешать нашему собственному пониманию того, что происходит.
Это особенно верно в отношении внимания, чего-то столь знакомого из повседневной жизни, но в то же время означающего так много вещей одновременно и связанного с другими шаткими понятиями, такими как свобода воли и сознание.
Поэтому в оставшейся части этой статьи я не хочу быть исчерпывающим (для более подробного обзора всех аспектов внимания, эта обзорная статья может быть хорошим местом для начала), а скорее проиллюстрирую некоторые полезные ключевые моменты. компоненты и функции внимания как в мозге, так и в машинном обучении.
LHC прекрасно показывает, как внимание определяет, где лучше всего тратить ограниченные ресурсы в сложной среде. И я считаю, что он также хорошо знакомит с ключевыми компонентами, которые составляют механизм внимания в мозгу: нашу систему внимания можно представить как состоящую из восходящего и нисходящего управления как описывают Адам Газзейли и Ларри Розен в статье Отвлеченный разум: древние Мозги в мире высоких технологий.
Нисходящие механизмы пытаются реализовать наши общие цели, направляя наше внимание. Допустим, ваша новогодняя цель - похудеть: ваша кора головного мозга попытается убедить ваши глаза не замечать восхитительно питательную плитку шоколада, лежащую там, рядом с диваном. Нисходящие цели можно рассматривать как одну из вершин эволюции: как я отмечал в своей статье о Байесовском мозге, открытие и предсказание будущего давало огромное эволюционное преимущество, поскольку наши города и технологии, построенные мертвыми, дают впечатляющее свидетельство этого факта.
Механизмы снизу вверх, с другой стороны, автоматически привлекают ваше внимание к тому тому, что в нашей долгой эволюционной истории заслуживает внимания. Будь то громкий взрыв на улице, форма в темноте, похожая на ягуара, или кто-то произносит ваше имя за соседним столиком.
Нисходящее внимание тесно связано с исполнительными функциями нашего мозга, определяемыми способностью префронтальной коры осуществлять нисходящий контроль над остальной частью вашего мозга, при этом остальная часть мозга отталкивается с помощью восходящего захвата внимания. Орбитофронтальная кора, например, пытается понять, как ваши эмоции регулируются вашими целями, и через лимбическую систему переводит абстрактные цели на язык тела и действий.
Интересно отметить, что большая часть этого в основном выполняется посредством ингибирования, а не активации. В жизни часто имеет значение то, что мы не делаем, импульсы, которым мы управляем, не подчиняемся, будь то когда мы решаем не оставаться в нашей удобной постели утром, чтобы пойти на работу, или когда мы перестаем играть в азартные игры на пенсию ночью. в Лас-Вегасе. Исследования с пациентами, у которых были поражения в областях мозга, ответственных за контроль внимания (или, в случае Финеаса Гейджа, когда железные стержни взорвались через эти соответствующие области мозга), показывают, насколько пагубна неспособность контролировать импульсы и преследовать долгосрочные цели для их качества. жизни. Подобное представление было популяризировано в знаменитом эксперименте Мишеля с маршмеллоу, что указывает на то, что откладывание удовольствия у детей в раннем возрасте является хорошим предиктором долгосрочного успеха.
Таким образом, управление вниманием тесно связано с управлением нашим поведением. Наш мозг можно рассматривать как суперкомпьютеры, построенные на обезьяньих мозгах, и поскольку суперкомпьютеры приходят на вечеринку относительно поздно, осуществлять когнитивный контроль сложно, а механизмы сверху вниз и снизу вверх находятся в постоянной конкуренции за самый ценный ресурс мозга.
Часто они находятся в прямом конфликте друг с другом.
У вас может быть сильная воля, но после долгого рабочего дня, когда при виде плитки шоколада во рту накапливается слюна с интенсивностью, подобной цунами, ваши исполнительные функции легко преодолеваются, и вам показывают, что вы не мастер в собственном доме.
В более общем плане, отвлечение и потеря внимания можно рассматривать с точки зрения вмешательства в цель. Внимание, как и большинство вещей в мозге, регулируется динамически и, как таковое, подвержено помехам. Сосредоточение внимания - это активный процесс, фильтрация информации и игнорирование несущественного - активный процесс, требующий времени и энергии. Цели конкурируют, а ресурсы внимания всегда находятся в прямой конкуренции друг с другом.
Это еще один важный аспект внимания, который имеет эволюционный смысл и возвращает нас к метафоре LHC: глобальное внимание направляет наши сенсоры к максимумам в ландшафте сбора информации. Этого можно достичь с помощью индивидуальных сенсорных модальностей (например, глядя в определенном направлении), переключаясь между различными сетями в мозгу (например, внимательно слушая или внимательно глядя) или переключаясь между задачами (чтение газеты вместо просмотра Youtube). После того, как собрано достаточно информации, внимание также направляет наши воспоминания, чтобы решить, что стоит сохранить и запомнить в будущих ситуациях.
Но наша способность часто инициировать переключение сети через внимание может рассматриваться и как функция, и как ошибка: поскольку обычно есть много вещей, на которые следует обратить внимание, крайне важно иметь автоматизированную инфраструктуру, которая проливает луч внимания на вводит и переключает наши действия на действия, которые обещают получение наибольшей информации.
В современном высокотехнологичном обществе нас постоянно засыпают привлечением внимания. Как указано в разделе Отвлеченный ум, слишком много возможностей для переключения задач становится огромной проблемой, когда древний мозг постоянно пытается максимизировать информацию в экспоненциально растущем информационном ландшафте, что приводит к постоянному отвлечение внимания, неудачные попытки одновременного выполнения нескольких задач, чувство ненасытности, недосыпание и многое другое. Поскольку сложные задачи обычно распределяются по нескольким областям мозга, этот процесс переключения также является относительно медленным, поэтому для перехода между различными задачами может потребоваться много времени, делая многозадачность, которой мы все постоянно занимаемся. неэффективно .
Это явление особенно ярко выражено среди молодого поколения, и противодействие этим крайне пагубным последствиям для нашей психической жизни должно гарантировать безраздельное внимание нашего коллективного общества (каламбур).
Внимание в глубоком обучении (это все, что вам нужно)
Подводя итог, мы можем концептуализировать внимание как нечто вроде всеобъемлющего организационного принципа, когда многоцелевой агент должен одновременно выполнять множество задач в реальном мире и осмысленно перемещаться между ними. Это включает в себя сбор информации с помощью нескольких сенсорных модальностей и реализацию целей высокого уровня с помощью когнитивного контроля.
Не совсем понятно, как с этой точки зрения привлечь внимание к полезным идеям в области искусственного интеллекта. Но если мы рассматриваем внимание как общий инструмент для уменьшения и управления вычислительными ресурсами, он уже довольно успешно используется в нескольких архитектурах машинного обучения.
Совсем недавно внимание сообщества глубокого обучения привлекло внимание трансформеров, и статья « Внимание - это все, что вам нужно » »стала одной из самых влиятельных в этой области и была процитирована более 16000 раз
Трансформаторы произвели революцию в обработке естественного языка и позволили таким архитектурам, как BERT (двунаправленные представления кодировщика от Transformers), генерировать устрашающе похожие на человеческие тексты.
Не вдаваясь в технические подробности, генерация текста - это последовательная задача, состоящая из кодировщика (вводимый текст) и декодера (выводимого текста). Таким образом, входные и выходные данные модели состоят из последовательностей. Последовательные модели могут быть очень сложными для изучения, потому что входные данные могут стать довольно большими, что потребует от модели потенциально изучения дальнодействующих зависимостей во входных данных (см. Проблемы взрывающегося градиента при обучении рекуррентных нейронных сетей, что частично решается с помощью длинно-коротких- сети с терминологической памятью, которые имеют свой собственный набор проблем).
Как более подробно описано в этом сообщении в блоге, механизмы внимания, используемые трансформерами, пытаются обойти эту проблему, вводя так называемую операцию самовнимания. Эта операция вычисляется между входными векторами последовательности и может использоваться при генерации выходных последовательностей.
Тогда самовнимание - это способ выяснить глобальные зависимости, поэтому разграничение того, какая часть входной последовательности принадлежит вместе, и, в свою очередь, будет иметь отношение к генерации выходных данных. Одно из часто упоминаемых приложений - это перевод между разными языками (например, между французским и английским, с использованием чудесно названной модели CamemBERT), где слова, совпадающие по значению, могут появляться в разных частях предложение на разных языках.
Внимание также помогает обойти проблему наличия очень длинных входных последовательностей, потому что модели не нужно запоминать всю входную последовательность (скажем, когда вам нужно перевести очень длинное предложение ... глядя на вас, Марсель Пруст), но может расставить приоритеты и группируйте ввод более гибко, как это сделал бы переводчик-человек (см. это видео Эндрю Нг для более подробного объяснения).
Это помогает в эффективном уменьшении размерности входного вектора, поскольку модель неявно выбирает, какая часть последовательности будет релевантной, и, таким образом, выясняет, на что следует обратить внимание. к. Это также красиво вводит в модель контекстную зависимость, что является абсолютно важным для нашего человеческого понимания текста (и мира в целом).
Хотя между этим и мозгом можно провести сравнения, некоторые связи, по общему признанию, также могут показаться здесь немного надуманными.
Наш человеческий интеллект настолько впечатляет, потому что он работает с таким широким спектром различных задач, и архитектуры нейронных сетей, по большей части все еще узкоспециализированные, с трудом справляются с этим. Таким образом, что-то более похожее на наше человеческое внимание вполне может стать все более важным в качестве глобального организационного принципа в контексте многозадачных обучающих агентов, например, в робототехнике.
Есть еще много места для свежих и интересных идей (например, путем моделирования внимания в трансформерах на внимании при обработке естественного языка в мозгу), и это красиво подчеркивает, почему в дальнейшем концепции нейробиологии могут влиять на машинное обучение. с набором новых полезных идей и почему эти две дисциплины должны оставаться в тесном контакте друг с другом.
