Глубокое обучение. Машинное обучение. Нейронные сети. Все модные слова, которые вызывают в воображении видения границ науки, сливок технологий и, возможно, для некоторых, даже утопического (или антиутопического) будущего человечества. Эти слова также послужили прекрасным ответом, когда мой отец, плативший тысячи долларов за мое образование, скептически спросил, какую работу может дать вам когнитивная наука. Несмотря на то, что большая часть публики не знает точного значения или хрестоматийного значения этих терминов, шумиха в средствах массовой информации заставляет их нести определенную коннотацию, которая вызывает эти эмоционально заряженные образы. Даже когда я впервые понял, что хочу изучать когнитивную науку или информатику, я думал об этой области только в общих и приукрашенных терминах; сочетание возможностей человеческого разума с огромной мощью технологий и вычислений. Итак, помимо ответов на загруженные карьерные вопросы семье и друзьям, для чего хороши нейронные сети?

Возникает насущный вопрос: исследуют ли исследователи поверхностную эмуляцию сознания и всенаправленного интеллекта, или вся концепция раздута из-за приукрашивания идеи нейронных сетей и глубокого обучения, как у меня. Если последнее верно, то каковы следующие масштабы развития искусственного интеллекта и насколько мы далеки от понимания возможностей человеческого разума?

Нейронные сети: применение, история и принципы работы

Способность нейронных сетей к экстраполяции и созданию не умаляет преобразующего инструмента, которым они являются, и того, насколько влиятельной является быстро развивающаяся область глубокого обучения. Нейронные сети могут моделировать невероятное количество математических и статистических задач, включая распознавание речи, классификацию лиц и изображений, обработку естественного языка и многие другие формы неструктурированных данных, некоторые из которых мы все еще изучаем. Нейронные сети относятся к области искусственного интеллекта, а точнее к подмножеству машинного обучения — методу обучения алгоритмов на основе прошлого опыта. Впервые они были предложены в 1944 году Уорреном Маккалоу и Уолтером Питтсом как яркая и многообещающая идея, сочетающая нейробиологию и технологии, но первоначальная искра угасла, потому что им не хватало вычислительной мощности графических процессоров и данных, которые мы имеем сегодня. Томасо Поджо, профессор мозговых и когнитивных наук в Массачусетском технологическом институте, заметил: «Идеи в науке немного похожи на эпидемии вирусов». Его метафора периодичности применима ко многим идеям в области технологий, и нейронные сети не являются исключением. Эта идея возникала и терпела крах на протяжении второй половины двадцатого века, но по-настоящему не имела успеха до своего последнего возрождения в последние 10–15 лет.

Нейронные сети вольно моделируются человеческим мозгом — с дополнительным акцентом на «приблизительно». Узел или «нейрон» — это вычислительная единица, которая имеет одно или несколько взвешенных значений и действует как миниатюрная функция. Затем узлы организуются в слой, чтобы составить сеть. Сегодня они превратились из искусственной нейронной сети с одним слоем узлов в до 100 слоев. Первый слой — это входной слой, а выходной слой — это результирующее преобразование после распространения через средние «скрытые» слои. Вот что означает «глубина» в «глубоком обучении» — глубина скрытых слоев сети.

Так что же это за «волшебство», которое происходит внутри этих скрытых слоев? Оказывается, магия больше похожа на исчисление, чем на что-либо еще. Полная глубина преобразований, которые претерпевают данные по мере их передачи внутри этих слоев, представляет собой сложную, но прекрасную организацию миллионов или даже миллиардов чисел в виде матриц и векторов, распространяющихся через узлы. Достижение успешных результатов с помощью этого процесса также не является волшебством и требует огромного количества исходных данных для обучения. Модель требует огромного количества вычислений, проб и ошибок для точной настройки каждого шага процесса.

Недостатки нейронных сетей

Глубокое обучение очень эффективно анализирует большие объемы неструктурированных данных и извлекает представления без необходимости явного программирования определенных функций людьми. Тем не менее, его универсальность обходится дорого. Процесс обучения требует много времени и энергии и, следовательно, является дорогостоящим как в денежном, так и в экологическом отношении. Кроме того, глубокое обучение работает только в том случае, если вводятся данные правильного типа — «если вы добавляете мусор, вы получаете мусор». Эффективность машины сильно зависит от качества данных; если в источнике данных есть погрешности, машина проявит эти погрешности. Согласно новому исследованию Технологического института Джорджии, беспилотные автомобили могут лучше обнаруживать пешеходов со светлой кожей, поскольку модели в основном обучались на примерах светлокожих пешеходов. Человеческая предвзятость проникла в распознавание изображений и многие другие автоматизированные системы принятия решений, которым мы доверяем.

Поскольку общество продолжает улучшать управление данными, обучение глубокому обучению может стать более упорядоченным. Однако глубокое обучение сдерживается отсутствием интерпретируемости в скрытых слоях. Нейронные сети могут служить в качестве систем автоматической оценки эссе (AES), которые могут выставлять оценки с высокой точностью и справедливостью по сравнению с оценщиками-людьми. Но с интеллектуальной точки зрения в нейронных сетях есть что-то неудовлетворительное. Достаточное обучение может изменить настройки сети до тех пор, пока она не сможет с пользой классифицировать данные, но что на самом деле означают эти настройки? Процесс принятия решений человеком далек от совершенства с точки зрения логики, но, по крайней мере, мы можем рационализировать и объяснить свои мыслительные процессы. Несмотря на то, что мы не знаем, как работает человеческий разум, у всех нас он есть (предположительно), и, следовательно, у нас есть значительное сочувствие и понимание друг друга. Взгляд на вес отдельных соединений не удовлетворит этому же пониманию, и когда дело доходит до применения в реальных приложениях, таких как здравоохранение и медицинские операции, людям, как правило, нужна эта ясность. Дизайн черного ящика требует доверия к лежащей в его основе причинно-следственной связи, доверия, которое, вероятно, ограничит применение нейронных сетей, когда на карту поставлены жизни и другие последствия в реальной жизни.

Наконец, как бы захватывающе ни звучали нейронные сети, они далеки от общего интеллекта, за которым гонится ИИ. Информация, которую модель получает в результате обучения, не может сравниться со здравым смыслом, который люди приобретают в результате жизненного опыта. Нейронные сети могут намного превзойти людей в одной конкретной области: человек может потратить всю свою жизнь на освоение аркадной игры, и с легкостью алгоритм глубокого обучения сможет украсть этот драгоценный рекорд. Но даже с малейшим изменением концепции игры нейронная сеть может вернуться на круги своя, тогда как человек успешно адаптируется. Как мы можем дать им такую ​​гибкость?

Возрождение нейронных сетей

«Наблюдение — это опиум для исследователей ИИ», — сказал на прошлой неделе один профессор, имея в виду технику обучения без учителя, или позволяющую модели обнаруживать свои собственные закономерности и информацию. В этом прелесть изучения передовой области: как только мы испытали концепцию, нас побудили выйти за ее пределы. Многие источники согласны с тем, что общий искусственный интеллект, в отличие от статических статистических моделей, должен иметь возможность «оживать» и делать прогнозы в динамичном мире с постоянно меняющимися сенсорными данными. Что может быть лучше, чтобы представить эти примеры — нейроморфные вычисления, биологически ограниченный ИИ и обучение с подкреплением — чем через параллели между информатикой и мозгом?

1) Нейроморфные вычисления

Одна восходящая «рок-звезда» — нейроморфные вычисления. В некоторых последних разработках чипов кремниевые нейроны принимают и отправляют импульсы, как настоящие нейроны. Существует даже пластичность, усиливающая часто возникающие связи по сравнению с теми, которые этого не делают. Впечатляет то, что чип Intel Loihi-2 может использовать длину интервалов между пиками для представления большего количества информации, что является еще одним свойством нашего мозга.

Чип тоже спит. При воздействии шума, который наш мозг производит во сне, ранее нестабильная сеть смогла «перезарядиться» и лучше справляться с задачами классификации. Конечно, он очень быстр по сравнению с другими чипами, такими как графические процессоры, поскольку его взаимосвязанность сокращает доступ к памяти и повышает эффективность. После «обнюхивания» только одного образца химических веществ из 10, прошедших через аэродинамические трубы, чип смог идентифицировать его, по сравнению с тысячами, необходимыми для глубокого обучения! Неудивительно, что самое большое непосредственное применение этого чипа — мобильные роботы, которым необходимо «потреблять минимальную энергию» для навигации и изучения мира.

2) Биологически ограниченный ИИ (модель HTM)

В то время как чипы подключают его физически, мы также можем встроить настоящие нейроны в нейробиологию сетей, наиболее широко отстаиваемую компанией Numenta и ее основателем Джеффом Хокинсом, который также основал Редвудский центр теоретической нейронауки, часть Института нейробиологии Хелен Уиллс в Беркли. Их модель иерархической временной памяти (HTM) конкурирует по производительности с ведущими моделями глубокого обучения, но в то же время гораздо больше основана на мозге. Их нейронная модель имеет дендриты, аксоны, синапсы и процессинг дендритов.

Вместо того, чтобы достигать пластичности за счет частоты срабатывания, как чип, HTM делает это за счет предсказания. Нейрон не просто передает потенциалы действия, но готовится после сигнала и срабатывает только тогда, когда другие нейроны в прогнозирующем состоянии заторможены. Пути, которые согласуются с предсказаниями, усиливаются.

В соответствии с этой структурой наш мозг имеет возможность кодировать данные в единый материал, который называется «разреженными распределенными представлениями» (SDR). В SDR соседние битовые позиции представляют аналогичные свойства. Если немного инвертировать, то описание меняется, но не радикально. Это отличается от текущих кодировщиков, потому что каждый бит фактически интерпретируется:

Хотя эта модель не изготовлена ​​из кремния, ее физическая форма обусловлена ​​ее четким представлением движения. Подобно мозгу животных, эти сети имеют ячейки сетки, которые отображают движения в местоположениях в системе отсчета. Они имитируют работу нашей сенсомоторной системы: получают сигнал о местоположении, сопоставляют его с характеристиками объекта и создают представления об объекте, позволяющие лучше прогнозировать. Таким образом, корковые столбы знают не только то, на что они смотрят, но и то, куда они смотрят относительно объекта. Результатом является воплощенный разум, который активно перемещает датчики для построения предиктивных моделей мира.

3) Обучение с подкреплением

Наконец, мы возвращаемся к программному обеспечению мозга с областью ИИ, которая все больше влияет на то, как мы рассматриваем познание: обучение с подкреплением. Он чрезвычайно эффективен в сочетании с глубоким обучением и имеет широкое применение во всем, от автономного вождения до финансов и робототехники, а также для понимания того, как животные, включая людей, принимают решения. Как ребенок, плохо знакомый с миром, агент обучения с подкреплением не знает, какие состояния являются хорошими или что означают его действия. Конечно, в некоторых контекстах у него есть предвзятое представление о том, с какими переживаниями он, скорее всего, столкнется, но это не является обычным явлением. И вместо того, чтобы просто думать о том, что он будет делать, он должен учиться на собственном опыте и решать, какие действия предпринять на каждом временном шаге, исходя из вознаграждения и наблюдаемой среды.

Одним из вариантов является пассивное обучение, когда агент следует одной «политике» или плану действий и обнаруживает значения последующих состояний, чтобы увидеть, насколько это хорошо. С практической точки зрения это был бы довольно плохой способ прожить жизнь, поэтому вместо этого он исследует через активное обучение. Как только он в конце концов выходит на правильную траекторию и находит оптимальный план действий, то, как выбираются действия и качество решений, в конечном итоге не имеют значения.

Наконец, как и ожидается от мощного интеллекта, вы можете сделать процесс обучения оптимальным. Ключевым моментом является минимизация сожалений, которая позволяет агенту исследовать более методично, чтобы использовать лучшие награды в лучшее время. (Если вы хотите узнать, как вы можете использовать силу этих замысловатых методов, чтобы стать лучшим агентом в своей жизни, я настоятельно рекомендую Алгоритмы для жизни Брайана Кристиана и Томаса Л. Гриффитса.)

Дорога к общему разуму полна жизни. Обучение с подкреплением обобщает, улучшая адаптацию к невидимой среде, чип обобщает, постоянно перестраивая кремниевые схемы, а модель HTM обобщает до общего кортикального алгоритма для всех уровней чувств и абстракции. Взгляните на этот ослепительный танец между машиной и биологией, потому что именно так нейронные сети могут выражать чистую радость от жизни.

Процитированная работа:

  1. Хардести, Л. (14 апреля 2017 г.). Объяснение: Нейронные сети | Новости Массачусетского технологического института | Массачусетский технологический институт. Новости Массачусетского технологического института. Получено 21 марта 2022 г. с https://news.mit.edu/2017/explained-neural-networks-deep-learning-0414.
  2. Нильсен, М. (nd). Нейронные сети и глубокое обучение. Нейронные сети и глубокое обучение. Получено 13 марта 2022 г. с http://neuralnetworksanddeeplearning.com/chap1.html.
  3. Хоффман, Дж., Уилсон, Б., и Моргенштерн, Дж. (2019). Прогностическое неравенство в обнаружении объектов. rXiv:1902.11097v1 [cs.CV]
  4. Служба, РФ (2021, 30 сентября). КРИВАЯ ОБУЧЕНИЯ. Наука, том 374, выпуск 6563. https://www.science.org/content/article/new-brain-inspired-chips-could-soon-help-power-autonomous-robots-and-self-driving-cars
  5. Хоул, К.Дж., Ахмад, С. Тысяча мозгов: к биологически ограниченному ИИ. Приложение SN Sci. 3, 743 (2021). https://doi.org/10.1007/s42452-021-04715-0
  6. UC Berkeley CS188 Intro to AI — материалы курсаhttp://ai.berkeley.edu/lecture_slides.html

Эту статью написали Эмили Моберли, первокурсница Калифорнийского университета в Беркли, изучающая когнитивные науки, и Анруи Гу, первокурсница Калифорнийского университета в Беркли, изучающая информатику.

Эта статья была отредактирована Джейкобом Марксом, студентом младших курсов медицинского факультета Калифорнийского университета в Беркли, изучающим когнитивные науки, и Аннабель Дэвис, студенткой старших курсов Калифорнийского университета в Беркли, изучающей когнитивные науки.