Уроки неокортекса
Сколько информации вам нужно, чтобы построить человеческое существо и, в частности, человеческий мозг?
В конце концов, мы, безусловно, самый сложный вид на планете. Чтобы подняться на ступеньку выше, некоторые из наших мозгов думают, что наш мозг является самой сложной структурой во Вселенной!
Тем не менее, у помидора больше генов, чем у человека. Еще 7000, если быть точным.
Глядя на наши гены, нам трудно понять, где закодирована вся наша сложность.
Для начала существует всего около 20000 генов, и около половины из них связаны с другими вещами, такими как создание рук и ног и жизненно важные органы.
Выражаясь математически (учитывая, что наш геном можно рассматривать как код, несущий информацию, обрабатываемую чем-то похожим на машину Тьюринга, как я объясняю более подробно здесь), наш геном несет только 25 миллионов байтов проектной информации для мозга. после сжатия без потерь.
Сравните это с 10¹⁵ связями (один квадриллион!), Которые, по оценкам, есть у взрослых в неокортексе, новейшей части нашего мозга, которая существует только у приматов и чрезвычайно выросла у homo sapiens. Вы увидите, что, если мы не ошибаемся в нашем понимании генов, было бы иррационально предполагать, что большая часть наших знаний и способностей закодирована непосредственно в генах.
Единственная альтернатива - это то, что должен быть гораздо более простой и эффективный способ определения плана для нашего мозга и для нашей неокортекса.
А также для создания прототипа интеллектуальной системы.
Единая теория функции мозга
В своей книге Об интеллекте Джефф Хокинс жалуется, что преобладающая картина мозга состоит из специализированные регионы.
Он сравнивает эту ситуацию с биологами 19-го века, изучающими все более детально большое разнообразие видов, не обращая внимания на объединяющие принципы, лежащие в основе жизни. Пока Дарвин не выступил со своей теорией эволюции, никто не понимал, как описать множественность проявлений природного мира во всеобъемлющем повествовании.
Точно так же мозг может выглядеть так, как будто он состоит из множества различных узкоспециализированных областей мозга, но их очевидная специализация не должна приводить нас к выводу, что не все они могут работать на основе одних и тех же анатомических и алгоритмических принципов.
Фактически, мы наблюдаем удивительную однородность анатомии неокортекса. Нейропластичность указывает на то, что большинство областей мозга могут легко выполнять задачи, которые ранее выполнялись другими областями мозга, демонстрируя определенную универсальность, лежащую в основе их принципов разработки.
В своем бестселлере Мозг, который меняет себя Норман Дойдж рассказывает впечатляющие истории о пациентах, переназначающих целые сенсорные системы на новые части мозга, как и люди. учатся видеть языком, сопоставляя визуальные стимулы, записанные камерой, с сенсорными стимулами прямо в рот.
Исследования пациентов, перенесших инсульт, также показывают, что способности, утраченные в результате инсульта, обычно заново учатся в новых областях мозга, и люди, рожденные глухими, могут переназначать свою зону Брока (отвечающую за обработку речи), чтобы контролировать движения рук, которыми они общаются с помощью языка жестов, а не движения рта, с помощью которых они произносят речь.
Мозг проявляет невероятные способности и гибкость, чтобы узнавать новое. Большинство людей могут выучить любой язык, на котором они выросли, или выбрать новый язык позже, могут изучить любой инструмент, который они выберут (правда, с переменным успехом) и так далее.
Факт пластичности и гибкости обучения можно интерпретировать как указание, в соответствии с разреженностью информации в наших генах, на универсальную структуру, лежащую в основе как биологической установки неокортекса, так и алгоритмов обучения с которым он работает.
Структура мысли
Может быть сложно концептуализировать само мышление (поскольку я углубился в гораздо более подробную информацию в своей недавней статье о геометрии мышления), но существуют определенные структуры и паттерны, которые пронизывают почти каждый аспект нашего познания.
Как Рэй Курцвейл объясняет в своей книге Как создать разум мы воспринимаем мир иерархически, состоящий из простых паттернов, усложняющихся. По его словам, распознавание образов составляет основу всей мысли, от самых примитивных моделей до весьма абстрактных и сложных концепций.
Возьмем для примера язык и письмо. Маленькие линии образуют узоры, которые мы можем распознать как буквы. Наборы букв образуют слова, затем предложения. Предложения образуют абзацы, целые статьи. И, в конце концов, из набора небольшого количества минимальных паттернов, расположенных весьма специфическим образом, возникают повествование и смысл.
Биология распознавания образов
Современные данные нейровизуализации показывают, что неокортекс состоит из однородного набора структур, называемых кортикальными столбцами. Каждый состоит примерно из 100 нейронов.
Курцвейл предлагает, чтобы эти столбцы формировали то, что он называет минимальными распознавателями образов. Концептуальная иерархия создается путем соединения слоев распознавателей образов друг с другом, каждый из которых специализируется на распознавании одного образца на входе одной из множества различных возможных сенсорных модальностей (например, глаз, ушей, носа).
Основываясь на извлечении основных функций (таких как обнаружение краев в визуальных стимулах или распознавание тона), эти шаблоны складываются, образуя все более и более сложные модели.
Устройство распознавания образов не связано, скажем, с обработкой зрительных или слуховых стимулов. Он может обрабатывать все виды сигналов как входные, генерируя выходные данные на основе структур, содержащихся во входных данных. Обучение означает подключение распознавателей образов и изучение их структуры веса (в основном, насколько сильно они реагируют на ввод друг друга и насколько они взаимосвязаны друг с другом), аналогично тому, как это делается при обучении нейронных сетей.
Но как мозг может быть таким однородным, так хорошо решая множество разных задач? Ответ может лежать на стыке нейробиологии и информатики.
Роль информации
Что общего между зрительной, слуховой и сенсорной информацией? Очевидный ответ: все это своего рода информация.
Хотя информацию, откровенно говоря, сложно определить, и в информационную эпоху ее слишком часто используют, в контексте обработки информации в мозгу она имеет техническое значение. Шаг к пониманию того, как эта архитектура может так хорошо работать для нас, может заключаться в осознании того, что мозг можно рассматривать как устройство обработки информации.
Входные данные для нейронов, лежащей в основе нейронных вычислений, очень единообразны. Какой бы сигнал ни обрабатывал мозг, он всегда состоит из пространственных и временных паттернов возбуждения нейронов. Каждый вид паттерна, который мы наблюдаем во внешнем мире, кодируется в наших органах чувств в паттерны нервных импульсов, которые затем, согласно Курцвейлу, текут вверх и вниз по иерархии распознавателя образов, пока значение не будет успешно извлечено.
Доказательства нейробиологии поддерживаются идеями информатики. В своей книге Главный алгоритм Педро Домингос предлагает, чтобы мы могли найти универсальный алгоритм, который с учетом правильные данные, позволяют нам узнать почти все, все, что мы могли придумать.
Этот универсальный алгоритм обучения может даже состоять из смеси уже существующих алгоритмов обучения (например, байесовских сетей, коннекционистских или символистских подходов, эволюционных алгоритмов, опорных векторных машин и т. Д.).
Что-то похожее на этот универсальный алгоритм может также использоваться мозгом, хотя мы еще не совсем уверены, как мозг учится с алгоритмической точки зрения. В качестве наиболее простого примера, конечно же, есть обучение по Хеббю, которое, как было показано, до некоторой степени происходит в мозге. Для более сложных алгоритмов исследователи, среди прочего, пытались найти биологически правдоподобные механизмы для реализации обратного распространения ошибки в мозге.
Но очевидно, что мозг очень хорошо обучается и должен делать это таким образом, чтобы мы могли в принципе понимать и, очень вероятно, моделировать на наших компьютерах.
Потеря информации в нейронных сетях
Уловка для распознавания паттерна заключается в его декодировании, анализе соответствующей информации, скрытой внутри сигнала. Изучение того, как мозг делает это, может стать одним из ключевых шагов к пониманию того, как работает интеллект.
Джефф Хокинс, автор книги Об интеллекте, жалуется на нашу бедность инструментов, когда дело доходит до изучения роли. информации в мозгу, но наблюдается прогресс в понимании информационных потоков в вычислительных архитектурах.
Этим летом мне посчастливилось присутствовать на двух докладах израильского нейробиолога Нафтали Тишби о его информационном узком месте. метод . С сияющими глазами и энтузиазмом, который поднял всю толпу, он объяснил, как фильтруется информация, когда глубокие нейронные сети извлекают соответствующие функции из входных данных (см. Его доклад в Стэнфорде для введения).
Теория раскрывает, как информация течет в глубоких нейронных сетях (и дает вескую причину, почему глубокие сети, как правило, работают намного лучше, чем мелкие сети).
Когда вы научитесь распознавать лицо по изображениям размером 300x300 пикселей, у вас будет 90000 пикселей, содержащих информацию, но лицо может, если вы знаете, что обычно составляет лицо, характеризоваться гораздо меньшим объемом информации (например, соответствующие характеристики, такие как расстояние до глаз, ширина рта, положение носа и т. д.).
Эта идея используется, например, в некоторых глубоких генеративных моделях, таких как Автоэнкодеры (как я писал более подробно в моей статье Как заставить компьютеры мечтать), где изучаются и затем используются скрытые низкоразмерные представления данных. для создания трехмерных реалистичных результатов.
Методы обучения сети, такие как стохастический градиентный спуск, позволяют сети отфильтровывать соответствующие шаблоны, эффективно отбрасывая всю нерелевантную информацию из входных данных (например, игнорирование фона фотографии при классификации объекта на фотографии, как Ian Goodfellow описывает в своей книге Deep Learning).
Тишби сравнивает это с водой, текущей от дна бутылки к ее верху: узкое место становится все туже и туже, и через него может проходить все меньше и меньше информации. Но если узкое место установлено хорошо, вода, которая достигает вершины, в конечном итоге несет всю необходимую информацию.
Я поднял этот вопрос, потому что считаю, что эта теоретико-информационная перспектива может помочь нам понять идею неокортекса как составного из распознавателей образов.
Распознаватели шаблонов извлекают шаблоны из данных. Эти шаблоны формируют лишь небольшое подмножество входных данных, поэтому, по сути, распознаватели шаблонов мозга настроены на извлечение информации, имеющей отношение к нашему выживанию, из наших чувственных данных и для сортировки этих извлеченных данных по иерархиям знаний (я обсуждаю в гораздо подробнее, как это можно было бы структурировать в концептуальные пространства в моей статье о Геометрии мысли). Затем мы можем использовать их, чтобы навести порядок в беспорядочном мире, увеличивая наши шансы на выживание.
Это работа мозга. По сути, это устройство для фильтрации и упорядочивания информации, которое постоянно изучает полезные закономерности на основе данных.
Юрген Шмидсубер сравнивает прогресс науки с поиском все более эффективных алгоритмов сжатия: Ньютону и Эйнштейну блестяще удалось не придумать больших и непонятных формул, а, скорее, они выразили невероятный диапазон явлений уравнениями, которые можно было бы записать в одну формулу. линия. Шмидсубер считает, что такое сверхсжатие в какой-то момент может стать справедливым и для обычных учеников.
Сжатие и фильтрация информации вполне могут лежать в основе того, что мы считаем интеллектом, так что мы могли бы также чему-то научиться на нем (как мы это уже делали) при построении наших собственных интеллектуальных систем.
Почему интеллект может быть проще, чем мы думаем
Я не пророк, когда речь заходит о будущем искусственного интеллекта, и я надеюсь, что вас научили не слишком доверять мнению посторонних в Интернете, так что отнеситесь к этому с недоверием.
Я признаю, что обработка информации и интеллект - это гораздо больше, чем простая классификация шаблонов (см., Например, мою статью Муравьи и проблемы с нейронными сетями).
Есть много вопросов, которые нужно решить, прежде чем мы решим разведывательные данные. Выявление причинности или общих структур знаний, основанных на здравом смысле, как указывает Ян Лекун здесь, является большой проблемой, и встраивание прогнозных моделей мира в алгоритмы (как я подробно излагаю в своей статье Байесовская гипотеза мозга). ») Очень вероятно является необходимым следующим шагом из многих других необходимых шагов.
Другие открытые вопросы, связанные с необходимостью улучшения целевых функций, встречаются в обучении с подкреплением при обучении роботов разумному выполнению задач. Быть умным означает решать проблемы, и одним из важных аспектов этого является выяснение наилучших способов определения целей, а затем их достижения (в мозгу считается, что эту роль в определенной степени играют базальные ганглии).
Таким образом, простое объединение распознавателей образов не приведет к тому, что роботы будут бегать вокруг и рассуждать, как люди.
Я по-прежнему считаю, что скудность информации, содержащейся в генетическом коде, подкрепленная появляющимися доказательствами простоты и универсальности настройки неокортекса и его алгоритмов обучения, должна позволить нам остановиться и рискнуть построить высокоинтеллектуальные машины в ближайшем будущем. более серьезно (Курцвейл предсказывает, что машины пройдут тест Тьюринга в 2029 году и человеческий ИИ в 2045 году).
Как сказал П. Андерсон сказал в своей знаменитой статье об иерархии науки: многое другое, и больше могло бы получиться от расширения масштабов использования простых вещей, если бы мы выяснили, правильный способ увеличить их. Отчасти это уже проявилось в недавнем успехе глубокого обучения, которое тесно связано с увеличением доступных данных и вычислительной мощности.
Для меня понимание и развитие собственного интеллекта - это абсолютно захватывающая перспектива.
Но, как подчеркивают многие (этот Ted Talk дает краткое изложение), рост ИИ может иметь большие последствия для человечества в целом, и к нему следует относиться серьезно как к проблеме. И даже если мы переоцениваем проблему (потому что мы откровенно любим слишком сильно думать о конце света), нам лучше перестраховаться, чем сожалеть.
Ведь в конце концов природа пришла к разуму через слепые фантазии эволюции . И похоже, что скоро мы его придумаем.
