Том 78, октябрь 1990 г., IEEE.

Именно в этой, казалось бы, ничем не примечательной публикации Карвер Мид заложил рудиментарные основы Нейроморфных электронных систем.

Хорошо, что такое нейроморфные электронные системы?

Когда я впервые прочитал эту основополагающую статью более десяти лет назад, я был наивным студентом инженерного факультета Калифорнийского университета. Беркли.

Что меня больше всего поразило, так это последние слова Dr. Мид — заслуженный профессор инженерии и компьютерных наук в известном Калифорнийском технологическом институте.

«Я ожидаю, что широкомасштабная адаптивная аналоговая технология позволит полностью использовать огромный, до сих пор нереализованный потенциал производства кремния в масштабе пластин».

Прежде чем мы углубимся, я рекомендую вам сначала прочитать две другие статьи из этой серии из трех частей: Руководство венчурного капиталиста по машинному обучению и Создание музыки с помощью машинного обучения.

Изучая эту тему, можно легко заблудиться в лесу, поэтому помните об этом, изучая нейроморфные вычисления: это просто физическое расширение неуловимой цели искусственного интеллекта — найти оптимальное представление реальности.

Надвигающийся кризис машинного обучения

Прежде чем мы перейдем к нейроморфным вычислениям, давайте сначала разберемся с текущим состоянием технологий. Почти каждый современный компьютер основан на «архитектуре фон Неймана».

Названная в честь одного из величайших ученых 20-го века — Джона фон Неймана, архитектура фон Неймана отделяет вычислительные ячейки компьютера от ячеек памяти через коммуникационная шина.

Эта аппаратная архитектура в конечном итоге была принята из-за несовместимости между технологией производства кремния, известной как CMOS, используемой в процессорах, и чипами памяти.

Действительно, архитектура фон Неймана привела к экспоненциальному росту вычислений, известному как закон Мура, за последние 50 лет. Однако этот рост неустойчив.

Во-первых, в архитектуре фон Неймана энергопотребление и вычислительная мощность должны быть сбалансированы и не могут быть достигнуты одновременно.

Таким образом, несмотря на то, что размеры транзисторов сократились до менее 10 нанометров, по-прежнему существует компромисс между энергопотреблением и вычислительной мощностью, который накладывает ограничивающий нижний предел.

Во-вторых, существует физический предел того, насколько малы мы можем производить транзисторы из-за эффекта, известного как квантовое туннелирование для транзисторов размером менее 1–3 нанометров, которого мы достигли.

Хотя Intel и AMD — два крупнейших производителя ЦП — пытались обойти эту проблему, используя параллельную обработку (или просто соединяя вместе множество существующих ЦП), фундаментальное узкое место фон Неймана остается.

Наконец, гвоздь в крышку гроба искусственного интеллекта заключается в том, что алгоритмы машинного обучения часто перемещают большие объемы данных, а это требующая больших затрат энергии и памяти задача, которая не масштабируется для ЦП. и графические процессоры, работающие под архитектурой фон Неймана.

Эта монументальная проблема привела к таким проектам, как SpiNNaker (создание архитектуры нейронной сети) и Graphcore, разрабатывающим графические процессоры, положившие начало нейроморфным вычислениям.

Нейроморфные вычисления для глубокого обучения

Существует три основных архитектуры нейроморфных вычислений.

Тип A — это распределенная вычислительная архитектура (DNCA), в которой вычислительные блоки («нейроны») и блоки памяти («синапсы») перемежаются в распределенной сети, подобной мозгу.

Тип B – кластерная нейроморфная вычислительная архитектура (CNCA), которая мотивируется сенсорными сигналами мозга (соматические, тактильные, слуховые, визуальные, обонятельные и вкусовые), кластеризацией различные функции обработки в соответствии с архитектурой типа A.

Тип C является, пожалуй, наиболее многообещающим, поскольку он решает фундаментальную проблему большинства агентов машинного обучения (включая замечательный агент НЛП GPT-3, разработанный OpenAI), а именно способность ИИ ассоциативное обучение.

В этой ассоциативной нейроморфной вычислительной архитектуре (ANCA) сигналы сначала обрабатываются в специализированных областях, подобных архитектуре типа B. Кроме того, обработанная информация затем связывается друг с другом для построения ассоциативной нейронной сети.

Хорошо, все это звучит многообещающе.

Но как создать нейроморфный чип?

Альберта Эйнштейна однажды спросили, в чем секрет его гениальности, на что он ответил:

«Всмотритесь вглубь природы, и вы все поймете лучше».

Действительно, возможно, именно изучая природу, Леон Чуа — профессор электротехники Калифорнийского университета в Беркли, у которого я имел честь посещать один из его курсов, — открыл мемристор, электронное устройство. который отражает функцию синапса человеческого нейрона.

Долгое время являясь предметом научных исследований, мемристоры только недавно привлекли к себе внимание замечательными достижениями глубокого обучения (см. AlphaGo, AlexNet и Transformers).

Как подчеркнул директор отдела исследований искусственного интеллекта Tesla, вычислительные задачи глубокого обучения не могут быть решены в долгосрочной перспективе с помощью традиционных компьютеров фон Неймана.

Особенно для жизненно важных приложений, таких как автономное вождение, глубокое обучение в облаке или даже с помощью граничных вычислений неприемлемо, когда надежность имеет первостепенное значение.

Не вдаваясь в технические детали монолитной 3D-интеграции, ниже приведено иллюстративное сопоставление искусственной нейронной сети (ИНС) с 3D-нейроморфным чипом с использованием мемристоров для синаптического слоя.

Хорошо, так зачем мы все это делаем?

Сделаем шаг назад.

Человеческий мозг потребляет всего 20 Вт электроэнергии — меньше, чем обычная лампочка, — но при этом может превзойти OpenAI GPT-3 в любой простой задаче ассоциативного обучения.

По оценкам, обучение 175 миллиардов параметров GPT-3 стоит около 5 миллионов долларов.

Таким образом, становится ясно, что нынешние (на базе фон Неймана) компьютеры не смогут эффективно масштабироваться и идти в ногу с экспоненциальным прогрессом в области глубокого обучения в течение этого десятилетия Ревущих 2020-х.

Будучи инвестором передовых технологий в Radna Intellectual Ventures, я хотел бы сейчас обратить наше внимание на Темы для инвестиций в нейроморфных вычислениях.

Инвестиционные темы в нейроморфных вычислениях

Разговаривая с венчурными капиталистами о нейроморфных вычислениях, я часто слышу эти две жалобы.

Во-первых, технология «слишком рано».

Как отметил Томас Кун в своей концепции смены парадигмы, технологические инновации происходят скачкообразно. Таким образом, я считаю, что экстраполяция предыдущего исторического роста, скажем, цифровых вычислений сильно недооценивает скорость внедрения прорывных технологий, таких как нейроморфные вычисления.

Во-вторых, «оборудование не может быть инвестировано венчурным капиталом».

Существует заблуждение, что единственные возможности нейроморфных вычислений — это аппаратное обеспечение. Нейроморфные вычисления — это просто технологический стек, подобный цифровым вычислениям, и поэтому существует аппаратное обеспечение, программное обеспечение и уровень абстракции, соединяющий два .

На уровне Аппаратное обеспечение инвестиционные возможности, как и ожидалось, требуют больших капиталовложений, причем проблема усугубляется конкуренцией со стороны таких хорошо финансируемых компаний, как Intel, Qualcomm и IBM разрабатывают собственные нейроморфные чипы.

Тем не менее, существуют возможности для нишевых приложений и приложений со сверхнизким энергопотреблением, таких как Интернет вещей, и такие стартапы, как Brainchip, конкурируют в этой области.

На уровне абстракции это по-прежнему остается нерешенной проблемой с ограниченными возможностями, пока не будет достигнут консенсус по протоколу абстракции для нейроморфных вычислений, аналогично принятию набора инструкций x86 для традиционных вычислений.

Тем не менее, разработка Nengo Neural Engineering Framework компанией Applied Brain Research набирает обороты, наряду с разработкой нейроморфной операционной системы компанией BrainScales, финансируемой ЕС.

Наконец, мы подходим к уровню Программное обеспечение, где, как я ожидаю, будет лежать большинство инвестиционных возможностей для венчурных капиталистов, семейных офисов и других прямых ранних инвесторов.

Vicarious и Inivation — это два стартапа, работающих в области компьютерного зрения, а Numenta лицензирует свою запатентованную нейроморфную технологию для дальнейшего использования разработчиками.

Я ожидаю, что большинство этих возможностей будет в конкретных отраслях, где локализованное глубокое обучение имеет решающее значение, таких как автономное вождение, промышленность и Мобильные приложения.

Теперь давайте перейдем к квантовым вычислениям, которые могут стать последним рубежом вычислений.

На пути к квантовым вычислениям

Скажу прямо: квантовые вычисления в их нынешнем состоянии скорее реклама, чем реальность.

Хотя IBM, Intel, Google, Alibaba и Microsoft разработали рабочие квантовые компьютеры, я считаю, что все это домашние проекты, поскольку фундаментальная проблема квантовой вычисления –⁠ декогерентизация квантовых кубитов в масштабе –⁠ остается нерешенной.

Кроме того, я считаю, что квантовые вычисления могут стать первым крупным технологическим прорывом, когда нам необходимо перейти от кремния в качестве субстрата к органическим соединениям.

Зачем это нужно?

Что ж, недавнее исследование предоставило замечательные доказательства того, что наш мозг работает как квантовый компьютер на самом фундаментальном уровне.

Однако здесь проводятся ограниченные исследования и разработки, поэтому, хотя я в восторге от квантовых вычислений, я по-прежнему скептически отношусь к их осуществимости при нашей жизни.

Последние мысли

Что ж, если вы все еще читаете это, надеюсь, эта серия из трех частей была информативной и может дать вам руководство как предпринимателю, так и инвестору в области искусственного интеллекта.

Возвращаясь к нашей первой цитате из Части первой:

«Искусственный интеллект начался с древнего желания создать богов».

Действительно, я нахожу замечательным то, что мы находимся на пути к созданию своего рода Бога — разума человеческого уровня, лишенного всех заблуждений и эмоций, которые, по иронии судьбы, делают нас людьми.

Это одновременно и унизительный опыт, и интересный духовный опыт.

Эндрю Во, CFA

Инвестор Radna Intellectual Ventures

Ссылки по теме: Руководство VC по машинному обучению, Создание музыки с помощью машинного обучения

О Radna Intellectual Ventures

Radna Intellectual Ventures – это венчурная стартап-студия, миссия которой – помочь новому поколению Deep Technologies или компаний Deep Tech, уделяя особое внимание машинному обучению, обработке естественного языка и технологиям блокчейн.

Наш генеральный партнер, Эндрю Во, десять лет занимался финансами, работая у некоторых крупнейших инвестиционных менеджеров, таких как J.P. Morgan, прежде чем встать на путь предпринимательства. Эндрю работает советником для начинающих компаний, специализирующихся на секторах FinTech и DeepTech. Эндрю является держателем сертификата CFA и имеет степень магистра наук в области вычислительной техники Корнельского университета и степень бакалавра наук в области электротехники и компьютерных наук Калифорнийского университета в Беркли.

Узнайте больше о Radna Intellectual Ventures здесь.

— Опубликовано 17 августа 2020 г.