ИИ первого поколения, также известный как GOFAI, старый добрый ИИ, состоящий из простых вычислений, выполняемых в масштабе, например. с помощью калькулятора и назвал его умным. С 2012 года вычислительная мощность обеспечила более быстрые операции с матрицами, что сделало возможным машинное обучение/глубокое обучение на огромных наборах данных, открывая ИИ во втором поколении, где автономные автомобили, голосовые помощники, рекомендательные системы и системы обнаружения мошенничества могли использовать модели, созданные ИИ.

По данным Statista, объем данных, сгенерированных к 2020 году, оценивается примерно в 64 зеттабайта. По прогнозам, к 2025 году он вырастет до колоссальных 180 зеттабайт. Экстраполируя эту статистику, кажется очевидным, что вычислительная мощность для создания идей и моделей на основе этих данных — это уловка-22. Одним из таких постоянно растущих потоков данных являются неструктурированные текстовые данные. Модели больших языков (LLM) нацелены на решение этих проблем. Однако у такого подхода есть серьезные ограничения.

Отсутствие воспроизводимости LLM научным сообществом и требования к мощности делают его исследование тупиковым. Для обучения MegatronLM потребовалось 512 графических процессоров V100, у которых было 45 терабайт данных, потребляющих 27 648 кВтч энергии, что соответствует трем годам энергии среднего американского домохозяйства. К 2040 году количество энергии, необходимое для обучения более крупных моделей с такой скоростью, потребует больше энергии, чем вся энергия, которая питает Землю.

Это требует исследования альтернативных моделей с менее высокими требованиями как к алгоритмической, так и к аппаратной части. MIT-IBM Watson AI Lab — одна из исследовательских лабораторий, которая пытается решить эту проблему, предлагая новый подход. Это состоит в том, чтобы сделать большие модели BlackBox более объяснимыми с помощью символического представления вложений и отношений между ними.

Давайте сначала предположим, что ИНС полностью моделируют нейроанатомию человеческого мозга, а машины используют восприятие так же, как человеческий ребенок учится познанию, экспериментируя с окружающей средой. Известный когнитивный психолог Жан Пиаже объясняет различные этапы когнитивного развития ребенка, начиная с изучения окружающей его среды. В то время как подкорковые области мозга не могут быть воспроизведены в машинах, отвечающих за эмоциональную регуляцию и формирование памяти на основе биологических клеток, в основном состоящих из химических процессов, функции коры можно более или менее эмулировать. Более ранние работы по расшифровке нейронных систем являются одними из новаторских открытий в этой области. Книга Карвера Мида «Аналоговые СБИС и нейронные системы» — хорошая книга.

В терминологии обучения с подкреплением эти вложения называются схемами. Как только ребенок усваивает эти схемы, дополнительная информация служит обновлением модели и называется ассимиляцией. Несоответствие существующей модели объясняется процессом, называемым аккомодацией, который в терминах машинного обучения можно назвать настройкой гиперпараметров. Эти веса могут быть тормозными или возбуждающими по своей природе.

Третье поколение ИИ предполагает, что НС используют систему, в которой машинное восприятие использует нейронные сети для обнаружения объектов, но символические значения этих объектов должны определяться слоем семантики.

На изображении выше за обнаружением объекта следует описание атрибутов этих объектов, а именно форма, цвет, положение, а в движущихся объектах - расчеты расстояния. Это мета-обучение решает большую часть «черного ящика», где интерпретируемость является огромной проблемой, особенно в критически важных ситуациях, таких как поля сражений и здравоохранение.

Консорциум университетов, таких как Массачусетский технологический институт, Стэнфорд, Калифорнийский технологический институт, Юта и Пенсильванский университет, среди прочих, работает над совместным проектом, финансируемым NSF, под названием «Понимание мира через код».

Согласно их веб-сайту

Цель нашего проекта — разработать новые методы обучения, которые помогут автоматизировать процесс создания научных теорий на основе данных. В частности, мы работаем над разработкой методов обучения «нейросимволических моделей, сочетающих нейронные элементы, способные идентифицировать сложные закономерности в данных, с символическими конструкциями, способными представлять концепции более высокого уровня. Наш подход основан на наблюдении, что языки программирования обеспечивают уникальный выразительный формализм для описания сложных моделей. Поэтому наша цель — разработать методы обучения, которые могут создавать модели, больше похожие на модели, которые ученые уже пишут вручную в коде». Их работы можно прочитать на их сайте здесь.

Вывод, основанный на такой архитектуре, более объясним и использует разреженные наборы данных для точного прогнозирования результатов. Более того, поскольку символический уровень выводит атрибуты объекта, его можно использовать в качестве априорного для разных доменов для объяснения знаний предметной области. При поиске лекарств его можно использовать для описания лекарств-кандидатов от целевых заболеваний и причин их выбора. Это автоматизированное рассуждение помогает находить новые семейства лекарств и расстояния между их кластерами.

Битва на аппаратной стороне заключается в поиске новых способов экономии энергии и моделей, основанных на разрозненных данных. Возможным решением являются нейроморфные вычисления, которые отличаются от традиционной архитектуры фон Неймана тем, что не имеют разделения между памятью и вычислительными областями, помогающего с задержкой. У него также нет состояний 0 и 1, а есть бесконечные промежуточные состояния. В Intel Labs есть лаборатория нейроморфных вычислений.

Нейроморфный исследовательский чип второго поколения Intel Labs под кодовым названием Loihi 2 и Lava, программная среда с открытым исходным кодом, будет стимулировать инновации и внедрение нейроморфных вычислительных решений.

Улучшения включают в себя:

  • Возможности обработки до 10 раз быстрее1
  • Увеличение пропускной способности между чипами до 60 раз2
  • До 1 миллиона нейронов с 15-кратно большей плотностью ресурсов3
  • 3D Scalable с собственной поддержкой Ethernet
  • Новая программная среда с открытым исходным кодом под названием Lava.
  • Полностью программируемые модели нейронов с градуированными спайками
  • Расширенные возможности обучения и адаптации

Наконец, крупные технологические компании инвестируют в квантовые вычисления для решения проблем энергоэффективности. Квантовые вычисления — это тип вычислений, который использует коллективные свойства квантовых состояний, такие как суперпозиция, интерференция и запутанность, для выполнения вычислений. Устройства, выполняющие квантовые вычисления, известны как квантовые компьютеры.

Согласно прогнозу fortune Business Insights, исследовательской компании, «рынок квантовых вычислений, по прогнозам, вырастет с 486,1 млн долларов США в 2021 году до 3 180,9 млн долларов США в 2028 году при среднегодовом темпе роста 30,8% в прогнозируемый период 2021–2028 годов.

Нейросимволический ИИ с дополнительной помощью архитектур нейроморфных вычислений и квантовых вычислений может произвести революцию в ИИ, каким мы его знаем, открывая нам мир с совершенно новыми возможностями. Это, безусловно, захватывающая развивающаяся область, которая нуждается в междисциплинарных исследованиях.

Использованная литература:

https://www.intel.com/content/www/us/en/research/neuromorphic-computing.html

https://mitibmwatsonailab.mit.edu/category/neuro-symbolic-ai/

https://www.statista.com/statistics/871513/worldwide-data-created/