Чтобы получать больше новостей и аналитики AI, подпишитесь на мою рассылку здесь.

Выделение общепринятого определения того, что можно считать искусственным интеллектом (ИИ), стало возрожденной темой для дискуссий в последнее время. Некоторые переименовали ИИ в «когнитивные вычисления» или «машинный интеллект», в то время как другие ошибочно заменяли ИИ «машинным обучением». Отчасти это связано с тем, что ИИ не является одной технологией. На самом деле это обширная область, состоящая из множества дисциплин, от робототехники до машинного обучения. Большинство из нас утверждает, что конечной целью ИИ является создание машин, способных выполнять задачи и когнитивные функции, которые в противном случае находятся в пределах возможностей человеческого интеллекта. Чтобы достичь этого, машины должны иметь возможность изучать эти возможности автоматически, вместо того, чтобы каждая из них была явно запрограммирована от начала до конца.

Поразительно, скольких успехов удалось достичь в области искусственного интеллекта за последние 10 лет, от беспилотных автомобилей до распознавания и синтеза речи. На этом фоне ИИ стал темой для разговоров во все большем количестве компаний и домашних хозяйств, которые стали рассматривать ИИ как технологию, которая появится не через 20 лет, а как нечто, что влияет на их жизнь сегодня. Действительно, популярная пресса сообщает об ИИ почти каждый день, а технологические гиганты один за другим формулируют свои важные долгосрочные стратегии ИИ. В то время как несколько инвесторов и традиционных игроков хотят понять, как получить прибыль в этом новом мире, большинство все еще ломают голову над тем, что все это означает. Тем временем правительства борются с последствиями автоматизации в обществе (см. Прощальное обращение Обамы).

Учитывая, что ИИ повлияет на всю экономику, участники этих разговоров представляют все распределение намерений, уровней понимания и уровней опыта в создании или использовании систем ИИ. Таким образом, очень важно, чтобы обсуждение ИИ - включая вопросы, выводы и рекомендации, вытекающие из него, - основывалось на данных и реальности, а не на предположениях. Слишком легко (а иногда и интересно!) Безумно экстраполировать последствия опубликованных исследований или сообщений технической прессы, спекулятивных комментариев и мысленных экспериментов.

Вот шесть областей ИИ, которые особенно примечательны своей способностью повлиять на будущее цифровых продуктов и услуг. Я описываю, что они собой представляют, почему они важны, как они используются сегодня, и включаю список (ни в коем случае не исчерпывающий) компаний и исследователей, работающих над этими технологиями.

1. Обучение с подкреплением (RL)

RL - это парадигма обучения методом проб и ошибок, вдохновленная тем, как люди изучают новые задачи. В типичной настройке RL агенту поручено наблюдать за его текущим состоянием в цифровой среде и предпринимать действия, которые максимизируют накопление установленного им долгосрочного вознаграждения. Агент получает обратную связь от среды в результате каждого действия, так что он знает, способствовало или препятствовало действие его продвижению. Поэтому агент RL должен сбалансировать исследование своей среды, чтобы найти оптимальные стратегии накопления вознаграждения, с использованием лучшей стратегии, которую он нашел для достижения желаемой цели. Этот подход был популярен в Google DeepMind в их работе над Atari games and Go. Примером работы RL в реальном мире является задача оптимизации энергоэффективности для охлаждения центров обработки данных Google. Здесь система RL позволила снизить затраты на охлаждение на 40%. Важным естественным преимуществом использования агентов RL в средах, которые можно моделировать (например, в видеоиграх), является то, что обучающие данные могут быть сгенерированы целиком и с очень низкими затратами. Это резко контрастирует с контролируемыми задачами глубокого обучения, которые часто требуют обучающих данных, которые дороги и их трудно получить в реальном мире.

2. Генеративные модели

В отличие от дискриминационных моделей, которые используются для задач классификации или регрессии, генеративные модели изучают распределение вероятностей на обучающих примерах. Путем выборки из этого многомерного распределения генеративные модели выводят новые примеры, похожие на обучающие данные. Это означает, например, что генеративная модель, обученная на реальных изображениях лиц, может выводить новые синтетические изображения подобных лиц. Для получения дополнительной информации о том, как работают эти модели, см. Статью Яна Гудфеллоу Потрясающее руководство по NIPS 2016, написанное. Представленная им архитектура, генеративные состязательные сети (GAN), сейчас особенно популярна в исследовательском мире, потому что они предлагают путь к обучению без учителя. В GAN есть две нейронные сети: генератор, который принимает на входе случайный шум и которому поручено синтезировать контент (например, изображение), и дискриминатор, который имеет узнал, как выглядят настоящие изображения, и получил задание определить, являются ли изображения, созданные генератором, настоящими или поддельными. Соревновательное обучение можно рассматривать как игру, в которой генератор должен итеративно учиться создавать изображения из шума, чтобы дискриминатор больше не мог отличить сгенерированные изображения от реальных. Эта структура расширяется для многих модальностей данных и задач.

3. Сети с памятью

Чтобы системы искусственного интеллекта могли обобщаться в различных реальных средах, как это делаем мы, они должны иметь возможность постоянно изучать новые задачи и помнить, как выполнять их все в будущем. Однако традиционные нейронные сети, как правило, неспособны к такому последовательному обучению задач, не забывая об этом. Этот недостаток называется катастрофическим забыванием. Это происходит из-за того, что веса в сети, которые важно решить для задачи A, изменяются, когда сеть впоследствии обучается решать задачу B.

Однако существует несколько мощных архитектур, которые могут наделить нейронные сети разной степенью памяти. К ним относятся сети долгосрочной краткосрочной памяти (вариант рекуррентной нейронной сети), которые способны обрабатывать и прогнозировать временные ряды, дифференцируемый нейронный компьютер DeepMind, который объединяет нейронные сети и системы памяти для обучения и навигации по сложным структурам данных. сами по себе, алгоритм упругой консолидации веса, который замедляет обучение с определенными весами в зависимости от того, насколько они важны для ранее рассмотренных задач, и прогрессивные нейронные сети, которые изучить боковые связи между моделями для конкретных задач, чтобы извлечь полезные функции из ранее изученных сетей для новой задачи.

  • Приложения: обучающие агенты, которые могут применяться в новых средах; задачи управления роботизированной рукой; автономные транспортные средства; прогнозирование временных рядов (например, финансовые рынки, видео, Интернет вещей); понимание естественного языка и предсказание следующего слова.
  • Компании: Google DeepMind, NNaisense (?), SwiftKey / Microsoft Research, Facebook AI Research.
  • Основные исследователи: Алекс Грейвс, Райя Хадселл, Корай Кавукчуоглу (Google DeepMind), Юрген Шмидхубер (IDSIA), Джеффри Хинтон (Google Brain / Торонто), Джеймс Вестон, Сумит Чопра, Антуан Бордес (FAIR).

4. Изучение меньшего количества данных и построение моделей меньшего размера.

Модели глубокого обучения примечательны тем, что для достижения высочайшего уровня производительности требуются огромные объемы обучающих данных. Например, вызов ImageNet Large Scale Visual Recognition Challenge, на котором команды оспаривают свои модели распознавания изображений, содержит 1,2 миллиона обучающих изображений, помеченных вручную 1000 категориями объектов. Без крупномасштабных обучающих данных модели глубокого обучения не смогут найти оптимальные параметры и не смогут эффективно выполнять сложные задачи, такие как распознавание речи или машинный перевод. Это требование к данным растет только тогда, когда одна нейронная сеть используется для комплексного решения проблемы; то есть использование необработанных аудиозаписей речи в качестве входных и выходных текстовых транскрипций речи. Это контрастирует с использованием нескольких сетей, каждая из которых обеспечивает промежуточные представления (например, необработанный аудиовход речи → фонемы → слова → вывод текстовой расшифровки; или необработанные пиксели с камеры, сопоставленные непосредственно с командами управления). Если мы хотим, чтобы системы искусственного интеллекта решали задачи, в которых данные обучения являются особенно сложными, дорогостоящими, чувствительными или требующими много времени для получения, важно разработать модели, которые могут изучать оптимальные решения на меньшем количестве примеров (например, одноразовое или нулевое обучение). При обучении на небольших наборах данных проблемы включают переоснащение, трудности с обработкой выбросов, различия в распределении данных между обучением и тестированием. Альтернативный подход заключается в улучшении обучения новой задаче путем передачи знаний модели машинного обучения, полученных из предыдущей задачи, с использованием процессов, которые в совокупности называются переносом обучения.

Связанная с этим проблема заключается в создании небольших архитектур глубокого обучения с современной производительностью с использованием аналогичного числа или значительно меньшего количества параметров. Преимущества включают более эффективное распределенное обучение, поскольку данные должны передаваться между серверами, меньшую полосу пропускания для экспорта новой модели из облака на периферийное устройство и улучшенную возможность развертывания на оборудовании с ограниченной памятью.

  • Приложения: обучение неглубоких сетей путем обучения имитации производительности глубоких сетей, изначально обученных на больших размеченных обучающих данных; архитектуры с меньшим количеством параметров, но по производительности эквивалентные глубинным моделям (например, SqueezeNet); "машинный перевод".
  • Компании: Geometric Intelligence / Uber, DeepScale.ai, Microsoft Research, Curious AI Company, Google, Bloomsbury AI.
  • Основные исследователи: Зубин Гахрамани (Кембридж), Йошуа Бенджио (Монреаль), Джош Тененбаум (Массачусетский технологический институт), Брендан Лейк (Нью-Йоркский университет), Ориол Виньялс (Google DeepMind), Себастьян Ридель (UCL).

5. Оборудование для обучения и вывода

Основным катализатором прогресса в области ИИ является перепрофилирование графических процессоров (GPU) для обучения больших моделей нейронных сетей. В отличие от центрального процессора (ЦП), который выполняет последовательные вычисления, графические процессоры предлагают массивно-параллельную архитектуру, которая может обрабатывать несколько задач одновременно. Учитывая, что нейронные сети должны обрабатывать огромные объемы (часто данных большой размерности), обучение на графических процессорах происходит намного быстрее, чем на процессорах. Вот почему графические процессоры действительно стали лопатой для золотой лихорадки с момента публикации AlexNet в 2012 году - первой нейронной сети, реализованной на графическом процессоре. NVIDIA продолжает лидировать в 2017 году, опережая Intel, Qualcomm, AMD и, с недавних пор, Google.

Однако графические процессоры не были специально созданы для обучения или вывода; они были созданы для рендеринга графики для видеоигр. Графические процессоры обладают высокой точностью вычислений, которая не всегда требуется, и страдают от проблем с пропускной способностью памяти и пропускной способностью данных. Это открыло игровое поле для нового поколения стартапов и проектов в крупных компаниях, таких как Google, по разработке и производству микросхем специально для многомерных приложений машинного обучения. Улучшения, обещанные новыми конструкциями микросхем, включают большую пропускную способность памяти, вычисления на графиках вместо векторов (графические процессоры) или скаляры (процессоры), более высокую плотность вычислений, эффективность и производительность на ватт. Это захватывающе, потому что системы ИИ дают своим владельцам и пользователям четкую ускоряющуюся отдачу: более быстрое и эффективное обучение моделей → лучший пользовательский опыт → пользователь больше взаимодействует с продуктом → создает больший набор данных → повышает производительность модели за счет оптимизации. Таким образом, те, кто может тренироваться быстрее и развертывать модели искусственного интеллекта, которые являются вычислительно и энергоэффективными, получают значительное преимущество.

  • Приложения: более быстрое обучение моделей (особенно на графиках); эффективность использования энергии и данных при прогнозировании; запуск систем искусственного интеллекта на периферии (устройства IoT); постоянно прослушивающие устройства IoT; облачная инфраструктура как услуга; автономные транспортные средства, дроны и робототехника.
  • Компании: Graphcore, Cerebras, Isocline Engineering, Google (TPU), NVIDIA (DGX-1), Nervana Systems (Intel), Movidius (Intel), Scortex.
  • Ведущие исследователи:?

6. Среды моделирования

Как обсуждалось ранее, создание обучающих данных для систем искусственного интеллекта часто является сложной задачей. Более того, искусственный интеллект должен применяться ко многим ситуациям, чтобы быть полезными для нас в реальном мире. Таким образом, разработка цифровых сред, имитирующих физику и поведение реального мира, предоставит нам испытательные стенды для измерения и тренировки общего интеллекта ИИ. Эти среды представляют необработанные пиксели ИИ, который затем предпринимает действия для достижения поставленных (или изученных) целей. Обучение в этих симуляционных средах может помочь нам понять, как обучаются системы искусственного интеллекта, как их улучшить, но также предоставит нам модели, которые потенциально могут быть перенесены в реальные приложения.

  • Приложения: Обучение вождению; изготовление; промышленный дизайн; разработка игр; умные города.
  • Компании: Improbable, Unity 3D, Microsoft (Minecraft), Google DeepMind / Blizzard, OpenAI, Comma.ai, Unreal Engine, Amazon Lumberyard.
  • Исследователи: Андреа Ведальди (Оксфорд)

Подпишитесь на мою информационную рассылку, в которой будут освещаться новости и аналитика ИИ из мира технологий, исследовательских лабораторий и рынка частных / государственных компаний.

Приходите на нашу следующую встречу London.AI 3 марта, чтобы узнать об этих темах! Спасибо Александру Фламанту за вычитку этой статьи.

Я хотел бы услышать ваши мысли *. Оставьте комментарий ниже или напишите мне в Twitter (@nathanbenaich).