В этой статье представлен общий обзор методов поиска нейронной архитектуры (NAS).

В последние годы нейронные сети (НС) очень помогли решить проблемы в различных областях, таких как компьютерное зрение, обработка естественного языка и т. д. Однако архитектура нейронных сетей (таких как AlexNet, ResNet и VGGNet) проектировался в основном людьми, полагаясь на свою интуицию и понимание конкретных задач.

Это привело к растущему интересу к новым типам алгоритмов, которые могут автоматически проектировать архитектуру нейронных сетей. Этот тип алгоритма известен как Поиск нейронной архитектуры или NAS»сокращенно.

NAS пытается заменить опору на человеческую интуицию автоматическим поиском нейронной архитектуры для данной задачи.

Первый вопрос, что такое нейронная сеть?

Искусственная нейронная сеть основана на наборе связанных единиц или узлов (обозначенных желтыми кружками на рис. 1 ниже), называемых искусственными нейронами. Эти искусственные нейроны соединены в определенную структуру (как показано ниже на рисунке 1) для выполнения задачи.

На рисунке 1 мы видим две разные архитектуры нейронных сетей, и нам нужно выбрать лучшую для нашей задачи.

Раньше люди проектировали эти архитектуры, что отнимало очень много времени. Эта ручная работа теперь заменяется алгоритмами Neural Architecture Search (NAS).

Последствия NAS

Теперь вам может быть интересно, зачем мне нужно знать об этой теме.

Простой ответ заключается в том, что этот тип технологии используется в крупных компаниях, таких как Google, Microsoft и т. д., для поиска ИИ-решений проблем, которые не подпадают под классические критерии информатики.

Например, систему искусственного интеллекта, предназначенную для распознавания лиц, нельзя использовать для прогнозирования погоды. Таким образом, для предсказания погоды вам нужно заново спроектировать архитектуру нейронной сети, что отнимает много времени.

Лучшим решением является использование этих алгоритмов NAS для поиска архитектуры.

Как работает NAS?

Любой метод NAS состоит из трех частей (как показано на рисунке 1 ниже): пространство поиска, стратегия поиска и оценка производительности. .

Пространство поиска

Пространство поиска обычно определяет тип архитектуры, которая может быть представлена ​​в принципе. Это определяет архитектурный ландшафт, в котором алгоритм поиска будет выполнять процесс поиска.

Например, пространство поиска может включать определение количества каналов ядра, размера ширины и размера ядра фильтра сети CNN.

Стратегия поиска

Стратегия поиска определяет процесс, который используется для изучения пространства поиска нейронной архитектуры. Обычно это методы на основе обучения с подкреплением (RL), методы на основе эволюционного алгоритма (EA) и методы на основе градиента.

Оценка производительности

Наконец, оценка производительности относится к процессу оценки производительности архитектуры нейронной сети. Это самая важная часть, поскольку она используется алгоритмами стратегии поиска для навигации в пространстве поиска.

Цель любого метода NAS — найти архитектуру с высокой производительностью, используя оценку производительности для данной задачи.

Как работает стратегия поиска

Любая стратегия поиска сначала выберет архитектуру и отправит эту архитектуру в блок оценки производительности, чтобы получить показатель производительности архитектуры (см. рисунок 1 выше). На основе этой метрики различные стратегии поиска будут обновлять свой процесс, который выглядит следующим образом:

NAS на основе эволюционного алгоритма (EA) обновляет совокупность архитектур на основе производительности архитектур в процессе оценки производительности.

NAS на основе обучения с подкреплением (RL) имеет архитектуру выборки агента RL в пространстве поиска, которая обновляется в зависимости от производительности архитектуры, определяемой процессом оценки производительности.

Наконец, методы на основе градиента начинаются со случайной нейронной архитектуры, а затем нейронная архитектура обновляется с использованием информации о градиенте на основе процесса оценки производительности.

Заключение

Это одна из самых быстрорастущих подобластей в области ИИ, и она будет отвечать за ускоренный рост ИИ в других областях, помимо тех, которые используются в компьютерных науках для сравнительного анализа. Это связано с тем, что нам не нужен человек-эксперт в конкретной области для руководства процессом поиска, поскольку алгоритмы NAS могут выполнять поиск автоматически, используя только доступные данные.

Подпишитесь на DDIntel Здесь.

Присоединяйтесь к нашей сети здесь: https://datadriveninvestor.com/collaborate