Применение традиционных методов машинного обучения к реальным проблемам может занять очень много времени. Автоматизированное машинное обучение (AutoML) направлено на то, чтобы изменить это, упростив создание и использование моделей машинного обучения за счет запуска систематических процессов с необработанными данными и выбора моделей, которые извлекают наиболее актуальную информацию из данных.

Чтобы помочь пользователям эффективно и автоматически разрабатывать и настраивать модели машинного обучения, архитектуры нейронных сетей или сложные системные параметры, в 2017 году Microsoft Research приступила к разработке своего набора инструментов Neural Network Intelligence (NNI) AutoML с открытым исходным кодом. v1.0 в 2018 году.

NNI - это легкий, но мощный инструментарий, который может отправлять и запускать пробные задания, созданные с помощью алгоритмов настройки для поиска лучшей нейронной архитектуры и гиперпараметров в таких средах, как Локальный компьютер, Удаленные серверы, OpenPAI, Kubeflow. , FrameworkController на K8S (AKS и др.) И другие облачные варианты.

Microsoft недавно выпустила NNI v1.3, а также китайскую версию NNI. Обновление обеспечивает более полную поддержку всего жизненного цикла машинного обучения за счет применения алгоритмов AutoML к таким этапам, как проектирование функций, поиск архитектуры нейронной сети (NAS), настройка гиперпараметров и сжатие модели.

Microsoft рекомендует NNI всем, кто хочет опробовать различные алгоритмы AutoML в своем обучении или моделях или запустить пробные задания AutoML в различных средах, чтобы ускорить поиск. Этот инструментарий также оценят исследователи и специалисты по обработке данных, которые хотят легко внедрять и экспериментировать с новыми алгоритмами AutoML, а также владельцы платформ машинного обучения, которые хотят поддерживать AutoML на своих платформа.

На странице NNI на GitHub описаны свойства, которые делают этот инструментарий таким полезным:

  • Простота в использовании: NNI можно легко установить через python pip - нужно добавить всего несколько строк в код, чтобы использовать возможности NNI. Пользователи могут использовать как инструмент командной строки, так и веб-интерфейс для работы с вашими экспериментами.
  • Масштабируемость. Настройка гиперпараметров или нейронной архитектуры часто требует большого количества вычислительных ресурсов, в то время как NNI предназначен для полного использования различных вычислительных ресурсов, таких как удаленные машины и обучающие платформы. Сотни испытаний могут выполняться параллельно в зависимости от мощности настроенных вами тренировочных платформ.
  • Гибкость. Помимо богатых встроенных алгоритмов, NNI позволяет пользователям настраивать различные алгоритмы настройки гиперпараметров, алгоритмы поиска нейронной архитектуры, алгоритмы ранней остановки и т. д. Пользователи также могут расширить NNI с помощью дополнительных обучающих платформ, таких как виртуальные машины, сервис Kubernetes в облаке. Более того, NNI может подключаться к внешним средам для настройки на них специальных приложений и моделей.
  • Эффективность: команда NNI постоянно работает над более эффективной настройкой модели как на уровне системы, так и на уровне алгоритмов, например, используя раннюю обратную связь для ускорения процедуры настройки.

Базовый эксперимент NNI начинается, когда тюнер получает пространство поиска и генерирует конфигурации. Эти конфигурации отправляются на обучающие платформы, и их характеристики сообщаются тюнеру, чтобы можно было сгенерировать и отправить новые конфигурации. Для каждого эксперимента пользователи могут выполнить простой трехэтапный процесс: Определить пространство поиска, Обновить коды модели и Определить эксперимент.

Что касается возможностей, NNI предоставляет как инструмент командной строки, так и удобный веб-интерфейс для управления обучающими экспериментами. С помощью расширяемого API пользователи могут настраивать свои собственные алгоритмы AutoML и обучающие службы.

NNI также предоставляет набор встроенных алгоритмов SOTA AutoML и готовую поддержку популярных платформ обучения. Команда все еще добавляет новые возможности и приветствует сторонний вклад.

NNI v1.3 совместим с последними версиями Linux, MacOS и Windows. Он также, естественно, поддерживает настройку гиперпараметров и поиск нейронной сети для структур AI, включая PyTorch, Keras, TensorFlow, MXNet и Caffe2, а также таких библиотек, как Scikit-learn, XGBoost и LightGBM.

Neural Network Intelligence v1.3 с открытым исходным кодом доступен для загрузки на GitHub.

Журналистика: Юань Юань | Редактор: Майкл Саразен

Мы знаем, что вы не хотите пропустить ни одной истории. Подпишитесь на наш популярный Synced Global AI Weekly , чтобы получать еженедельные обновления AI.

Нужен всесторонний обзор прошлого, настоящего и будущего современных исследований в области искусственного интеллекта? Отчет Тенденции развития технологий искусственного интеллекта вышел!

Вышел Отчет об адаптивности AI для публичной компании Fortune Global 500 за 2018 год!
Приобретите отчет в формате Kindle на Amazon.
Подайте заявку на участие в Партнерской программе Insight, чтобы получить бесплатный полный отчет в формате PDF.