Авторы: Шрути Джейдон, Аджит Патанкар
Что такое метаобучение?
Метаобучение, также известное как методология «обучения, чтобы учиться», является подмножеством машинного обучения. Алгоритмы метаобучения разрабатываются с целью создания моделей, которые могут адаптироваться к изменениям и учиться на меньшем подмножестве примеров.
Проблемы глубокого обучения
Общие Моделирование глубокого обучения имело огромный успех в отрасли и используется для решения множества задач, включая классификацию изображений, прогнозирование продаж, чат-ботов для обслуживания клиентов и т. д. Но они сопряжены с некоторыми сопутствующими расходами, как указано ниже:
- Нужен большой объем обучающих данных.
- Потребность в размеченных данных для контролируемого обучения.
- Требуется больше вычислительной мощности.
- Неспособность адаптироваться к изменениям распределения данных.
Следовательно, глубокое обучение может быть не таким успешным или эффективным в областях, где у нас нет доступа к размеченным данным, вычислительной мощности или большому количеству данных. В сетевой области мы также столкнулись с одной из таких проблем, и для ее решения мы экспериментировали с трансферным обучением и метаобучением. Мы обнаружили, что возможность создать модель, которая может учиться на прошлом и быстро адаптироваться к изменениям, может помочь нам создавать отдельные модели машинного обучения в масштабе и, следовательно, снизить затраты, связанные с машинным обучением, на систему.
Применение метаобучения в сети
Машинное обучение широко используется в сетевых областях для различных приложений, включая выявление сетевых вторжений, анализ шаблонов трафика и прогнозирование использования пропускной способности. Одна из таких проблем, которую мы решаем, заключается в разработке системы обнаружения аномалий на основе прогнозирования, которая может обучать тысячи моделей, не требует обучения более длительных эпох для модели и может предоставлять точные прогнозы в первый день.
Чтобы решить эту проблему, мы используем алгоритмы на основе метаобучения, которые могут создавать модели, способные «научиться учиться». Следовательно, они могут адаптироваться к новым распределениям, учиться на прошлых наблюдениях и могут использоваться для построения моделей в масштабе. В целом алгоритмы метаобучения можно разделить на четыре категории:
- Подход, основанный на расширении данных, фокусируется на увеличении размера данных с помощью методов расширения.
- Подход, основанный на метриках, фокусируется на улучшении метрик (функция потерь, метрики производительности, функции расстояния и т. д.).
- Подход, основанный на моделях, фокусируется на архитектуре нейронной сети и ее методе хранения изученных параметров. Так же, как у людей есть доступ к воспоминаниям.
- Подход, основанный на оптимизации, фокусируется на более быстрых и качественных алгоритмах оптимизации. Например, поиск методов для расчета ок. производные второго порядка для более быстрой оптимизации.
В настоящее время в Juniper Networks мы оцениваем подходы, основанные на оптимизации, с использованием независимого от модели метаобучения для задачи прогнозирования в первый день. Мы также сотрудничаем с профессором Челси Финн из Стэнфордского университета для дальнейшего продвижения современного искусства в этой области.
Ссылки:
