Модели машинного обучения учатся на данных, которые вы предоставили для обучения, и, используя их, они правильно классифицируют тестовые данные. Но нормальные модели не работают должным образом для чисто невидимых объектов. Итак, в компьютерном зрении, как вы классифицируете новый объект, для которого у вас нет ни одного обучающего объекта? Здесь вам может помочь Zero-Shot Learning (ZSL).

Что такое безупречное обучение:

Когда мы хотим классифицировать или распознать в тестовых данных что-то, для чего нет прямой информации в обучающих данных, можно использовать обучение с нулевым выстрелом. Zero-Shot Learning предсказывает невидимые объекты. Судя по названию Zero-Shot, он относится к нулевым примерам объекта, который мы хотим предсказать. Он основан на трансферном обучении.

Zero-Shot Learning пытается работать как человек. Мы можем распознавать объекты, когда у нас есть только краткое описание этого объекта с помощью ранее изученных концепций. Позвольте мне объяснить на одном популярном примере:

Предположим, мальчик узнает лошадь, но не зебру. Однажды его мать научила его, что зебра похожа на лошадь, но с черно-белыми полосами, тогда, скорее всего, он также сможет распознать зебру.

Таким же образом Zero-Shot Learning использует информацию из помеченного набора обучающих данных и пытается распознать невидимые объекты, которые каким-то образом связаны с наблюдаемыми классами.

Как это работает:

Подходы Zero-Shot Learning изучают промежуточные семантические слои объекта и его атрибутов и применяют их во время прогнозирования новых классов данных. И видимые, и невидимые классы так или иначе связаны в многомерном векторном пространстве, и для этого глубокого обучения модели используются для вычисления векторов признаков для изображений. Модели ZSL работают со встраиванием слов. Может быть встраивание изображений и встраивание классов. Вы можете думать об этом как о лемматизации в Обработке естественного языка, о том, как она получает одно и то же контекстное слово из многих слов и помещает их в одну метку, аналогично модели ZSL работают с отношениями между метками обучающих и тестовых классов и их атрибутами.

Информация, которую модели ZSL используют для невидимых классов, полученную из видимых классов, может быть в форме:

1. Изучение текстового описания: здесь мы используем обработку естественного языка в компьютерном зрении. Формируем текстовое описание изображений, оно может быть в виде слов или предложений. Затем мы семантически группируем изображения и изучаем соотношение между визуальной и текстовой формами. Затем выполняется процесс извлечения признаков из текстового описания. Для этого мы можем использовать, например, tf-idf. Поскольку мы не можем напрямую использовать предложения в нашей модели, она будет измерять веса слов в числовой форме.

2. Учимся на атрибутах. У объектов есть свои атрибуты. Таким образом, модели будут изучать атрибуты обучающих данных и проверять их связь с невидимыми объектами. Например, ZSL узнает атрибуты лошади, такие как четыре ноги, хвост и многие другие, поэтому она попадает под ярлык животного так же, как зебра имеет эти атрибуты, и которая будет обозначена как животное.

3. Сходство классов: объекты принадлежат к какому-либо классу. Для невидимых объектов будет предсказан класс ближайшего соседа (который наиболее похож на него). Для визуальных функций мы можем использовать встраивание в семантическое пространство и общее промежуточное пространство. Но он может делать ошибки и классифицировать объекты по классам, которые были замечены ранее.

На протяжении многих лет исследователи пытаются заставить машину учиться все больше и больше, как люди. Я рассказал об одном из этих приемов в этом блоге. Прочтите следующие исследовательские работы, чтобы узнать больше об обучении с нулевым выстрелом: https://arxiv.org/pdf/1710.04837.pdf
https://arxiv.org/pdf/1611.05088.pdf

Если вам нравится этот блог, подпишитесь на DSC JSSATEN и Pratibha gupta, чтобы узнать больше. Если у вас есть предложения, не стесняйтесь обращаться к нам по адресу [email protected]
Вы также можете связаться с нами на нашей странице Instagram, Twitter или Facebook.