Алгоритмы самостоятельного обучения (SSL) для решения визуальных задач в последние годы сокращают разрыв в производительности с традиционными подходами к обучению с учителем (SL). Естественно возникает вопрос: отличаются ли заученные репрезентации двух методов, и если да, то как?
Исследовательская группа Apple решает этот вопрос в своей новой статье Обучаются ли самоконтролируемые и контролируемые методы схожим визуальным представлениям? В исследовании сравнивается контрастный алгоритм SSL (SimCLR) с SL для простых графических данных на общей модели. архитектуры, проливая свет на сходства и различия их соответствующих изученных паттернов визуального представления.
SimCLR - это простая структура для сравнительного изучения визуальных представлений, которая изучает их представления, максимизируя согласованность между различными расширенными представлениями одних и тех же данных через контрастную потерю.
Чтобы сравнить пространства нейронных представлений, команда использовала центрированное выравнивание ядра (CKA) в качестве индекса сходства для решения проблем распределенной природы нейронных представлений, потенциального рассогласования и проблем с высокой размерностью.
Команда использовала магистраль ResNet-50 (R50) для каждой модели в своих оценочных экспериментах. Сначала они использовали CKA для изучения сходства внутреннего представления сетевых уровней на R50, обученных через SimCLR; затем сравнили репрезентативные структуры, индуцированные SimCLR и SL, построив матрицы CKA нечетного и четного слоя по всем методам обучения.
Исследователи также исследовали, что происходит на уровнях обеих сетей в отношении цели инвариантности расширения SimCLR. Построив значение CKA между представлениями, они смогли наблюдать степень инвариантности на каждом слое. Затем они построили график подобия CKA представлений классов и изученных представлений на разных уровнях сетей SimCLR и SL.
Команда резюмирует свои основные выводы следующим образом:
- Пост-остаточные представления одинаковы для всех методов, однако остаточные (блочно-внутренние) представления различны; подобная структура восстанавливается путем решения разных задач.
- Начальные представления остаточного уровня аналогичны, указывая на общий набор примитивов.
- Методы строго привязаны к своим целям на последних нескольких уровнях, где SimCLR изучает инвариантность дополнений, а SL соответствует структуре класса.
- SL не изучает неявно инвариантность дополнений, но инвариантность дополнений неявно соответствует структуре классов и вызывает линейную разделимость.
- Репрезентативные структуры быстро расходятся на последних уровнях, предполагая, что производительность SimCLR проистекает из информативных классов промежуточных представлений, а не неявного структурного согласия между изученными решениями для целей SL и SimCLR.
В целом, исследование демонстрирует способность CKA сравнивать методы обучения и показывает, что в значительной степени сходство промежуточных представлений - а не сходство окончательных репрезентативных структур - решает задачу SimCLR и обеспечивает его впечатляющую производительность. Команда считает, что работа подчеркивает относительную важность усвоенных промежуточных представлений и может предоставить полезную информацию для будущих исследований и подходов к разработке вспомогательных задач.
Статья Обучаются ли методы с самоконтролем и с учителем схожим визуальным представлениям? находится на arXiv.
Автор: Геката Хе | Редактор: Майкл Саразен
Мы знаем, что вы не хотите пропустить какие-либо новости или научные открытия. Подпишитесь на нашу популярную рассылку Synced Global AI Weekly, чтобы получать еженедельные обновления AI.
