Публикации по теме 'self-supervised-learning'
Что такое самоконтролируемое обучение и почему вас это должно волновать?
Самостоятельные методы […] будут основным методом обучения нейронных сетей, прежде чем мы будем обучать их сложным задачам , — Ян ЛеКун
Хорошо! Давайте посмотрим на это самоконтролируемое обучение! Темная материя интеллекта.
Но сначала давайте сделаем шаг назад. Все мы знаем, что на левом изображении изображена собака, а на правом — кошка.
Но мы также знаем, что на этих двух изображениях изображены разные животные.
Важно то, что мы знаем это, даже не зная, как они..
Сергей Левин из Калифорнийского университета в Беркли говорит, что сочетание самоконтролируемого и автономного RL может позволить использовать алгоритмы…
Выражение «поступки говорят громче слов» впервые появилось в печати почти 300 лет назад. Новое исследование перекликается с этой точкой зрения, утверждая, что сочетание обучения с самостоятельным наблюдением и автономного обучения с подкреплением (RL) может привести к новому классу алгоритмов, которые понимают…
Самостоятельное обучение и мультимодальное обучение
Хорошая производительность обычно требует приличного количества меток, но сбор ручных меток стоит дорого (например, ImageNet) и его трудно масштабировать. Учитывая количество немаркированных данных (например, свободный текст, все изображения в Интернете)
Информация в реальном мире обычно поступает в виде различных модальностей. При поиске визуального или звукового контента в Интернете мы можем обучить модель, используя любую доступную коллекцию веб-данных, и индексировать этот тип..
Большие модели с самостоятельным наблюдением — это сильные учащиеся с частичным наблюдением — Резюме статьи
Резюме статьи SimCLRv2
Введение
Изучение всего лишь нескольких помеченных примеров при оптимальном использовании большого количества неразмеченных данных — давняя проблема машинного обучения. SimCLRV2 может решить эту проблему.
Что нового
Самостоятельное обучение отлично подходит как для искусственного интеллекта, так и для людей.
Методы самоконтроля представляют собой подход «заполнения пробелов», при котором модель пытается найти недостающую часть информации с учетом контекста (пропущенное слово в предложении, отсутствующий фрагмент изображения и т. д.).
Затем ответ модели сравнивается с оригиналом (который у нас должен быть), и разница представляет собой величину потерь, которую необходимо минимизировать.
В масштабе это позволяет моделям строить полезные представления и извлекать семантику из данных...
Объяснение документа: Изучение магистралей Plain Vision Transformer для обнаружения объектов
Возможности ViT как основы обнаружения объектов
В этой статье мы более подробно рассмотрим статью, опубликованную недавно исследователями из Meta AI, в которой автор исследует, как можно переназначить стандартный ViT для использования в качестве основы для обнаружения объектов. Короче говоря, их архитектура обнаружения называется ViTDet .
Необходимое условие: магистрали обнаружения объектов
Раньше магистрали для детекторов объектов использовали разное разрешение на разных этапах..
Самостоятельное обучение
Обучение с самоконтролем, или самоконтролируемое обучение, становится все более актуальной темой в области искусственного интеллекта. Несколько исследователей и ученых приложили усилия к изучению этого подхода, изучая его возможности и применимость в различных областях.
Одним из основных авторов, разрабатывающих исследования по самоконтролируемому обучению, является Янн ЛеКун, который считается одним из пионеров в области глубокого обучения. ЛеКун утверждает, что обучение с..
