Новости машинного обучения Акиры

Избранные статьи/новости на этой неделе

Представлена модель SimMIM для предобучения изображений со структурой, аналогичной маскированной языковой модели. Концепция похожа на MAE, представленную на прошлой неделе, но это более простая реализация. Использование масок для предварительной подготовки изображений может стать более распространенным явлением.
Модель Foundation (большая модель, способная решать множество задач) была анонсирована. В то время как мощные модели предварительного обучения, такие как GPT-3, использовались в качестве базовой модели для НЛП, таких моделей для изображений было немного.

— — — — — — — — — — — — — — — — — — –

В следующих разделах я представлю различные статьи и документы не только по вышеуказанному содержанию, но и по следующим пяти темам.

Избранные статьи/новости на этой неделе
Пример использования машинного обучения
Документы
Статьи, связанные с технологией машинного обучения

— — — — — — — — — — — — — — — — — — –

1. Избранные статьи/новости на этой неделе

Самоконтролируемые методы обучения, такие как маскированные языковые модели с использованием изображений. — arxiv.org

[2111.09886v1] SimMIM: простая платформа для моделирования маскированных изображений
В этом исследовании используются преобразователи для предварительного обучения путем выполнения задачи прогнозирования маскированных областей изображения с помощью регрессии. Он имеет очень простую структуру и может работать лучше, чем существующие методы обучения с самоконтролем, такие как DINO.

Основная модель для задач на основе изображений — arxiv.org

[2111.11432] Florence: новая базовая модель для компьютерного зрения
Предлагаемая Florence, базовая модель, которую можно обучать на больших наборах данных и применять к различным задачам, основанным на изображениях; объединяет CLIP-подобный язык и обучение изображениям с моделями, применяемыми к каждой задаче. Он достиг производительности SotA на 44 тестах.

— — — — — — — — — — — — — — — — — — –

2. Пример использования машинного обучения

Управление с помощью моделей глубокого обучения

Семейство Neural-Control: что позволяет глубокое обучение + управление в реальном мире
С беспрецедентными достижениями современного машинного обучения появляется дразнящая возможность интеллектуального управления данными…www.gshi.me

Статья о методах управления роботами с помощью моделей глубокого обучения. В нем говорится, что важно включить в модель предварительные физические знания и инварианты.

— — — — — — — — — — — — — — — — — — –

3. Документы по машинному обучению

Вы можете многое сделать только с помощью StyleGAN — arxiv.org

[2111.01619] StyleGAN на все руки: обработка изображений только с предварительно обученным StyleGAN
В последние годы на основе StyleGAN были разработаны различные модели с различными улучшениями. Однако в этой статье авторы показывают, что StyleGAN может выполнять различные задачи, такие как создание панорамных изображений, микширование изображений и создание из одного изображения, путем добавления простых операций в предварительно обученный StyleGAN.

Что эффективнее, увеличение количества выборок или увеличение количества параметров? — arxiv.org

[2110.04374] Еще несколько примеров могут стоить миллиардов параметров
Исследование, чтобы выяснить, является ли увеличение количества выборок или размера модели более эффективным для решения задачи. Они обнаружили, что это зависит от задачи; что для классификации и извлечения QA 2000 образцов могут быть сопоставимы с моделью миллиарда параметров, но не для OpenQA. Авторы предполагают, что причина этого в том, что количество представленных образцов может быть эффективным, когда пространство для вывода ограничено.

Производительность последующей задачи не обязательно соответствует производительности предварительной подготовки. — arxiv.org

[2110.02095] Изучение ограничений крупномасштабного предварительного обучения
Более 4800 экспериментов показали, что производительность предварительного обучения и производительность последующей задачи не улучшаются линейно и достигают насыщения. Кроме того, они показали, что лучшая модель для одной последующей задачи не является лучшей моделью для другой последующей задачи.

SAM эффективен даже для языковых моделей — arxiv.org

[2110.08529] Минимизация с учетом резкости улучшает обобщение языковой модели
Документ, подтверждающий эффективность SAM — метода оптимизации, учитывающего точность функции потерь, в языковых задачах. Они показали, что эффект можно получить независимо от набора данных или размера модели. Также было подтверждено, что эффект был сильнее, когда набор данных был меньше.

— — — — — — — — — — — — — — — — — — –

4. Технические статьи

Интерпретируемость моделей — thegradient.pub

Объясните себя — учебник по интерпретируемости и объяснимости машинного обучения
Что такое интеллект? Проект по определению того, что покойный Марвин Мински называет словом-чемоданом — слова, которые имеют…thegradient.pub

Статья об объяснимости в машинном обучении. В нем говорится, что объясняющие свойства необходимы для надежности, конфиденциальности и справедливости, и упоминаются доступные в настоящее время объяснительные свойства, а также такие ограничения, как изучение псевдокорреляций.

— — — — — — — — — — — — — — — — — — –