Время между годами было довольно занятым для нас. Среди прочего, мы создали наш новый тренинг Методы и проблемы в объяснимом ИИ и приложили значительные усилия для разработки наших библиотек с открытым исходным кодом, таких как pyDVL: библиотека оценки данных python. Тем не менее, нам также удалось найти время для изучения литературы. Вот краткое изложение того, что нам показалось интересным.

Критическая регуляризованная регрессия

Простой, но мощный алгоритм автономного обучения с подкреплением, который можно рассматривать как комбинацию клонирования поведения и Q-обучения, устанавливает новый уровень техники во многих задачах.

Граница выводов на основе моделирования

Обзор и схематическое сравнение последних достижений в области вывода на основе моделирования и их способствующих факторов. Достижения в области машинного обучения, активного обучения и дополнений названы тремя движущими силами в этой области.

Смесь деревьев решений для интерпретируемого машинного обучения

Линейная функция стробирования вместе с несколькими экспертными деревьями решений обучается путем максимизации ожидания и приводит к новой, полностью интерпретируемой модели, которая хорошо работает на нескольких (простых) наборах данных.

Обучение репрезентациям с помощью BYOL и SimSiam BYOL была первой работой, показывающей, насколько полезными могут быть низкоразмерные репрезентации, когда они изучаются неконтролируемым образом без отрицательной выборки. Он вдохновил на создание ряда более простых архитектур, в том числе SimSiam.

Что запоминают нейронные сети и почему: обнаружение длинного хвоста с помощью оценки влияния

Когда образцы данных трудно изучить, нейронные сети, как правило, запоминают их метки, а не делают вывод о полезных функциях. Было показано, что это улучшает, а не ограничивает их точность. В недавней статье представлены несколько ключевых концепций, помогающих исследовать это явление.

Помимо законов нейронного масштабирования: превзойти масштабирование по степенному закону с помощью сокращения данных

Большие нейронные сети очень «жадны до данных», но сокращение данных обещает облегчить эту зависимость. В недавней статье исследуется использование различных стратегий и показателей обрезки, и получены обнадеживающие результаты.

CS-Shapley: классовые значения Шепли для оценки данных в классификации

Используя классовую точность для увеличения значения точки данных и внеклассовую точность в качестве фактора дисконтирования, авторы определяют новую функцию полезности, которая лучше подходит для оценки в задачах классификации.

Первоначально опубликовано на https://transferlab.appliedai.de ​​15 февраля 2023 г.