Отчетность и обзор модели
Мотивация — обзоры кода
- Код-ревью — неотъемлемая часть жизненного цикла разработки программного обеспечения. Стандартизированный процесс проверки кода имеет много преимуществ. Он улучшает общее качество кода, уменьшает количество ошибок, помогает в передаче знаний и служит архивом важных технических решений, использованных при изменении кода.
- Установление формального процесса рецензирования моделей машинного обучения имеет те же преимущества. Кроме того, это компенсирует отсутствие тщательного тестирования машинного обучения, которое в настоящее время недостаточно развито. В этой статье мы обсудим, как настроить процесс проверки машинного обучения.
Документ — Модельный отчет
- В отчете о модели описываются характеристики модели, показатели и анализ оценки. Метрики и аналитические графики лучше всего документировать в виде блокнота.
- Функция сравнения для экспериментального и производственного позволяет легко сравнивать производительность модели.
Какой контент просмотреть?
Это во многом зависит от поставленной задачи и контекста.
Обязательные элементы для модельного отчета:
Наборы данных:
- Источник наборов данных. Наборы данных не должны иметь значительно более низкие коэффициенты хранения, чем время жизни модели. Политики в отношении наборов данных (юридические положения, положения о пользовательских данных) должны быть связаны с отчетом.
- Методология подготовки данных: стратегии выборки, веса, если они используются, и преобразования, используемые для подготовки наборов данных из необработанных источников.
- Распределение меток и размер данныхдля наборов обучения, настройки и оценки.
Показатели:
- Отчет о метриках качества модели в автономном режиме (точность, производительность) и онлайн (или метрики достоверности) для вашей модели.
- Метрики точности должны отражать основные изменения офлайн-метрик и связанные с ними онлайн-улучшения. Показатели производительности должны описывать офлайн-метрики (задержка, флопы, # параметры) и последующее онлайн-влияние (изменение количества запросов в секунду, метрики хранилища). Отчет также должен включать любые другие ключевые показатели задачи (интерпретируемость, справедливость, надежность).
- Включите базовую производительность модели/функции.
Глубокое погружение/анализ:
- Выделите метрики для разделов, где новая модель работает хорошо, и разделов, где она ухудшилась. Включите реальные примеры и тезис для изменения.
- Изменение архитектуры ML / предварительной обработки должно включать мотивацию изменения (литература, отчеты об ошибках и т. д.).
- Любые известные предостережения и стратегии смягчения последствий.
Обзоры моделей могут включать другие разделы по решению разработчиков моделей, системных инженеров машинного обучения, специалистов по данным, работающих над этой задачей, и т. д.
Автоматизировать формирование отчетов:
- Ручная проверка отчета о модели требует времени и может привести к ошибкам в статистике и показателях принятия решений.
- Автоматизация извлечения данных отчета, таких как метрики из экспериментов, анализ производительности модели и источники наборов данных, — отличное начало.
- Построитель отчетов также должен иметь широкие возможности настройки (предпочтительно просто блокнот), чтобы его можно было повторно использовать для различных задач.
Основные выводы:
- Независимая проверка модели машинного обучения повышает качество модели и ее готовность к производству, а также предотвращает серьезные дефекты.
- Стандартизированные шаблоны отчетов для обзоров моделей способствуют внедрению передовых методов машинного обучения в различных функциях, связанных с формированием модели, — продукт, наука о данных, системы и инженерия машинного обучения.
- Отчет модели повышает прозрачность и облегчает воспроизводимость результатов.