В моем предыдущем посте Как вы интерпретируете прогноз на основе выходных данных модели машинного обучения: Часть 1 - Классические модели мы кратко рассмотрим, как интерпретировать эти выходные данные классической модели машинного обучения. В этом посте я хотел бы немного коснуться этих современных моделей черных ящиков.
Просмотрите модели Blackbox
К сожалению, многие модели не предназначены для интерпретации. Подходы к объяснению модели черного ящика нацелены на извлечение информации из обученной модели, чтобы оправдать ее результат прогнозирования, не зная в деталях, как модель работает. Сохранение независимости процесса интерпретации от реализации модели - это хорошо для реальных приложений: даже когда базовая модель постоянно обновляется и уточняется, механизм интерпретации, созданный поверх, не будет беспокоиться об изменениях.
Не заботясь о том, чтобы модель оставалась прозрачной и интерпретируемой, мы можем наделить модель большей выразительностью, добавив больше параметров и вычислений нелинейности. Вот как глубокие нейронные сети добиваются успеха в задачах, требующих обширных входных данных.
Нет строгих требований к тому, как должно быть представлено объяснение, но основная цель состоит в том, чтобы ответить: Могу ли я доверять этой модели? Когда мы полагаемся на модель, чтобы сделать критический или жизненно важный решение о смерти, мы должны заранее убедиться, что модель заслуживает доверия.
Есть несколько методов, которые оказались хорошими для местной интерпретации. Здесь я хочу представить одну из тех, что были представлены в 2016 году.
LIME (местные интерпретируемые независимые от модели объяснения)
LIME, сокращение от локальное интерпретируемое независимое от модели объяснение, может аппроксимировать модель черного ящика локально в окрестности интересующего нас прогноза.
обозначим модель черного ящика как f. LIME представляет следующие шаги:
(1) Преобразуйте набор данных в интерпретируемое представление данных.
- Классификатор текста: двоичный вектор, указывающий на наличие или отсутствие слова.
- Классификатор изображения: двоичный вектор, указывающий на наличие или отсутствие непрерывного участка похожих пикселей (суперпиксель).
(2) Имея прогноз f (x) с соответствующим интерпретируемым представлением данных, давайте сделаем выборку экземпляров, равномерно отрисовывая ненулевые элементы, причем количество таких отрисовок также выбирается равномерно. Этот процесс генерирует возмущенную выборку, которая содержит часть ненулевых элементов.
Используя множество таких точек выборки данных и их прогнозы модели, мы можем изучить модель объяснения (например, в такой простой форме, как регрессия) с локальной точностью. В документе использовалась регрессия лассо с предварительной обработкой для предварительного выбора k наиболее значимых функций, названная «K-LASSO».
См. Пример ниже, розовая и синяя области - это два класса, предсказанные моделью черного ящика f. большой красный крест - это точка, которую нужно объяснить, а другие более мелкие крестики (обозначенные розовым цветом с помощью f) и точки (с прогнозом синего цвета с помощью f) являются точками выборки данных. Несмотря на то, что модель может быть очень сложной, мы все же можем изучить локальную модель объяснения, столь же простую, как серая пунктирная линия.
Проверка того, имеет ли объяснение смысл, может напрямую решить, заслуживает ли модель доверия, потому что иногда модель может обнаруживать ложную корреляцию или обобщение. Одним из интересных примеров в статье является применение LIME к классификатору текста SVM для различения «христианства» от «атеизма». Модель показала довольно хорошую точность (94% на множестве отложенных тестов!), Но объяснение LIME продемонстрировало, что решения были приняты по очень произвольным причинам, таким как подсчет слов «re», «posting» и «host», которые не имеют прямого отношения ни к «христианству», ни к «атеизму». После такой диагностики мы узнали, что даже модель дает нам хорошую точность, ей нельзя доверять. Это также пролило свет на способы улучшения модели, такие как лучшая предварительная обработка текста.
Для более подробного не бумажного объяснения, пожалуйста, прочтите сообщение в блоге автора.
Спасибо за прочтение!
Если вам понравилось, подпишитесь на меня на Medium, чтобы узнать больше. Это отличное кардио для 👏 И поможет другим людям увидеть историю.
Если вы хотите и дальше получать статьи этого типа, вы можете поддержать меня, став Средним подписчиком.
