Примечание: этот пост был написан для широкой аудитории и предполагает лишь частичное знакомство с машинным обучением.

Для любого, кто обращал на это внимание, должно быть очевидно, что в наши дни системы статистического машинного обучения широко используются для автоматизированного принятия решений во всех областях, включая уголовное правосудие, медицину, образование, занятость, правоохранительные органы и т. Д. (Подробный обзор опасностей применения машинного обучения в этих областях можно найти в книге Кэти О’Нил Оружие разрушения математики).

В частности, в связи с недавно принятым GDPR - новым европейским регламентом о данных и конфиденциальности - растет интерес к интерпретируемым системам, то есть мы можем понять, почему они делают предсказание, которое они делают. Если взять пример из Бин Ким, если компьютер скажет вам, что вам нужна операция, вы, вероятно, попросите какого-то объяснения.

Сейчас, по сути, существует целое подполе исследований, посвященное интерпретируемости в машинном обучении, поэтому нет возможности охватить все это здесь. Однако, учитывая, насколько, похоже, происходит путаница, я подумал, что было бы полезно изложить несколько важных идей, которые каждый должен знать об этой области.

1. Системы машинного обучения делают прогнозы на основе набора входных функций (т. Е. Набора чисел).

Этот момент в некотором смысле настолько очевиден, что его редко обсуждают, но на самом деле он очень важен. Хотя машинное обучение используется для всех видов данных, включая изображения, видео и естественный язык, первым шагом любой такой системы является преобразование входных данных в набор чисел. В случае медицинского изображения, например, изображение будет преобразовано в набор чисел, представляющих интенсивности пикселей, по одному для каждого пикселя.

Для изображений это будет очень точное представление, так как в некотором смысле данные собираются изначально. Однако для других доменов отображение может повлечь за собой некоторую потерю информации. Например, при работе с текстовыми данными текст обычно обрабатывается способом, который включает в себя своего рода упрощение, например удаление редких слов. Сами слова будут преобразованы в числа, возможно, с помощью индекса, который отображает каждый уникальный тип слова в уникальное числовое представление (или другие более сложные варианты этого).

В этот момент вы, вероятно, думаете: Но я же большой! Я содержу множество! Меня нельзя представить набором чисел! и во многом вы были бы правы. Например, широко обсуждаемая история ProPublica об использовании оценок риска в уголовном правосудии была сосредоточена на конкретной системе, которая использовала в качестве входных данных ответы на 137 вопросов. Хотя это по-прежнему дает огромное пространство для возможных входных данных, кажется тривиально очевидным, что эти вопросы не смогут охватить все нюансы каждого человека. Любые люди, которые дают точно такой же набор ответов, будут считаться функционально идентичными, даже если между ними почти наверняка будут различия, не отраженные в вопросах.

В некоторых случаях эти детали могут не иметь большого значения. Например, при медицинской диагностике врачу не обязательно знать все о вас, чтобы диагностировать вашу болезнь; возможно, подойдет простая эхокардиограмма. В других областях гораздо менее ясно, сколько информации требуется. Кредитный скоринг почти наверняка в какой-то степени эффективен, учитывая задействованные финансовые стимулы, но делать прогнозы всегда сложно (да, особенно в отношении будущего), и трудно понять, есть ли дополнительная информация, которая могла бы были полезны.

Хотя современные системы машинного обучения часто описываются как хорошие в обучении представлению, что означает, что требуется меньше работы с точки зрения функций ручной работы (интеллектуальные способы комбинирования входных данных), они по-прежнему работают с набором чисел и всем, что является не включенные во входные данные, никогда не будут рассматриваться. Хотя у нас есть много способов определить, можно ли игнорировать определенную функцию, мы не особенно хорошо знаем, упускаем ли мы какую-то важную информацию.

Здесь нужно исследовать гораздо больше, особенно вопрос о том, кто имеет право определять, как люди будут представлены, но главное помнить, что представление входных данных для системы машинного обучения (или «модели», или «алгоритма» ») Всегда предполагает выбор. Если вы думаете об интерпретируемости, первый вопрос, который следует задать, - какие данные принимает система в качестве входных, как это было решено и что может отсутствовать?

2. Машинное обучение обнаруживает корреляции в данных (но не понимает причинно-следственную связь).

Этот момент немного более тонкий, чем первый, но ключевая идея заключена в старой фразе, что корреляция не подразумевает причинно-следственную связь. Хотя в наши дни в каузальном машинном обучении происходит некоторая захватывающая работа, подавляющее большинство прикладных систем полностью игнорируют ее и сосредотачиваются только на корреляциях.

Что это значит? В основном, если я вижу во входных данных шаблон, который всегда (или часто) возникает с определенным результатом (например, злокачественным или доброкачественным), то я вполне разумно предскажу этот результат, когда увижу этот входной шаблон. Вся идея контролируемого обучения заключается в автоматическом обнаружении закономерностей в больших объемах данных, которые позволяют нам сопоставлять заданные входные данные с прогнозируемой меткой или результатом. Однако это не означает, что существует какая-либо прямая причинная связь между результатами и обнаруженными паттернами.

Например, вспомните знаменитый эксперимент с зефиром. Дайте ребенку зефир и скажите, что, если он не съест его сразу, он может съесть еще два. В дополнение к якобы восхитительным видеороликам о детях, пытающихся бороться со своими инстинктами, этот эксперимент показал, что те, кто может откладывать получение удовольствия, будут иметь лучшие жизненные результаты различными способами (в среднем). Хотя одна интерпретация состоит в том, что поедание зефира каким-то образом ухудшило положение тех, кто не мог сопротивляться этому, гораздо более разумная интерпретация состоит в том, что существует какое-то скрытое свойство, которое измеряется, такое как самоконтроль, и что это объясняет как поедание зефира и события более поздней жизни.

Точно так же машинное обучение может выявить взаимосвязь между определенным образцом поведения (например, ездой на велосипеде на работу) и более поздними результатами (например, не умереть). Затем это можно использовать для прогнозирования будущего поведения, но это не следует интерпретировать как одно обстоятельство, вызывающее другое. Скорее, система настолько устойчива, как корреляция (которая может быть результатом причинного эффекта).

Поскольку системы машинного обучения работают, обнаруживая закономерности в данных, на которых они обучались, они, как правило, не устойчивы к изменениям в распределении входных данных. Когда система была обучена на одном наборе данных (например, СТРАННЫЕ люди), а затем применена к другому, можно ожидать, что что-то выйдет из строя произвольно. Этот феномен проявляется в таких вещах, как провал тенденций гриппа в Google или системы компьютерного зрения, которые работают только для некоторых оттенков кожи. Все действительно усложняется, когда система сама начинает взаимодействовать с окружающей средой, так что люди начинают изменять свое собственное поведение в ответ на выходные данные системы. В таком случае все ставки действительно сделаны.

3. Некоторые модели являются особенными, но интерпретируемость не является нормой.

Как работает контролируемое обучение с учетом двух вышеупомянутых пунктов? Что ж, детали того, как мы получаем систему, могут быть сложными, но конечный результат почти всегда один и тот же. Мы начинаем с некоторого набора данных, используемого для обучения, и заканчиваем системой, которая принимает набор чисел в качестве входных данных и возвращает другое число в качестве прогноза на основе корреляций, обнаруженных в данных обучения.

Например, рассмотрим вопрос о том, за сколько денег будет продан дом. Мы можем придумать любое количество чисел, которые мы могли бы использовать для описания дома, например, количество спален, площадь в квадратных футах, средняя цена дома в районе и т. Д., И изучить модель, которая будет отображена на основе этих чисел. числа к сумме в долларах. Естественный способ подойти к этому - получить большой набор данных домов, которые были проданы в прошлом, включая то, за сколько они были проданы, а затем обучить модель на этих данных для прогнозирования продажной цены на основе этих характеристик.

Если мы воспользуемся очень простой моделью, мы вполне можем найти несколько хороших простых закономерностей, например, большие дома продаются за большие деньги. Но, возможно, это верно лишь до определенного момента; или, возможно, это зависит от возраста дома, потому что старые дома обычно больше. По мере того, как мы начинаем рассматривать все более и более сложные возможности, мы получим более богатую модель, но также и ту, которую нам будет труднее понять интуитивно. В крайнем случае, мы, по сути, получаем что-то, что может быть черным ящиком, поскольку мы просто вводим все значения функций и получаем взамен прогнозируемую цену. Обратите внимание, что это не на самом деле черный ящик в том смысле, что мы можем напрямую проверять выполняемые вычисления, но для сложных моделей это может быть не очень значимым. Суть в том, что во многих отношениях определяющим свойством таких систем является явное отображение любой возможной точки во входном пространстве на предсказанный выход.

Теперь оказывается, что сопоставления, разрешенные определенными классами моделей, можно резюмировать таким образом, чтобы люди могли легко их понять, интерпретировать и смоделировать. Классическим примером здесь являются линейные модели, где выход представляет собой взвешенную сумму входных значений. Для такой модели мы можем суммировать, как выходные данные будут меняться в ответ на изменение одной входной характеристики, используя одно число (вес этой функции). Это означает, что людям намного легче почувствовать, что они понимают, как модель делает прогнозы.

Еще более простой случай - это список решений, который принимает форму серии вопросов «да / нет». Хотя такая модель имеет простую интерпретацию, которую нам, людям, легко обрабатывать и описывать словами, она такая же, как и любая другая модель, в том смысле, что принимает набор чисел (набор единиц и нулей для да и нет) , и возвращает другое число в качестве прогноза. Для любой системы машинного обучения, как только мы определили пространство ввода (например, набор вопросов), мы можем дать ему любой возможный набор чисел в этом пространстве, и он вернет прогноз, даже если он этого не видел. входной шаблон до. В каком-то смысле «магия» машинного обучения заключается в способности делать выводы из обнаруженных закономерностей в новые комбинации входных данных, которые ранее не использовались. Однако это всегда будет несколько ограниченная способность, потенциально хрупкая и зависящая от различных предположений.

Такие модели, как линейные модели и списки решений, являются особенными в том смысле, что это сопоставление входов и выходов можно описать компактно, что люди могут легко мысленно моделировать, но мы не обязательно должны ожидать, что это будет нормой. Особенно при работе с моделями глубокого обучения и очень большими пространствами ввода (такими как изображения или язык) все объяснение того, почему модель сделала конкретный прогноз, состоит в том, что вы дали ей определенный набор входных данных, и она выполнила серию линейной алгебры операции, которые дали результаты. Дайте ему другой набор входных данных, и вы получите другой прогноз.

Несмотря на то, что существует много работы над тем, как мы могли бы предоставить простые для понимания объяснения, приблизительно истину, это обязательно влечет за собой некоторую степень неточности. На самом деле, после того, как система обучена, не следует ожидать, что ее обязательно можно упростить до чего-то, что имеет компактное объяснение, по крайней мере, не без некоторой потери верности тому, что система на самом деле делает.

Тогда неужели ситуация безвыходна? Почему нет! Это подводит меня к моему последнему пункту:

4. Настоящий вопрос: как была создана система?

Учитывая, что отображение системы машинного обучения от входов к выходам кажется настолько потенциально произвольным, следует справедливо спросить, почему модель настроена так, чтобы делать эти конкретные прогнозы для этих конкретных входов? Это отличный вопрос, и ответ заключается в том, как его обучали.

В частности, есть три основных элемента, которые могут быть проанализированы. Во-первых, возникает вопрос, какие данные использовались для обучения модели. Как мы знаем, машинное обучение обнаруживает закономерности в данных, на которых оно было обучено, но какие данные изначально использовались для этой цели? Если бы это был набор изображений лиц, чьи лица? Если это были кредитные истории, то кто был в базе? Это имеет важные последствия для потенциального несоответствия между используемыми обучающими данными и местом их развертывания, как описано выше, но также поднимает вопрос о том, могут ли быть определенные предубеждения, заложенные в набор данных, которые несправедливо отражают прошлое неравенство.

Во-вторых, возникает вопрос о том, как были представлены данные (см. Первый пункт выше). В некоторых случаях это будет идти рука об руку с вопросом о том, какие обучающие данные использовались, поскольку многие наборы данных фактически предварительно закодированы в конкретное представление. Тем не менее, мы не должны предполагать, что это полная картина или единственный способ, которым такие данные могли быть представлены.

Наконец, возникает вопрос, какой тип модели был выбран и как ее обучали. Здесь есть огромный диапазон возможностей, но детали нас не должны волновать. Дело не в том, чтобы обязательно спросить, был ли здесь сделан «правильный» выбор, а в том, чтобы признать и исследовать, что еще могло быть возможно. Для определенных типов моделей мы гарантированно получим тот же результат при сочетании выбора модели и определенного набора данных с определенным представлением. Для глубокого обучения, напротив, присутствует некоторая врожденная случайность, так что всегда есть возможность получить другой набор весов модели, даже из-за таких факторов, как инициализация параметров.

Конечно, учитывая достаточно большой набор данных, эти мельчайшие подробности обучения вряд ли будут иметь большое значение. Но по мере того, как данные становятся все более многомерными (подумайте обо всех различных атрибутах людей, которые могут иметь отношение к любому конкретному прогнозу; в крайнем случае, подумайте о миллиардах пар оснований в нашей ДНК!) , то, что могло показаться большим количеством данных, внезапно может показаться довольно скудным в хвостах распределения. В частности, для необычных случаев весьма вероятно, что различные варианты набора данных, представления и моделирования привели бы к модели, которая дала бы совершенно другой прогноз.

В некоторой степени выбор может быть частично оправдан (обычно потому, что одна модель работает лучше, чем другая на некоторых имеющихся данных), но это не то же самое, что возможность заявить, что кто-то открыл истинную модель в каком-либо значимом смысле. Точность также не обязательно дает полную картину. Даже модели, которые получают относительно высокую точность на имеющихся данных, все же могут быть проблематичными.

К сожалению, не всегда возможно дать полное понимание, потому что такое понимание частично является вопросом о том, почему мы остановились на конкретной системе, и это сводится к выбору моделирования, который был сделан, и обучающим данным, которые использовались. . В частности, в случаях, когда данные являются конфиденциальными или конфиденциальными, не представляется возможным разрешить каждому проверять данные других, чтобы понять их собственный прогноз. Это особенно верно, учитывая, что вся идея GDPR заключалась в том, чтобы дать людям больше контроля над своими данными!

Здесь нет простых ответов, но было много интересных предложений, и все время поступало больше. Например, две недавние статьи - таблицы для набора данных и алгоритмические оценки воздействия - предлагают способы, с помощью которых мы можем попытаться защитить себя от непреднамеренных предубеждений или неправильного использования данных.

В конечном счете, некоторая прозрачность кажется критической, но пока еще далеко не ясно, какую именно форму она примет. Технология определяет, что возможно, но все сводится к регулированию, например GDPR, чтобы определить, что разрешено, а что требуется. Вот если бы можно было легко интерпретировать постановление…

Ключевые выводы:

  • Некоторые модели легко интерпретировать людям, но это скорее исключение, чем правило; в общем, мы не должны предполагать, что все модели могут быть представлены таким образом, чтобы их было легко понять, по крайней мере, без некоторой потери точности.
  • Во многих отношениях более важный вопрос, чем то, как работает модель, заключается в том, почему мы остановились на этой конкретной модели; В конечном счете, это всегда будет результатом использованных обучающих данных, того, как эти данные были представлены, и принятых решений по моделированию.
  • При применении машинного обучения в социальной сфере особенно важно подумать об используемых обучающих данных и спросить, может ли оно быть каким-то образом ограниченным или предвзятым; гораздо легче исключить некоторую функцию как несущественную, чем знать, может ли какая-то критическая функция отсутствует.
  • Наконец, помните, что подавляющее большинство моделей машинного обучения с учителем работают, обнаруживая корреляции в данных; без дополнительных доказательств это не следует интерпретировать как подразумевающее какую-либо причинную связь между входами и выходами.