Спрос на услуги по обработке и анализу данных продолжает расти, что способствует быстрой разработке все более сложных моделей. Эта сложность способствовала плохому применению моделей и, следовательно, возникновению споров вокруг истинной ценности науки о данных. Для нас, специалистов по данным, жизненно важно гарантировать, что, хотя наши модели продолжают улучшаться в производительности, мы также можем интерпретировать, как они функционируют, и тем самым диагностировать любой вред, который они могут причинить из-за предвзятых или несправедливых прогнозов.

Возможности

Лучшие модели науки о данных теперь превосходят возможности врачей в выявлении множества медицинских проблем, превосходят понимание человеческого чтения и генерируют фотореалистичные изображения воображаемых людей. Прогресс в производительности моделей будет увеличиваться, а круг решаемых задач будет расширяться, поскольку корпорации и исследовательские группы продолжают тратить огромные ресурсы на разработку инновационных моделей и методов. Этот неустанный прогресс наряду с сопутствующим увеличением сложности моделей является основной силой, формирующей будущее науки о данных.

Препятствия

Прогресс в науке о данных также привел к разногласиям: регулярно появляются новые отчеты о правительствах и компаниях, намеренно внедряющих вредоносные модели. Хотя большинство специалистов по обработке и анализу данных действуют с благими намерениями, этого недостаточно, чтобы избежать непредвиденных последствий неправильного моделирования. Неправильно примененные модели в рамках здравоохранения, правовой системы, процессов найма, и предложений жилищного кредита нанесли вред людям и организациям, для которых они были созданы. Такие случаи по понятным причинам привели к призывам к более строгому регулированию алгоритмического сбора данных, прозрачности и справедливости. Если неустанный прогресс — одна из важных сил, формирующих будущее науки о данных, то другой — растущий общественный скептицизм в отношении науки о данных и требования ее усиления регулирования.

Если популярность науки о данных продолжает расти, а развернутые модели становятся все более сложными, как отрасль может избежать дальнейшего неправильного применения моделей и соблюдать действующие и будущие нормативные акты? Как мы, специалисты по данным, можем убедиться, что занимаемся наукой о данных с соблюдением этических норм, уравновешивая высокую производительность моделирования с ответственностью перед нашими клиентами и обществом в целом? Использование методов интерпретируемости — это один из способов лучше объяснить, как работают наши модели, и диагностировать проблемы предвзятости или справедливости, которые в противном случае могли бы остаться незамеченными.

Призыв к действию: Специалисты по науке о данных должны стремиться к этичному балансу производительности модели с возможностью интерпретировать как генерируются прогнозы модели, чтобы сделать свои модели более подотчетными.

Популярные способы объяснения моделей черного ящика

Сегодня наиболее эффективными подходами к моделированию являются «черные ящики» — модели с математическим поведением, слишком сложным для прямой интерпретации влияния отдельных входных характеристик на выходные данные модели. К счастью, существует несколько методов интерпретации, которые можно наложить поверх любой произвольной модели черного ящика, чтобы приблизиться к тому, как:

  1. Отдельные функции влияют на прогнозы в глобальном масштабе по всей модели (глобальная интерпретируемость)
  2. На отдельные прогнозы локально влияют значения признаков (локальная интерпретируемость)

Давайте рассмотрим наиболее используемые методы в этих двух категориях.

Глобальные методы интерпретации

Как правило, методы глобальной интерпретируемости не зависят от модели — они могут работать с любым методом. Они определяют важные функции в моделях, вычисляя, какие из них больше всего влияют на ошибку моделирования при изменении. Например, важность функции перестановки определяет ключевые функции модели путем случайного перемешивания значений каждой функции и ранжирования функций (в порядке убывания) в зависимости от того, насколько увеличивается ошибка моделирования в результате этого. Например, на рисунке 1 показано, что при прогнозировании цены дома в наборе данных Ames Housing наиболее важными входными параметрами являются: площадь основной жилой площади (gr_liv_area), площадь подвала (total_bsmt_sf) и площадь гаража (garage_area).

Рисунок 1. Важность функции для модели прогнозирования цен на жилье

К сожалению, методы определения важности признаков не объясняют, как тот или иной признак влияет на прогнозы модели. Они не могут выявить случаи, когда значения признаков оказывают нелинейное влияние на прогнозы модели, или показать, положительно или отрицательно влияют повышенные значения признаков на выходные данные. В этих случаях специалисты-практики могут использовать графики Индивидуальные условные ожидания (ICE) и Графики частичной зависимости (PDP). Рисунок 2 демонстрирует, как изменение стоимости квадратных метров влияет на цену продажи дома. Каждая черная линия представляет график ICE для отдельного наблюдения. Только одна точка на каждой линии соответствует реальным данным; остальные создаются путем изменения входного объекта на связанное значение на оси x и расчета нового прогноза. По кривизне графиков ICE мы можем сказать, что функция (квадратные метры) оказывает нелинейное влияние на прогнозы модели (цена дома). Поскольку все графики ICE на рис. 2 демонстрируют примерно одинаковую степень кривизны, мы также можем видеть, что между площадью в квадратных футах и ​​другими входными параметрами мало взаимодействий.

Рисунок 2. Графики ICE и PDP влияния площади в квадратных футах (ось X) на цену продажи домов (ось Y). График PDP (красная линия) представляет собой среднее значение всех графиков ICE (черные линии). На обоих графиках отчетливо видна нелинейная зависимость между площадью квадратных метров и продажной ценой

Наборы данных с большим количеством наблюдений могут создавать загроможденные графики ICE, которые трудно читать. В этих случаях наложение графика PDP (красная линия на рис. 2) упрощает интерпретацию совокупных тенденций графиков ICE. График PDP представляет собой простое среднее значение всех графиков ICE. На Рисунке 2 показано, что изменение площади в квадратных футах оказывает большее влияние на цену продажи в узком регионе. Между 1000 и 3000 квадратных футов прогнозируемая цена продажи изменяется на десятки тысяч долларов, в то время как переход от 3000 квадратных футов к 6000 квадратных футов практически не приводит к изменению цены. Такие отношения между функциями и выходными данными трудно обнаружить без глобальных методов интерпретации.

Локальные методы интерпретации

Методы глобальной интерпретируемости помогают нам понять, как ведут себя наши модели в целом, однако они не способны обосновать индивидуальные прогнозы, требуемые такими нормами, как GDPR, или клиентами в случаях, когда ошибочные прогнозы особенно вредны или дорогостоящи (например, ложное обвинение кого-либо в мошенничество). Чтобы дать более точные объяснения для отдельного наблюдения, специалисты-практики должны использовать методы, способные объяснить локальный вклад значений признаков в заданной точке пространства признаков, а не методы, приближающие глобальные особенности вклада во всех наблюдениях. Такие методы, как Локальные интерпретируемые объяснения, не зависящие от модели (LIME) и Значения Шепли, могут генерировать эти локальные особенности.

Методы локальной интерпретации можно разделить на приближенные методы и точные методы. Самый популярный из приближенных методов, LIME, присваивает локальные особенности конкретным наблюдениям путем линейной аппроксимации поведения модели черного ящика в небольшой области вокруг интересующего наблюдения. LIME описывает поведение модели черного ящика в этих регионах, сначала вводя искусственные наблюдения вокруг интересующего, чтобы гарантировать, что регион заполнен наблюдениями с аналогичными значениями признаков. После этого подбирается интерпретируемая модель (обычно линейная или логистическая регрессия), использующая в качестве входных данных все наблюдения в регионе. Наконец, подогнанные коэффициенты модели LIME используются в качестве приблизительных вкладов признаков в базовую модель черного ящика в этом регионе. На рисунке 3 показан пример выходных данных LIME для наблюдения 122 набора данных Ames Housing. Каждая из горизонтальных полос показывает, насколько значение каждого признака повлияло на выходные данные модели LIME для этого наблюдения. Рабочее предположение состоит в том, что эти вклады признаков приближаются к вкладам лежащего в основе черного ящика для наблюдений с аналогичными значениями признаков.

Рисунок 3. График вклада характеристик LIME для наблюдения 122. Здесь площадь в квадратных метрах и количество комнат больше всего влияют на результат (цену продажи)

Расчет вклада локальных функций возник из концепции теории игр, называемой значением Шепли. Значения Шепли рассчитываются как избыточный вклад каждого значения признака; то есть его точные методы точновклад в конкретный результат по всем комбинациям функций за вычетом среднего вклада всех функций. Поскольку вычисление значений Шепли очень дорого, когда входной набор данных имеет много функций, варианты выборки, такие как SHAP, часто используются для создания разумных приближений значений Шепли при гораздо меньшем времени вычислений. Подобно рисунку 3, рисунок 4 иллюстрирует график атрибутов признаков для наблюдения 122 набора данных Ames Housing, хотя здесь я использовал другую базовую модель (случайный лес), чтобы обеспечить более широкий диапазон вкладов признаков. Интересно, что переменная garage_area, которая по данным LIME имела второй по величине вклад положительных признаков, теперь имеет самый большой вклад отрицательных признаков согласно значениям Шепли. В будущем я опубликую сообщение в блоге, в котором будет рассмотрено понимание таких случаев, когда методы интерпретируемости кажутся противоречивыми.

Рисунок 4. График значений Шепли (характеристики) для наблюдения 122. Здесь большая площадь гостиной и квадратные метры второго этажа вносят наибольший положительный вклад в цену продажи, в то время как площадь гаража, подвала и участка в квадратных футах вносят наибольший отрицательный вклад

Интерпретация глубоких нейронных сетей (DNN)

Методы локальной интерпретации, такие как значения Лайма и Шепли, также оказались успешными в качестве диагностического инструмента в случаях, когда глубокие нейронные сети (ГНС) неправильно классифицируют наблюдения. На рис. 5 показан пример использования LIME со сверточной нейронной сетью (CNN) для изучения того, почему изображение хаски могло быть ошибочно классифицировано как волк. Выяснилось, что модель уловила снег на заднем плане изображения, чтобы классифицировать волка, предупреждая нас о том, что исходные данные обучения содержали эту ложную корреляцию. В этом случае разработчикам моделей явно необходимо увеличить свои обучающие данные, чтобы сделать свою модель более надежной.

Рисунок 5. Объяснение LIME изображения хаски, ошибочно классифицированного как волк (источник)

Проблема того, что DNN застигнуты врасплох из-за недостаточного тестирования, может быть решена с помощью нескольких методов локальной интерпретации, специфичных для DNN. В общем, каждый метод опирается на некоторую функцию градиентов активации, которые распространяются обратно по сети после того, как их прогнозы сгенерированы. Например, метод интегрированных градиентов Google Research присваивает значение каждой входной функции сети. Как правило, эти входные функции представляют собой пиксель изображения или отдельное слово. Значение, приписываемое каждой входной функции, представляет собой разницу между интегралом градиента между интересующим входом и активацией сети для заданного пользователем базового входа (например, черного изображения). Рисунок 6 иллюстрирует эти градиенты для данных изображения, делая более важные функции (пиксели с более высокой активацией градиента) более яркими.

Рисунок 6. Интегрированные и ожидаемые атрибуты градиента для изображения, которому CNN (источник) присвоил класс касатка

Резюме

Специалисты по данным будут продолжать разрабатывать более сложные модели, стремясь к более высокой производительности моделей. Точно так же отдельные лица, организации и правительства будут только усиливать свои требования к стандартам образцовой подотчетности. Применение методов интерпретируемости отвечает требованиям подотчетности модели за счет повышения прозрачности модели и диагностики проблем, этически удовлетворяя иногда расходящиеся потребности специалистов по данным, регулирующих органов и общественности.

Первоначально опубликовано на https://www.elderresearch.com.