Представьте, что вы построили очень точную модель машинного обучения, используя хитрые приемы и нестандартные функции. Вы счастливы и горды. Однако, когда вы представляете свои результаты заинтересованным сторонам, они менее взволнованы. Они не понимают, что вы сделали и почему. Они не понимают, как ваша умная модель делает прогнозы. Результаты вашей модели даже частично противоречат их интуиции. Разве вы не ненавидите, когда это происходит?
[Статья по теме: Встреча ODSC: автоматическое и интерпретируемое машинное обучение]
Побывав в этом сценарии несколько раз, я смог оценить важность объяснимости модели.
Так что же объяснимо ML? Кристоф Мольнар в своей книге Интерпретируемое машинное обучение определяет его как методы и модели, которые делают поведение и предсказания модели машинного обучения понятными для людей.
Почему модель объяснима?
В выпуске NeurIPS 2017 года прошел Симпозиум по интерпретируемому машинному обучению, в том числе дискуссия Интерпретируемость необходима для машинного обучения.
В ходе дискуссии обсуждался очень интересный вариант использования. Модель глубокой нейронной сети была обучена предсказывать, какие пациенты с пневмонией относятся к группе высокого риска и, следовательно, должны лечиться в первую очередь, а какие - к группе низкого риска. Модель была очень точной, как и обычно модели глубокого обучения, но возникла одна проблема - она предсказывала, что пациенты с астмой относятся к группе низкого риска. На самом деле пациенты с астмой считаются более сложными, и их можно сначала вылечить.
После дополнительного анализа и помощи экспертов разработчики модели обнаружили, что пациенты с астмой в среднем обычно обращаются за помощью намного раньше, чем здоровые пациенты. Таким образом, астма была показателем времени на обращение за лечением.
Я лично считаю, что это хороший пример того, как точная модель не обязательно является хорошей моделью.
В некоторых дисциплинах объяснимость даже не вариант - она обязательна. Подумайте о скоринге кредитных рисков, страховании и здравоохранении. Тем не менее, эти отрасли могут выиграть, если будут иметь модели «претендентов», которые могут работать вместе с текущими простыми алгоритмами, но являются более точными. Чтобы это произошло, нам нужны хорошие объяснимые методы.
Объясняемость необходима для построения доверия. Я обнаружил, что применение различных техник объяснимости при работе с деловыми партнерами, не разбирающимися в жаргоне искусственного интеллекта, повысило их понимание и веру в модели. Более того, поскольку модели машинного обучения становятся все более и более распространенными, методы интерпретируемости, вероятно, несколько ослабят страхи и повысят общественное признание.
Также очень важно иметь прозрачность в моделях. Возможность обнаружить потенциальную предвзятость в отношении определенной группы населения до того, как модель будет выпущена в дикую природу, имеет жизненно важное значение. В противном случае все идет не так. А для приложений в сфере здравоохранения и безопасности мы не можем себе позволить такой сценарий.
Рисунок 1. Зачем нам нужны методы интерпретируемости?
Типы подходов к объяснимости
Есть несколько подходов к интерпретируемости модели. Некоторые из них специфичны для модели (например, интерпретаторы деревьев и различные методы, применяемые к моделям глубокого обучения), в то время как другие не зависят от модели (могут применяться к любому типу модели). Мы также можем сделать разделение между внутренним (например, ограничивая сложность модели функциями априори), в то время как другие применяются post-hoc к обучению модели. Также существуют локальные (объясняют отдельные прогнозы) и глобальные (объясняют поведение модели в целом).
Рисунок 2: Категории методов объяснимости
Объяснимые подходы на практике
Во время моего предстоящего выступления в ODSC Europe в ноябре 2019 года я продемонстрирую ряд объяснимых подходов, применяемых для прогнозирования продажной цены дома.
Я расскажу о нескольких методах, включая их преимущества и недостатки. Вот некоторые из подходов, о которых я расскажу: визуальные методы (такие как графики частичных зависимостей, индивидуальное условное ожидание, накопленные локальные эффекты), важность функций, глобальные суррогатные модели, LIME, значения Шепли и другие.
Хотя ни один из методов не является универсальным, одним из наиболее многообещающих являются значения Шепли благодаря его прочной теоретической основе, интуитивной интерпретации и локальной объяснимости.
На рисунке 3 показаны значения Шепли для первой строки набора данных. Он наглядно демонстрирует, как каждая функция способствует отталкиванию выходных данных модели от базового значения.
Рисунок 3. Значения Shapley для первого случая в наборе данных
Чтобы узнать больше о каждом из методов, присоединяйтесь ко мне на сессии в ODSC London в ноябре!
Прочтите больше статей по науке о данных на OpenDataScience.com, включая учебные пособия и руководства от новичка до продвинутого уровня! Подпишитесь на нашу еженедельную рассылку здесь и получайте последние новости каждый четверг.
