… И (почти) все ищут противотуманные фары посреди этой поездки!

Если вы занимаетесь машинным обучением и / или наукой о данных достаточно долго (2–4 года), вы, вероятно, заметили растущее количество статей и мероприятий, связанных с объяснимым искусственным интеллектом (XAI). Эта тенденция не случайна:

  1. новые правила, такие как Общие правила защиты данных (GDPR);
  2. недоверие заинтересованных сторон к сложным системам поддержки принятия решений «черным ящиком» в таких ключевых областях, как банковское дело и медицина;
  3. новые уязвимости, обнаруженные в моделях черного ящика, могут привести к катастрофическим результатам [6, 7, 8];
  4. антропогенная предвзятость в моделях и данных, ведущая к несправедливому обращению с гражданами [8]. Этот тебя оштрафуют.

Этих 4 причин достаточно, чтобы вызвать потребность в методах и инструментах интроспекции систем прогнозирования. Что касается кредитного риска, строгие нормативные инструкции по оценке моделей ограничивали выбор сотрудников по моделированию кредитного риска на протяжении десятилетий небольшим набором моделей: экспертными (то есть основанными на правилах) системами, обобщенными линейными моделями, деревьями решений и, иногда, моделями нечеткой логики.

Новое исследование интроспекции поведения моделей открывает двери для использования более выразительных моделей. В этом сообщении блога мы познакомим вас с этой «новой» горячей темой, а также с новыми правилами.

XAI действительно новая вещь?

До ажиотажа в области глубокого обучения люди внедряли ИИ (или фальшивый ИИ, в зависимости от того, за какое племя вы поддерживаете), используя классические методы поиска. Их обычно называют экспертными системами. Используя такие алгоритмы, как Поиск в глубину и Объединение, исследователи разработали системы, которые закодировали процедуры принятия решений в правилах, понятных человеку. Одна из таких систем - знаменитый Пролог.

В Prolog ваша система прогнозирования была основана на наборе фактов и правил. Правила запускаются в зависимости от того, какие факты или вопросы вы задаете. Чтобы проверить решения, вы можете проверить какие и почему правила были запущены.

В экспертных системах можно определить причину неожиданных прогнозов. К этим причинам относятся такие вещи, как ошибочные правила (например, бесконечные циклы) и несовместимая база знаний. Есть много причин, которые уводили людей от экспертных систем как основного инструмента для внедрения систем прогнозирования или искусственного интеллекта. Но оставим это для другого сообщения в блоге. В настоящее время наиболее впечатляющие системы прогнозирования на производстве так или иначе используют машинное обучение (если вы статистик, вы можете предпочесть термин статистическое обучение). Это стандартный подход по трем причинам:

  1. сейчас доступно намного больше данных, чем было во времена правления экспертных систем. А доступный объем данных имеет значение в моделях машинного обучения [4, 5].
  2. оборудование становится все более дешевым и быстрым. Быстрые процессоры и графические процессоры позволяют нам быстрее обучать сложные модели, такие как (очень) глубокие нейронные сети.
  3. легкий доступ к инструментам и библиотекам машинного обучения с открытым исходным кодом (scikit learn, tensorflow, pytorch и т. д.).

Но, в отличие от экспертных систем, многие системы прогнозирования, основанные на алгоритмах машинного обучения, особенно непараметрические, имеют ужасный недостаток: люди не могут понять «логику» каждого прогноза. Другими словами, люди не могут создать «мысленную карту» процесса принятия решений, которая напоминала бы то, на чем люди будут основывать свои решения. Вы не можете извлечь аргумент из нейронной сети (за исключением некоторых нишевых вариантов использования) и не можете точно определить, какие шаги решения приводят к неверному прогнозу. Итак, как вы вообще можете начать «понимать» нейронную сеть или другие модели черного ящика?

Какое объяснение?

Попробуйте ответить на следующие вопросы:

  1. Что бы вы лично приняли в качестве объяснения?
  2. Будет ли это отличаться от объяснений, которые вы запрашиваете у людей?
  3. Как вы хотите представить эти объяснения? Текст? Изображение? Видео? Диаграмма? Голос? Смесь всего этого? Телепатия? Обнять?
  4. Зачем вам нужны объяснения?

Чтобы понять, почему на эти вопросы так сложно ответить, давайте рассмотрим 3 сценария:

  • Сценарий 1. Представьте, что вы пошли смотреть фильм Интерстеллар. После просмотра друг задает вам два вопроса: Понравилось? Если да, что вас интересовало? Ваш ответ может быть примерно таким: Я думал, что это действительно хороший фильм. Мое внимание привлекли саундтрек и сцена с черной дырой! Ответ на первый вопрос заключается в том, как вы классифицируете фильм, хороший или плохой (то есть предсказание ), а второй вопрос касается рейтинга типа восприятия . (другими словами, важность характеристики).
  • Сценарий 2: вас арестовали за угон автомобиля. Вас отводят в комнату для допросов и спрашивают «Почему меня арестовали? Я просто ехал на своей машине! ». В ответ полиция открывает ноутбук и, не говоря ни слова, показывает вам две вещи: (1) видео, на котором вы взламываете замок двери автомобиля и (2) идентификатор владельца автомобиля.
  • Сценарий 3: вы запустили квадрокоптер и смотрите, как он летит на экране планшета. Внезапно появляется предупреждение о том, что дрон, вероятно, выйдет из строя в ближайшие 2 минуты. Вы понятия не имеете, что происходит, но внезапно на экране появляются два уведомления: (1) маленький значок квадрокоптера с мигающим красным ротором; (2) значок батареи, мигающий красным, содержит только одну полосу (из 3 полос). Увидев это, вы знаете источник проблемы: механическая проблема в одном из роторов и низкий заряд батареи. Кроме того, есть еще одно уведомление с просьбой принять решение: Согласны ли вы снизить скорость вращения вентиляторов всех роторов до безопасного уровня?

Во всех трех сценариях используются очень разные подходы к объяснению решения или прогнозов. Подход, принятый в сценарии 2, не имел бы смысла использовать в сценарии 3. Одной из основных проблем объяснимости машинного обучения и XAI является отсутствие стандартной концептуализации поля [6, 7, 9]. Когда мы не можем даже прийти к согласию по основным терминам и определениям, нам трудно сотрудничать или общаться вообще. Возможно, пришло время исследователям, практикам ИИ и политикам изучить, что философия [10, 11, 12] и психология [14] должны сказать об объяснениях.

А как насчет регулирования?

Принимая все это во внимание, неудивительно, что даже новые правила, такие как GDPR, предлагают очень расплывчатые рекомендации по тому, что является приемлемым в качестве объяснения решений, принимаемых / поддерживаемых машинами. Например, Статья 22 (1) гласит:

Субъект данных имеет право не подвергаться решению, основанному исключительно на автоматизированной обработке, включая профилирование, которое порождает правовые последствия в отношении него или ее или аналогичным образом существенно влияет на него или ее.

и Статья 14 (2.g)

наличие автоматизированного принятия решений, включая профилирование, о котором говорится в Статье 22 (1) и (4), и, по крайней мере, в этих случаях, значимая информация о задействованной логике, а также о значимости и предполагаемые последствия такой обработки для субъекта данных.

Я думаю, мы все можем согласиться с тем, что для практиков ML это ДЕЙСТВИТЕЛЬНО расплывчато. Что значимо в этом контексте? Что они подразумевают под логикой? Мы говорим о формальной логике? Из-за всей этой неопределенности относительно того, что все это вообще означает, несколько практикующих юристов утверждали, что GDPR рискует оказаться «беззубым» [20].

Что дальше?

Одна из наших задач в Джеймсе - позволить использовать эффективные сложные системы прогнозирования без ущерба для объяснимости. Мы считаем, что решения, меняющие жизнь, такие как принятие / отказ от ссуды, принимаемые машинами (или поддерживаемые машинами), должны подлежать проверке. Таким образом, вы можете ожидать больше сообщений в блогах по этой теме в ближайшем будущем. В следующем сообщении блога по этой теме мы рассмотрим два подхода к объяснимости машинного обучения: специфичный для модели и независимый от модели. Кроме того, мы рассмотрим что мы на самом деле можем сделать как с технической, так и с деловой точки зрения.

использованная литература

[1] Суды используют ИИ для вынесения приговоров преступникам. Это должно прекратиться сейчас , Джейсон Таши, Wired, 17 марта 2017 г. (извлечено 9 июля 2018 г.)

[2] Как искусственный интеллект трансформирует систему уголовного правосудия, Стефани Вебер, ThoughtWorks, 10 января 2018 г. (извлечено 9 июля 2018 г.)

[3] Атака одним пикселем для обмана глубоких нейронных сетей, Цзявэй Су, Данило Васконселос Варгас, Сакураи Коуичи, версия 4, февраль 2018 г.

[4] Неоправданная эффективность данных, Алон Халеви, Питер Норвиг и Фернандо Перейра, Интеллектуальные системы IEEE, выпуск 2, том. 24 марта / апреля 2009 г.

[5] Пересмотр необоснованной эффективности данных в эпоху глубокого обучения, Чен Сун, Абхинав Шривастава, Саураб Сингх, Абхинав Гупта, Труды ICCV 2017

[6] Мифы интерпретируемости моделей, Захари К. Липтон и др., Семинар ICML по интерпретируемости человеком в машинном обучении (WHI 2016), Нью-Йорк, Нью-Йорк.

[7] Доктор просто не примет это!, Захари К. Липтон и др., Симпозиум NIPS 2017 по интерпретируемому машинному обучению.

[8] Суды используют ИИ для вынесения приговоров преступникам. Это должно прекратиться сейчас , Джейсон Таши, Wired, 17 марта 2017 г. (извлечено 9 июля 2018 г.)

[9] На пути к строгой науке интерпретируемого машинного обучения, Финале Доши-Велес и Бин Ким, arVix, 2017

[10] Похищение, Стэнфордская энциклопедия философии, 2017 (извлечено 25 июля 2018 г.)

[11] Причины действия: обоснование, мотивация, объяснение, Стэнфордская энциклопедия философии, 2017 г. (извлечено 25 июля 2018 г.)

[12] Объяснение в математике, Стэнфордская энциклопедия философии, 2018 г. (извлечено 25 июля 2018 г.)

[13] Объясняемый искусственный интеллект (XAI), DARPA-BAA-16–53, Объявление DARPA Broad Agency, 2016 г.

[14] Почему право на объяснение автоматизированного принятия решений не существует в Общем регламенте защиты данных, Сандра Вахтер, Брент Миттельштадт и Лучано Флориди, Международный закон о конфиденциальности данных, 2017 г.