Объяснимый ИИ

Проблемы объяснимого ИИ

Искусственный интеллект (ИИ) повсюду, и его применение варьируется от медицинской диагностики до автономного вождения. По мере того, как использование ИИ и машинного обучения (МО) становится все более распространенным явлением в различных отраслях и функциях, междисциплинарные заинтересованные стороны ищут способы понять системы, которые они используют, чтобы доверять решениям, принимаемым такими системами. Это усилие иногда называют «объяснимым ИИ» или «XAI».

Действительно ли XAI нужен?

Рост нынешнего движения XAI отчасти является результатом распространения ИИ. Современные системы искусственного интеллекта и машинного обучения, такие как инструменты глубокого обучения, очень сложны и сложны для понимания. Эта сложность стимулирует инвестиции в новые исследования XAI. (1)

В то же время частные лица и компании, которые не являются экспертами в области искусственного интеллекта, могут развертывать части набора инструментов искусственного интеллекта и машинного обучения без необходимости иметь существенное понимание математических процессов, лежащих в основе технологии. (2) " Гражданские специалисты по данным» демократизировали науку о данных и машинное обучение, и это подчеркивает необходимость человеческого контроля. В нем также подчеркивается проблема «объяснения ИИ» — даже если ИИ можно заставить «объяснять» себя эксперту, такое объяснение может быть в значительной степени непонятным для гражданского специалиста по данным (3,4).

Акцент на доверии и понимании, который движет движением XAI, связан с важными вопросами права и политики. Объяснение системы ИИ или МО может открыть рассуждения системы для обсуждения того, является ли она беспристрастной или справедливой, или может обеспечить какое-то действенное понимание того, почему было принято решение. (5) Конечно, такое понимание требуется по закону в определенных контекстах. Например, в Соединенных Штатах кредиторы должны предоставить заявителям изложение конкретных причин для неблагоприятных действий. В Общем регламенте по защите данных Европейского союза (GDPR) обсуждается право [субъекта данных]… получить объяснение принятого решения… и оспорить это решение в аналогичном контексте автоматизированного принятия решений (статья 22, преамбула 71 Общего регламента по защите данных). Обсуждение этих мандатов может также повлиять на будущее законодательство в Соединенных Штатах и ​​за их пределами.

Все ли поддерживают XAI? Нет.

Некоторые исследователи, такие как главный специалист Facebook по искусственному интеллекту Янн Лекун и Джефф Хинтон из Google Brain, утверждают, что просить системы «объяснять» себя — сложная, невыполнимая задача, которая может не привести к практическим выводам.(6,7) Другие не согласны, утверждая, что Объяснимость необходима, поскольку технологам необходимо учитывать социальные последствия всех частей их систем ИИ (8,9,10). Более того, они утверждают, что развитие исследований может сделать задачу более выполнимой (11).

Одна из ключевых проблем заключается в том, что в этой области отсутствует общий язык, что является отражением важных споров о значении таких терминов, как «объяснимость» и «интерпретируемость» (12, 13, 14). конкретной модели или выходных данных модели и рассматривать «объяснения» как более всеобъемлющие. >могут включать как интерпретации системы, так и обоснования того, почему правила являются такими, какие они есть.(13,14,16,17) Другие определяют термины по-разному или используют два термина как синонимы.(12)

Проблема интерпретации

Чтобы понять, почему сложно генерировать интерпретации сложных моделей, полезно знать, что может сделать модель сложной. В сообществе машинного обучения существуют различные способы определения и количественной оценки сложности модели. Многие из этих режимов обычно предполагают некоторое рассмотрение поведения модели. (18) Здесь мы сосредоточимся на сложности, рассматриваемой через анализ правил, которым следует модель. (5,19)

Один из способов проанализировать правила, которым следует модель (и, следовательно, ее сложность), — рассмотреть линейность, монотонность, непрерывность и размерность. (5)

Как показано на рис. 1, линейная модель имеет постоянный наклон, а нелинейная — нет. Линейность поддается интерпретации, потому что для каждой единицы изменения входных данных выход будет изменяться на постоянную величину. (20) Монотонная функция может иметь наклон, который всегда отрицателен или равен нулю, что означает, что она всегда не возрастает, или он может иметь наклон, который всегда положительный или нулевой, что означает, что он всегда неубывающий. Монотонность гарантирует, что при изменении входа в заданном направлении выход всегда будет изменяться только в одном направлении. (19) Непрерывная функция — это функция без каких-либо «разрывов» на кривой; разрывные функции может быть трудно интерпретировать, потому что на кривой могут быть скачки или изломы. (5)

Данный набор данных может содержать некоторое количество nнаблюдений и некоторое количество pпризнаков (или переменных), доступных для каждого наблюдения.(20) Размерность может относиться к количеству переменных. представлены в модели. (5,21) Модели или наборы данных с низкой размерностью могут быть визуально представлены зрителю в двух- или трехмерном пространстве, как модели на рисунке. Модели в больших размерностях, как правило, более сложны, чем модели в малых размерностях, и их нелегко визуализировать для интерпретации человеком. (18) Хотя существует множество методов, предназначенных для представления людям наборов данных или моделей в больших размерностях путем сжатия их в низкоразмерные представления, эти представления могут потребовать значительных базовых знаний для понимания. (27)

Попытка количественно оценить сложность модели — это просто сложно.

Однако, взятые вместе, линейность, монотонность, непрерывность и размерность выражают некоторые важные характеристики проблемы. (5) Хотя линейные, монотонные, непрерывные функции в низкоразмерном пространстве, как правило, легко интерпретируются, комбинации нелинейности, нелинейности -монотонность, прерывистость и высокая размерность обычно приводят к увеличению сложности и создают проблемы с интерпретируемостью. Например, нейронные сети, которые могут быть довольно сложными, как правило, моделируют выходные данные как нелинейные функции входных данных, часто с высокой размерностью. техники обучения.

Эта цифра ни в коем случае не является окончательной. Например, хотя линейная регрессия характеризуется как «менее сложная», линейная модель с сотнями или тысячами включенных переменных была бы довольно сложной.

Один полезный способ охарактеризовать усилия в XAI по применимости — например, может ли метод использоваться для интерпретации или обоснования одной модели или многих, или может ли он использоваться для интерпретации или обоснования одного решения или более крупных тенденций.

  • Независимые от моделиподходы, которые рассматривают внутреннюю работу модели как неизвестный черный ящик, обычно можно применять к целым классам алгоритмов или методов обучения.(19,22)
  • Специфичные для моделиподходы можно использовать только для определенных методов или узких классов методов.(19) Специфичные для модели подходы, которые погружаются во внутреннюю работу модели, также называются методами белого ящика.

При рассмотрении модели локальные интерпретациисосредоточены на определенных точках данных, а глобальные интерпретациисосредоточены на более общих закономерностях во всех точках данных.(12,13) ​​Локальные интерпретации часто более релевантны для анализа конкретных результатов или решений, а глобальные интерпретации часто более полезны для общего мониторинга и выявления закономерностей. В таблице ниже, сфокусированной на пересечении каждого из этих подходов, приведены примеры методов объяснимости.

Основные усилия по созданию интерпретаций и объяснений

Ключевые усилия в исследованиях интерпретируемости и объяснимости включают разработку более простых моделей, построение приближенных моделей и анализ входных данных модели.

На высоком уровне проектирование для простоты сосредоточено на поиске способов построения и использования относительно простых, точных моделей, которые можно интерпретировать естественным образом. (5,26) Апостериорные методы создают приблизительные модели, чтобы помочь объяснить сложную модель, используемую для реальной задачи. .(13,25) Учитывая конкретное решение или тип решений, анализ входных данных модели направлен на определение того, как различные переменные или концепции повлияли на это решение.(5,7) Взаимодействие с данными и моделями и их визуализация являются важным ресурсом для каждого из эти три усилия.

Хотя эти подходы не являются исчерпывающей характеристикой XAI, они дают представление о ключевых направлениях мышления в этой области. Каждый подход имеет сильные стороны и ограничения, и в каждой области существует множество новых и устоявшихся методов.

Что все это значит?

В то время как большая часть новых работ и исследований по этим методам исходит из академического сектора, инструменты XAI начинают появляться на рынке. Смогут ли компании XAI работать самостоятельно, или эти инструменты будут в первую очередь освоены как функция признанными игроками AI/ML, еще неизвестно.

Ресурсы для объяснимого ИИ

Платформы XAI с открытым исходным кодом:

Соответствующие конференции:

  • ACM FAT*: Конференция ACM по справедливости, подотчетности и прозрачности (fatconference.org)
  • NeurIPS: Нейронные системы обработки информации (nips.cc)
  • CVPR: Конференция IEEE по компьютерному зрению и распознаванию образов (cvpr2019.thecvf.com)
  • ICML: Международная конференция по машинному обучению (icml.cc)
  • SIGKDD: Международная конференция ACM SIGKDD по открытию знаний и интеллектуальному анализу данных (kdd.org)
  • AAAI: Конференция AAAI по искусственному интеллекту (aaai.org/Conferences/AAAI)

Источники статьи

1. Ганнинг, Д. (2016). Объяснимый искусственный интеллект (XAI). Агентство перспективных оборонных исследовательских проектов. Получено с https://www.darpa.mil/program/explainable-artificial-intelligence

2. Идоин, К. (2018). Гражданские специалисты по данным и почему они важны. Сеть блогов Gartner. Получено с https://blogs.gartner.com/carlie-idoine/2018/05/13/citizen-data-scientists-and-why-they-matter/

3. Баррелл, Дж. (2016). Как машина «думает»: понимание непрозрачности алгоритмов машинного обучения. Большие данные и общество, 3(1), 2053951715622512.

4. Миллер Т., Хоу П. и Зоненберг Л. (2017). Объяснимый ИИ: Остерегайтесь сокамерников, управляющих приютом, или Как я научился перестать беспокоиться и полюбил социальные и поведенческие науки. препринт arXiv arXiv:1712.00547.

5. Селбст, А. Д., и Барокас, С. (2018). Интуитивная привлекательность объяснимых машин. Fordham L. Rev., 87, 1085.

6. Симонит, Т. (2018). Гуру искусственного интеллекта Google хочет, чтобы компьютеры больше думали как мозг. ПРОВОДНАЯ. Получено с https://www.wired.com/story/googles-ai-guru-computers-think-more-like-brains/

7. Лекун, Ю. (2017). Панельная дискуссия на симпозиуме Interpretable ML.Конференция 2017 г. по системам обработки нейронной информации.

8. Каруана, Р. (2017). Панельная дискуссия на симпозиуме Interpretable ML.Конференция 2017 г. по системам обработки нейронной информации.

9. Каруана Р., Лу Ю., Герке Дж., Кох П., Штурм М. и Эльхадад Н. (2015, август). Понятные модели для здравоохранения: прогнозирование риска пневмонии и 30-дневная повторная госпитализация. В Материалы 21-й Международной конференции ACM SIGKDD по обнаружению знаний и интеллектуальному анализу данных (стр. 1721–1730). АКМ.

10. Джонс, Х. (2018). Гофф Хинтон отверг необходимость объяснимого ИИ: 8 экспертов объясняют, почему он неправ. Форбс. Получено с https://www.forbes.com/sites/cognitiveworld/2018/12/20/geoff-hinton-dismissed-the-need-for-explainable-ai-8-experts-explain-why-hes-wrong /#246ccdb1756d

11. Ганнинг, Д. (2017). Объяснимый искусственный интеллект (XAI). Обновление программы. Агентство перспективных оборонных исследовательских проектов. Получено с https://www.darpa.mil/attachments/XAIProgramUpdate.pdf

12. Доши-Велес, Ф., и Ким, Б. (2017). На пути к строгой науке интерпретируемого машинного обучения. препринт arXiv arXiv:1702.08608.

13. Миттельштадт Б., Рассел К. и Вахтер С. (2018). Объясняющие объяснения в AI. препринт arXiv arXiv:1811.01439.

14. Миллер, Т. (2018). Объяснение в искусственном интеллекте: выводы из социальных наук. Искусственный интеллект.

15. Липтон, З. К. (2016). Мифы интерпретируемости моделей. препринт arXiv arXiv:1606.03490.

16. Lisboa, P. J. (2013, ноябрь). Интерпретируемость в машинном обучении: принципы и практика. В Международном семинаре по нечеткой логике и приложениям (стр. 15–21). Спрингер, Чам.

17. Доши-Велес Ф., Корц М., Будиш Р., Бавитц С., Гершман С., О'Брайен Д., Шибер С., Уолдо Дж., Вайнбергер Д. и Вуд, А. (2017). Подотчетность ИИ по закону: роль объяснения. препринт arXiv arXiv:1711.01134.

18. Фридман Дж., Хасти Т. и Тибширани Р. (2001). Элементы статистического обучения (Том 1, №10). Нью-Йорк: серия Springer по статистике.

19. Холл П. и Гилл Н. (2018). Введение в интерпретацию машинного обучения. О'Рейли Медиа, Инкорпорейтед.

20. Джеймс Г., Виттен Д., Хасти Т. и Тибширани Р. (2013). Введение в статистическое обучение (том 112, стр. 18). Нью-Йорк: спрингер.

21. Брейман, Л. (2001). Статистическое моделирование: две культуры (с комментариями и ответом автора). Статистическая наука, 16(3), 199–231.

22. Рибейро, М. Т., Сингх, С., и Гестрин, К. (2016). Модельно-независимая интерпретируемость машинного обучения. препринт arXiv arXiv:1606.05386.

23. Ким Б., Ваттенберг М., Гилмер Дж., Кай К., Векслер Дж., Вьегас Ф. и Сайрес Р. (2017). Интерпретируемость за пределами атрибуции признаков: количественное тестирование с векторами активации концепций (tcav). препринт arXiv arXiv:1711.11279.

24. Лундберг, С. М., и Ли, С. И. (2017). Единый подход к интерпретации прогнозов модели. В Достижения в системах обработки нейронной информации (стр. 4765–4774).

25. Рибейро, М. Т., Сингх, С., и Гестрин, К. (2016, август). Почему я должен вам доверять?: Объяснение прогнозов любого классификатора. В Материалы 22-й международной конференции ACM SIGKDD по открытию знаний и интеллектуальному анализу данных (стр. 1135–1144). АКМ.

26. Рудин, К. (2018). Пожалуйста, прекратите объяснять модели черного ящика для принятия решений с высокими ставками. препринт arXiv arXiv:1811.10154.

27. Смит Л.И. (2002). Учебник по анализу главных компонентов.