Введение в концепцию объяснимости ИИ, включая его роль в управлении, его ограничения и современные методы открытия пресловутого черного ящика.
Фраза «открыть черный ящик» стала повсеместной наряду с призывами к повышению прозрачности и регулированию в использовании и развитии технологии машинного обучения (ML). Идея состоит в том, что подотчетность может быть достигнута, если процесс принятия решений системой ОД можно - хотя бы частично - объяснить. Но это часто предполагает, что технологическое решение возможно для того, что по своей сути может быть социальной проблемой, и не менее важно понимать, как определение объяснимости может меняться в зависимости от пользователя и контекста.
Список литературы разделен на две части, в первой из которых обсуждается, что на самом деле означает объяснимость, и ту роль, которую она может - и не может - играть в подотчетности и повышении доверия к машинному обучению. Второй дает неполный взгляд на различные технические методы, которые исследователи использовали для достижения объяснимости.
Объяснение машинного обучения в контексте
Обеспокоенность объяснимостью неразрывно связана с вопросами контроля, власти и ответственности за системы машинного обучения. Кто может решать, что является «адекватным» объяснением - суды, правительство, общественность, разработчики? Кто принимает решение о приемлемом компромиссе между сложностью и точностью модели и ее способностью объяснять? Внутри самой дисциплины ученые-информатики продолжают дискутировать о важности выявления причинно-следственной связи в своих исследованиях, наряду с философами, социологами и экспертами в области права, и это лишь некоторые из них. Следующие чтения дают обзор проблем и противоречий, связанных с объяснимостью машинного обучения.
- Объяснение объяснений в AI (2019) http://arxiv.org/abs/1811.01439
- Раб алгоритма? Почему право на объяснение, вероятно, не то средство, которое вы ищете. (2019) https://osf.io/97upg
- Видеть без знания: ограничения идеала прозрачности и его применение к алгоритмической ответственности (2018) http://journals.sagepub.com/doi/10.1177/1461444816676645
- Мифы интерпретируемости моделей (2017) http://arxiv.org/abs/1606.03490
- Перспективы проблем управления ИИ (2019) https://ai.google/static/documents/perspectives-on-issues-in-ai-governance.pdf
Технические статьи
Способность объяснять результаты решений систем машинного обучения контекстно зависит от множества факторов, включая задачу машинного обучения, реализованную модель и данные, а также сам вариант использования. Кроме того, техническое решение не всегда может быть адекватным и имеет свой собственный набор ограничений. В области здравоохранения, например, ML предлагает потенциально революционные достижения, но непрозрачность модели может иметь серьезные последствия для ответственности и диагностических разногласий между системой и практикующими врачами. В следующих статьях рассматриваются потенциальные технические решения для объяснимости, а также их применимость в различных условиях.
- Технические гиганты запускают новые инструменты искусственного интеллекта, поскольку растет беспокойство по поводу объяснимости (2018) https://blogs.wsj.com/cio/2018/09/26/tech-giants-launch-new-ai- инструменты-как-забот-монтировать-о-объяснимости /
- AI Fairness 360: расширяемый набор инструментов для обнаружения, понимания и смягчения нежелательных алгоритмических предвзятостей (2018) http://arxiv.org/abs/1810.01943
- На пути к строгой науке интерпретируемого машинного обучения (2017) https://arxiv.org/pdf/1702.08608.pdf
- Противодействующие объяснения без открытия черного ящика: автоматизированные решения и GDPR (2017) https://www.ssrn.com/abstract=3063289
- Почему я должен вам доверять? Объяснение прогнозов любого классификатора (2016) https://arxiv.org/pdf/1602.04938.pdf
- Внимательные пояснения: обоснование решений и указание на доказательства (2017) https://arxiv.org/pdf/1711.07373.pdf
- Интерпретируемость за пределами атрибуции функций: количественное тестирование с векторами активации концепций (TCAV) (2019) http://proceedings.mlr.press/v80/kim18d/kim18d.pdf
- Глобальные объяснения нейронных сетей (2019) http://www.aies-conference.com/wp-content/papers/main/AIES-19_paper_198.pdf
- Что нам нужно для создания объяснимых систем искусственного интеллекта для медицины? (2017) http://arxiv.org/abs/1712.09923
- СОХРАНИТЬ: Интерпретируемая прогностическая модель для здравоохранения с использованием механизма обратного времени (2016) https://arxiv.org/pdf/1608.05745.pdf
Best Practice AI - это лондонская специализированная консалтинговая компания, которая помогает корпорациям, малым и средним предприятиям, государственному сектору и частному капиталу реализовать свои планы в области ИИ. Их миссия - демистифицировать ИИ и ускорить его внедрение. Библиотека Best Practice AI - это бесплатный ресурс, содержащий самую большую в мире коллекцию бизнес-примеров использования (600+) и тематических исследований (1000+), организованных в 40+ отраслях, 60+ функциях и 60+ странах. Библиотека разработана, чтобы помочь руководителям ответить на вопросы о том, что такое ИИ, как он применяется сегодня и как его можно развернуть в вашей организации.
