Недавно я разговаривал с одним из руководителей высшего звена по поводу финансирования проекта в области науки о данных. Он указал, что, хотя он понимал общие концепции, ему было неясно, как работают модели глубокого обучения. Был одобрен пилотный проект, который дал интересные результаты. Однако, когда пришло время получить разрешение на запуск модели в производство, скептицизм и сопротивление возросли. Хотя специалисты по анализу данных хорошо описали проблему, данные, результаты обучения и их процесс с технической точки зрения, сообщение не смогло убедить лиц, принимающих решения нетехнического характера, продолжить работу, что в конечном итоге негативно отразилось на авторитете команды по анализу данных и повлияло на моральный дух.
Хотя искусственный интеллект («ИИ») и особенно глубокое обучение по-прежнему вызывают много шумихи и инвестиций, мы давно знаем, как трудно описать, как работают такие сложные модели, в терминах, которые нетехнические специалисты могут понять и поддержать. По мере того как мы продолжаем находить новые приложения в здравоохранении, бухгалтерском учете, финансах, правоохранительных органах и других отраслях, спрос на более качественные объяснения, прозрачность и регулирующий надзор будет расти.
К счастью, все больше усилий и правил, которые облегчат объяснимость ИИ. Например, Агентство перспективных оборонных исследовательских проектов (« DARPA )» и другие организации (например, Управление по санитарному надзору за качеством пищевых продуктов и медикаментов США (« FDA )») активизируют усилия по разработке руководящих принципов и методологий, объясняющих, как машинное обучение и другие Решения AI разрабатываются, работают и обслуживаются. Статья 22 Общего регламента по защите данных (« GDPR ) дает отдельным лицам ( т. Е. Субъектам данных ) особые права в отношении решений, основанных исключительно на автоматизированной обработке. И совсем недавно, в ноябре В 2019 году Google анонсировала службу объяснений Google Cloud AI, которая предоставляет такие функции, как модели карт и возможности« что, если , чтобы помочь специалистам по данным документировать и объяснять, как работают их модели». Все эти усилия будут иметь значение для всего сообщества AI.
Короче говоря, объяснимость ИИ заключается в том, чтобы сообщать о том, что делает модель, и переводить это сообщение непрофессионалам в человеко-ориентированном виде, который имеет контекстуальный смысл в соответствии с их потребностями. Очень важно найти способ помочь людям с различным опытом и знаниями понять, что стоит за алгоритмами, чтобы они могли принимать решения с большей уверенностью и доверием. Примеры вопросов ИИ, которые необходимо «объяснить», включают:
· Какова цель или задача модели?
· Каково потенциальное влияние модели на стоимость бизнеса?
· Почему один алгоритмический подход был выбран перед другими?
· Как работает модель?
· Как модель, вероятно, будет работать в определенных ситуациях (например, когда, почему, как могут измениться или отличаться эффекты или результаты?
· Каковы потенциальные ограничения и риски модели (например, производительность, точность, предвзятость и т. Д.)?
· Кто отвечает за различные действия в жизненном цикле науки о данных?
Движение к объяснимости будет иметь последствия для всех отраслей и должно быть частью аналитической стратегии и плана управления каждой организации. В дополнение к навигации по различным нормативным положениям и интерпретациям, лидеры в области науки о данных должны разработать новые процессы, предназначенные для анализа, мониторинга и объяснения своих моделей таким образом, чтобы это было понятно заинтересованным сторонам нетехнического профиля. Чтобы решить эту проблему, бизнес-лидерам и специалистам по обработке данных следует рассмотреть следующие шаги.
· Вовлечение заинтересованных сторон на протяжении всего жизненного цикла науки о данных и одновременное общение с ними таким образом, чтобы они могли следовать
· Создание процессов управления для оценки социальных и других воздействий ИИ-решения (например, конфиденциальность, несправедливость, равенство, справедливость)
· Применение ориентированного на человека дизайн-мышления для эффективной интеграции ИИ в рабочий процесс и оптимизации взаимодействия человека с компьютером
· Установить мониторинг и аудит процесса разработки и сопровождения алгоритмов искусственного интеллекта.
Посредством этих шагов заинтересованные стороны могут работать вместе, чтобы выйти за рамки объяснимости и достичь более важной цели - способствовать пониманию и доверию к алгоритмам, процессам и людям, стоящим за ними. Благодаря работе DARPA, FDA, академических кругов и других отраслевых групп мы наблюдаем усиление темпов повышения прозрачности, подотчетности и эффективности решений в области искусственного интеллекта. Эти усилия необходимы, если мы хотим более ответственного будущего ИИ и избегаем чрезмерной зависимости от алгоритмов черного ящика, которые плохо понимаются и управляются.
