Узнайте о его передовых методах, подводных камнях и о том, чего следует избегать.
Объяснимый ИИ (XAI) — это ветвь ИИ, которая пытается сделать модели машинного обучения более интерпретируемыми и прозрачными. Сегодняшнее подавляющее большинство приложений ИИ основано на моделях «черных ящиков», которые практически не дают представления о том, как они работают. Это отсутствие объяснимости может быть проблематичным, когда понимание того, почему система выносит конкретные суждения, имеет решающее значение, например, когда автономные системы, такие как беспилотные автомобили или медицинские диагностические роботы, принимают жизненно важные решения. Чтобы улучшить меры безопасности в будущем, например, если беспилотный автомобиль попадет в аварию, мы должны понять, почему система приняла такое решение. Предположим, что методы объяснимого ИИ могут дать более глубокое понимание того, как эти системы принимают решения. В этом случае у него есть потенциал для спасения жизней (в приведенном выше примере), не позволяя людям совершать те же ошибки.
Было предложено много альтернативных методов интеграции или использования объяснимого ИИ. Типичные примеры включают следующее: (1) извлечение правил из обученных моделей; (2) картирование значимости и локальные объяснения с использованием методов возмущений; (3) создание прототипов примеров и контрфактических объяснений; и (4) построение деревьев решений или сопоставимых структур на основе данных, полученных в отношении прогностических признаков, используемых во время обучения. По сути, любая стратегия, которая дает информацию в дополнение к входным или выходным данным прогнозирования, может способствовать улучшению объяснимости. При создании системы XAI может быть компромисс между объяснимостью и точностью.
Управление часто используемыми моделями машинного обучения с многомерными данными — одна из задач объяснимого ИИ. Когда задействованы миллионы параметров, может быть трудно понять, почему глубокая нейронная сеть приняла определенное классификационное решение. Еще одним препятствием может быть отсутствие устоявшихся методов оценки. Поскольку системы XAI предоставляют больше информации, чем просто прогнозы, может быть сложно сравнивать различные подходы с использованием традиционных измерений точности. Внедрение новых типов методологий оценки, разработанных специально для систем XAI, а также объяснение корреляций, обнаруженных в сложных моделях, может дать представление о том, как можно разработать более точные модели в будущем (это два многообещающих шага в направлении решения этих проблем).
ModelOps, с другой стороны, фокусируется на операционализации моделей машинного обучения, чтобы их можно было масштабно развертывать в производственных условиях. Этот метод обычно включает настройку гиперпараметров, A/B-тестирование и отслеживание производительности модели с течением времени. Хотя между ModelOps и XAI есть некоторые общие черты, такие как однозначное отслеживание входных функций, используемых прогностическими моделями во время обучения, их конечные цели несколько различаются: XAI стремится улучшить способность человека интерпретировать, а ModelOps стремится упростить развертывание стратегии модели.
Рассмотрите следующие стратегии интеграции для вашего трудоустройства в XAI.
1. Убедитесь, что все заинтересованные стороны знают о важности описания процесса принятия решений по алгоритму, включая разработчиков программного обеспечения, которые создают такие алгоритмы, и администраторов, которые используют их ежедневно. Эта стратегия гарантирует, что все заинтересованные стороны понимают, когда и как применять объяснительную логику к наборам данных, генерируемым этими системами.
2. Убедитесь, что все объяснения объяснимого ИИ измеримы и прослеживаемы до источников данных; такой подход поможет обеспечить прозрачность, подотчетность и надежность процесса принятия решений алгоритмом.
3. Поощряйте пользователей оставлять отзывы об объяснениях объяснимого ИИ в формате, который может быть легко доступен и проанализирован системными инженерами. Собирая этот тип данных на ранних этапах процесса разработки, вы, вероятно, сможете принимать более обоснованные решения о том, как включить объяснимость в общий подход к ИИ.
4. Убедитесь, что все идеи объяснимого ИИ являются контекстно-зависимыми и непротиворечивыми; этот подход гарантирует, что они подходят для фактов и условий каждого обсуждаемого случая или сценария.
5. Стремитесь к простоте при создании часто задаваемых вопросов по XAI; это сделает их более доступными для более широкого круга пользователей, в том числе для тех, кто может не знать технических алгоритмов.
Кроме того, при внедрении XAI в вашей организации следует избегать следующих ошибок.
1. Избегайте хранения объяснений глубоко в коде или документации, где пользователям может потребоваться быстро и легко найти и интерпретировать их для правильного использования системы. Независимо от их структурной сложности объяснения объяснимого ИИ должны быть легко доступными и понятными.
2. Не полагайтесь на непрозрачные или непроверяемые эвристики; такие процессы принятия решений могут вызвать путаницу, двусмысленность и разочарование у тех, кто хочет понять, почему алгоритм принял конкретное решение. Вместо этого создавайте объяснимые объяснения ИИ, используя понятный язык, который дает людям доступ к базовой логике, лежащей в основе каждого действия системы.
3. Избегайте наложения ограничений на способность пользователей исследовать систему и экспериментировать с ней, так как это может помешать им определить возможные применения технологии объяснимого ИИ в их контексте. Вместо этого помогите своим пользователям брать на себя просчитанные риски, предлагая четкие инструкции по использованию функций программного обеспечения, не ставя под угрозу целостность данных или системы.
4. Четко представлять себе, как объяснимый ИИ работает как внутри, так и за пределами вашей организации; пусть люди знают, какие критерии учитываются при принятии решений (как детерминированные, так и вероятностные) и почему эти параметры были выбраны в конкретных случаях. Этот метод поможет укрепить доверие между людьми, работающими с системой, и в то же время позволит вам сохранить контроль над важными областями ее работы.
Прощальные мысли
Если у вас есть какие-либо рекомендации для этого поста или предложения по расширению темы, я был бы признателен, если бы вы их услышали. Просто отправьте мне личное сообщение в любом месте этого поста.
Кроме того, вот мой информационный бюллетень; Я надеюсь, что вы рассмотрите возможность подписки.
Если вам нравится читать такие истории и вы хотите поддержать меня как писателя, подумайте о том, чтобы зарегистрироваться, чтобы стать участником Medium и получить неограниченный доступ ко всем историям на Medium.»
Кроме того, я написал следующие посты, которые могут быть вам интересны:
Анил Тильбе
