В предыдущих частях этой серии мы представили LIME (локальные интерпретируемые модельно-независимые объяснения) и обсудили стоящую за ним методологию, включая процесс создания интерпретируемых представлений с использованием субмодульных функций. В этой заключительной части серии мы рассмотрим, как LIME можно оценить с помощью людей.

Важность оценки человека в XAI

Человеческая оценка — важный шаг в понимании эффективности моделей машинного обучения и их объяснений. Оценивая объяснения с участием людей, мы можем определить, способны ли они точно понять предсказания модели и их причины.

Существует несколько методов оценки объяснений с участием людей, включая опросы и исследования пользователей.

  • В опросе участников просят оценить объяснения, предоставленные моделью, по различным параметрам, таким как ясность, точность и достоверность.
  • В исследовании пользователей участников просят выполнить определенную задачу, например сделать прогноз или решить проблему, а их поведение наблюдают и анализируют.

При оценке объяснений с участием людей важно учитывать несколько факторов, таких как:

  • репрезентативность выборки
  • дизайн исследования
  • меры, используемые для оценки объяснений.

Тщательно разрабатывая и проводя оценку, мы можем гарантировать, что результаты будут содержательными и репрезентативными для населения в целом.

В следующих разделах будут рассмотрены конкретные вопросы, поднятые в документе LIME: (1) Могут ли пользователи выбирать между двумя классификаторами? тот, который лучше обобщает; (2) Могут ли пользователи выполнять разработку функций для улучшения модели на основе объяснений?

Могут ли пользователи выбирать между двумя классификаторами? какой из них лучше обобщает?

Цель состоит в том, чтобы увидеть, могут ли объяснения позволить пользователям выбрать, какой классификатор лучше обобщает или какому классификатору они могут больше доверять «в дикой природе».

Эксперимент здесь заключается в том, что пользователи должны выбирать между двумя классификаторами: SVM на основе исходного набора данных 20 групп новостей и версией того же классификатора, обученной на «очищенном» наборе данных, в котором многочисленные необобщаемые функции удаляются вручную с помощью регулярных выражений.

В очищенном наборе данных исходный классификатор имеет более низкую оценку точности, чем «очищенный» классификатор. Однако, если бы точность была единственным критерием доверия, был бы выбран менее надежный классификатор, поскольку начальное разделение поезда/теста дало точность теста 94,00% и 88,6% соответственно.

Они измеряют свою способность выбрать лучший алгоритм, просматривая пояснения рядом с соответствующими необработанными данными. После изучения объяснений пользователей просят выбрать, какой алгоритм будет работать лучше всего в реальном мире, и объяснить, почему.

В результате эксперимента, хотя некоторые пользователи были сбиты с толку и в конечном итоге выбрали классификатор на основе произвольных критериев, большинство респондентов заявили, что использование классификатором более семантически значимых фраз (обученных на очищенных данных) было важным фактором в их решении.

Могут ли пользователи выполнять разработку признаков для улучшения модели на основе объяснений?

В этом эксперименте авторы документа LIME повторно используют данные из 20 групп новостей и просят пользователей Amazon Mechanical Turk голосовать за то, какие термины в объяснениях следует исключить из обучения классификатора, чтобы уточнить его. Пользователь определяет слова по их релевантности. После этого 10 отдельных классификаторов, по одному на каждый предмет, обучаются фразам, помеченным для удаления. После вывода объяснения каждого классификатора новой группе из пяти пользователей происходит еще один раунд взаимодействия, в результате чего получается пятьдесят уточненных классификаторов.

На приведенном выше рисунке каждая заштрихованная линия представляет среднюю точность субъектов на пути, который начинается с одного из первых десяти субъектов. Каждая сплошная линия указывает среднее значение всех путей за раунд взаимодействия.

В свете этих выводов становится очевидным, что массовые работники могут помочь в развитии модели, удаляя функции, которые они считают ненужными.

заключение

В заключение, оценка объяснений LIME с участием людей является важным шагом к пониманию их эффективности и того влияния, которое они оказывают на модель в целом. Оценивая объяснения таким образом, мы можем гарантировать их точность и легкость для понимания, что поможет укрепить доверие к моделям машинного обучения и их прогнозам.