Как мы можем объяснить, почему системы машинного обучения делают такие прогнозы?

Прежде чем мы сможем ответить на этот вопрос об объяснимом ИИ - тот, который Уилл Найт недавно описал как Темный секрет, лежащий в основе ИИ, нам нужно внимательно посмотреть, что именно мы подразумеваем под объяснением вещей. .

Экспертные системы против современного машинного обучения

Если мы оглянемся на экспертные системы 80-х годов, то у нас было то, что мы считали бы полной объяснимостью: машина вывода использовала базу знаний для создания утверждений, которые он мог бы объяснить, используя цепочку рассуждений, которая привела к утверждению.

Эти системы были полностью построены на экспертных знаниях в предметной области и, будучи мощными, были несколько негибкими. Экспертные системы были в основном разработкой искусственного интеллекта, а не машинным обучением.

Современные алгоритмы машинного обучения идут на противоположный конец спектра, создавая системы, способные работать исключительно на основе наблюдений и создавать собственные представления о мире, на которых основываются свои прогнозы. Но нет возможности предоставить объяснимый ИИ или представить эти представления осмысленным образом человеку, который спрашивает: «Почему?»

Почему мы спрашиваем «почему?»

Наши текущие методы довольно эффективны, но не вызывают большого доверия к системам. Нам остается вопрос: «Как мы можем проверить поведение в новых ситуациях?», «Как мы итеративно отлаживаем и совершенствуем эти системы?», «Как мы предотвращаем системные нежелательные предубеждения, которые могут присутствовать в данных, но мы хотим их избежать. отфильтровано?"

Если вы создаете систему для утверждения кредитов, например, и система машинного обучения узнает на основе данных, что почтовые индексы являются хорошим предиктором кредита, нарушаете ли вы правила недискриминации? Что, если вы даже не можете сказать, какие факторы в конечном итоге используются?

Это нетривиальные, реальные проблемы, когда мы работаем над применением ИИ в нашем бизнесе. Когда мой соучредитель и я только начинали создавать Бонсай, мы поговорили со многими крупными компаниями, чтобы узнать о проблемах, с которыми они сталкиваются при использовании ИИ. Одна компания, состоящая из весьма способных практиков искусственного интеллекта, создала систему машинного обучения, чтобы заменить созданную вручную систему, которая использовалась для прогнозирования того, какой элемент в следующий раз показать своим пользователям. Новая система машинного обучения по результатам измеренных тестов превзошла существующую систему, но в конечном итоге они решили не принимать ее. Причина заключалась в том, что, несмотря на повышение производительности, они не могли объяснить, почему были внесены предложения, и, следовательно, им было трудно итеративно улучшать его. Он представлял собой потенциальный потолок для того, что они могли делать, и поэтому, несмотря на их успешную работу, он не был запущен в производство.

Эти проблемы становятся еще более явными, когда мы смотрим на системы, дающие рекомендации по здоровью, автономно управляющие транспортными средствами и обеспечивающие оперативную поддержку принятия решений. Аналитики не хотят, чтобы им просто говорили, что это оптимизирует их цепочку поставок, им нужно объяснение, почему ИИ сделал эти предложения.

Что мы хотим, чтобы машины объяснили нам?

Многие из нас здесь знакомы с постоянным рефреном почему от детей, которые все глубже и глубже вникают в что-то. В большинстве ситуаций, когда мы спрашиваем, почему, нам не нужно объяснение с точки зрения лежащей в основе физики элементарных частиц ... нам нужен ответ на соответствующем уровне абстракции. (Хотя вот довольно забавная история, показывающая, что происходит, когда маленький ребенок постоянно спрашивает Почему? Своего отца, профессора химии.)

Это может быть проблемой в реальном мире, потому что мы должны различать самоанализ и оправдание, и мы должны строить вещи в терминах общих, взаимно поддерживаемых концепций, которые основываются друг на друге. Вот почему дети продолжают спрашивать, почему ... у них еще нет всех этих концепций.

Если мой сын спрашивает меня, почему он должен есть свои овощи, а я говорю «потому что это здоровая пища, которая помогает вам расти», и он спрашивает, почему я снова могу начать объяснять нюансы питания, или я могу просто сказать «потому что я так сказал» «… Один - самоанализ, а другой - оправдание.

Оправдание встречается чаще, чем можно представить. Для большей части нашего собственного поведения мы не можем указать на рациональную цепочку дедукции для конкретного результата, но мы можем искать для нее правдоподобные оправдания. Это настолько естественно, что мы делаем это, даже не задумываясь. Но это имеет большое значение для того, как мы работаем над программированием объяснений в наших системах машинного обучения.

Хотим ли мы, чтобы создаваемые нами системы могли объяснить те функции, которым они научились, и способы их применения? Хотим ли мы, чтобы система обосновывала, почему предсказание было разумным? Мы хотим и того, и другого? Как мы можем работать для достижения этих целей?

Чтобы ответить на эти вопросы, проводится довольно много исследований, а техники обычно делятся на 3 категории:

  • Глубокое объяснение - попытка понять, что делает нейронная сеть, с помощью самоанализа или обоснования.
  • Индукция модели - изучение поведения полученной обученной системы и ее использование для вывода модели, которую можно использовать для объяснения поведения.
  • Машинное обучение и повторная совместимость - метод, который мы используем в Bonsai, сочетающий машинное обучение с предметными знаниями для обучения интеллектуальных систем с использованием концептуальных иерархий.

Если вы хотите узнать больше об этих методах, вы можете просмотреть недавний доклад (ссылка ниже), который я прочитал на конференции O’Reilly AI в Сан-Франциско. Я также буду публиковать блоги с подробным описанием каждого метода в течение следующих нескольких недель.

Чтобы узнать больше о работе, которую мы делаем в Bonsai, вы можете посетить https://bons.ai/.