Подняться по лестнице недвижимости достаточно сложно для любого покупателя, впервые покупающего недвижимость, но добавьте сложности гонки, и все это может быстро превратиться в кошмар. Домовладельцы в Америке давно знали об этом, но их подозрения подтвердились в 2021 году, когда некоммерческое издание The Markup, занимающееся расследованием проблем, связанных с технологиями, опубликовало разоблачающий отчет.

Проанализировав более двух миллионов заявок на ипотеку в США, авторы отчета обнаружили, что на каждые 100 заявителей со схожими финансовыми характеристиками было отклонено девять чернокожих, а не пять белых. Для сравнения, восемь коренных американцев, семь латиноамериканцев и семь азиатов не смогли удовлетворить свои запросы на получение кредита. Короче говоря, авторы пришли к выводу, что алгоритмы искусственного интеллекта (ИИ), на которые полагаются многие кредиторы при принятии таких решений, по своей сути расистские.

Использование таких систем становится все более повсеместным, говорит ученый-компьютерщик Джун Сун, профессор Сингапурского университета управления, изучающий, как можно улучшить системы ИИ. В частности, технологии, основанные на нейронных сетях — технологии распознавания образов ИИ, которая имитирует работу человеческого мозга, — становятся все более популярными и используются благодаря их исключительной эффективности в решении многих реальных проблем. Помимо банковских кредитов, модели нейронных сетей полезны для распознавания лиц, языкового перевода, беспилотных автомобилей и других приложений.

«По сути, вы вводите в систему большой объем данных, а затем эти нейроны каким-то образом перенастраиваются для выполнения определенной задачи», — говорит Сан. «Все это звучит волшебно, но нейронные сети — это сложные модели черного ящика. Всегда возникают вопросы: Как это все работает? Можем ли мы им доверять?»

Поиск ответов на эти вопросы был основной движущей силой, которая побудила Sun подать заявку на получение гранта для исследования ИИ в Сингапуре в 2019 году. По его словам, разработка объяснимого ИИ имеет решающее значение по многим причинам. Самое главное, это помогает укрепить доверие людей к таким технологиям. В целом, если мы сможем понять любое решение, принятое системой ИИ, и то, что способствует этому принятию решений, это поможет нам обрести уверенность в том, что она принимает правильное решение, — говорит Сан.

Это невероятно важно, поскольку прогнозы ИИ обладают огромным потенциалом для изменения нашей жизни: от влияния на то, сможем ли мы купить дом своей мечты, до получения судьбоносного медицинского диагноза.

Кроме того, объяснимый ИИ помогает ученым-компьютерщикам создавать более совершенные алгоритмы, например, создавать менее предвзятые к чернокожим кредиторам. «Если мы хотим улучшить определенные системы, нам нужно знать, что является причиной результатов», — говорит Сан.

Простота

Для Sun объяснение предсказаний ИИ с использованием классической концепции компьютерной науки абстракции показалось наиболее логичным подходом. Под абстракцией понимается процесс извлечения из сложной системы только необходимой информации при исключении ненужных данных. В случае объяснения ИИ это именно то, что мы хотим сделать — найти простые концепции только с очень релевантной информацией, значимой для людей, — говорит он. Человеческий мозг очень прост в том смысле, что мы плохо справляемся с тяжелыми вычислениями.

«Например, если я приведу вам огромное количество причин, по которым банк отклонил ваш кредит, например, скажу, что кредитный рейтинг рассчитывается по этой очень сложной формуле, вы, вероятно, не сможете понять смысл вещей, — говорит Сун. «Но если я скажу вам простые факты, такие как кредиты, с большей вероятностью одобрят, если у вас есть стабильная работа или если вы молоды, это будет намного легче понять».

Он приводит еще один пример, на этот раз алгоритм анализирует изображение и делает вывод, что это автомобиль. Система ИИ могла бы измерить ряд характеристик автомобиля, таких как его высота или угол, под которым изогнут его капот, чтобы сделать такой прогноз. Однако это «действительно низкоуровневые детали, которые не будут интересны людям, потому что мы их не замечаем», — говорит он. «Но если вы расскажете мне что-то более высокоуровневое, более понятное для человека — например, как устроены колеса — это гораздо лучший способ объяснить систему ИИ».

Хитрость заключается в том, чтобы найти «правильный» уровень абстракции. «Есть много способов, много концепций, которые мы можем использовать для объяснения одной и той же системы ИИ», — говорит Сан. «Но мы должны найти небольшую горстку концепций или правильную комбинацию, которая может объяснить большинство, скажем, 90% принимаемых решений. Вот что я имею в виду под правильным уровнем».

Лучшее понимание

В течение трех лет Сунь работал со своим соучредителем Лу Вей из Сингапурского университета технологий и дизайна, а также с исследователями из Чжэцзянского университета, Huawei и других стран над созданием понятных человеку и объяснимых систем искусственного интеллекта с использованием понятие абстракции.

В одном случае они создали модель, основанную на деревьях решений, которая может объяснить, например, что банковский кредит человека был отклонен системой ИИ в первую очередь потому, что у него был уже существующий кредит и годовой доход ниже 50 000 долларов США — факторы, которые стало очевидным, поскольку были и другие заявители с аналогичными способностями к заработку, но которые были одобрены, потому что они не имели кредита.

Кроме того, Сан и его сотрудники также разработали набор инструментов, который можно применять к существующим системам искусственного интеллекта, чтобы измерить, насколько объяснимы их прогнозы. Затем исследователи пошли еще дальше, переобучив некоторые модели, используя образцы, сгенерированные их собственными алгоритмами, чтобы посмотреть, улучшит ли это объяснимость решений без значительного снижения точности прогнозов. Результаты, по словам Сан, были весьма обнадеживающими.

В целом, по его словам, последние три года были невероятно плодотворными. «Объяснение ИИ никогда не было легкой задачей для начала, но мы можем честно сказать, что после этого проекта мы стали намного лучше понимать технологию ИИ в целом и то, как оправдать ожидания людей».

Но это также показало, что проблема правильного объяснения ИИ намного глубже, чем мы можем решить, добавляет он. Некоторые системы просто очень трудно объяснить. Кроме того, постоянная проблема в этой области заключается в том, что модели ИИ становятся все более сложными. Возьмем, к примеру, ChatGPT, новый революционный чат-бот с искусственным интеллектом, который может писать эссе настолько хорошо, что некоторые школы приняли решение запретить эту технологию. Если вы посмотрите на количество используемых параметров, то увидите, что оно действительно огромно, — говорит Сан, — а это означает, что модель очень, очень сложна.

«Сейчас практически невозможно придумать осмысленные концепции для таких больших моделей», — добавляет он. «Но это всегда хорошо с точки зрения исследований — это означает, что предстоит проделать работу, чтобы снова решить эту проблему для больших моделей».

Отчасти это причина, по которой на полпути к реализации проекта Сан решил использовать полученные им данные и подать заявку на получение более крупного гранта от Министерства образования Сингапура. Новое финансирование, рассчитанное на пять лет, позволит Сану и его команде изучать большие системы искусственного интеллекта, включая их безопасность, защищенность и другие аспекты.

Размышляя о своей работе и карьере, Сан говорит: «Вообще-то я занимаюсь системным анализом. Мы пытаемся сделать мир немного лучше, рассматривая все эти компьютерные системы ИИ в более широком контексте, чтобы сделать их безопасными и надежными. Вот наша цель».

Первоначально опубликовано на https://epoch.aisingapore.org 27 февраля 2023 г.