Искусственный интеллект позволил автоматизировать решения, за которые до сих пор отвечали люди. Хотя многие из этих решений относятся к сфере развлечений и социальных сетей, автоматизированные решения также используются в финансах, образовании, на рынке труда, страховых компаниях, медицине и правосудии. Это явление имеет далеко идущие социальные последствия и поднимает всевозможные вопросы, от «что будет с рабочими местами, которые принимали эти решения в прошлом?» на «Как мы можем гарантировать, что эти алгоритмы принимают справедливые решения?»

Мэри Боллендер — мать-одиночка из Лас-Вегаса, испытывающая финансовые трудности. Однажды утром в 2014 году, когда у ее десятилетней дочери поднялась непроходящая температура, Мэри решила отвезти ее в отделение неотложной помощи. Но когда они сели в машину, она обнаружила, что она отказывается заводиться. Проблема была не в неисправности двигателя или пустом баке: банк дистанционно активировал устройство, которое не позволяло ей завести машину, потому что ее ежемесячный платеж за машину просрочен на три дня. Как только она заплатит, она сможет вернуться на дорогу. К сожалению, в то утро у нее не было денег.

По мере того, как наше общество продолжает становиться все более сложным, а оцифровка данных распространяется в огромных масштабах, случаи, подобные случаю Мэри Боллендер, будут становиться все более распространенными: автоматизированные решения, основанные на систематическом сборе личных данных с потенциально негативными последствиями для нашей жизни. Алгоритмы контролируют, какие посты наших друзей мы видим первыми в новостной ленте Facebook и рекомендуют фильмы, которые мы, возможно, захотим посмотреть на Netflix, но алгоритмы также решают, даст ли нам банк ссуду, может ли кто-то, ожидающий суда, быть освобожден под залог, заслуживаем ли мы постдокторского гранта и достойны ли мы того, чтобы нас наняла компания.

Эти компьютерные программы или алгоритмы создаются не в результате того, что люди-программисты анализируют и разбирают проблему, а затем вводят точные инструкции в компьютер. Они являются плодом сложных математических операций, выполняемых автоматически, которые ищут закономерности в океане оцифрованных данных. Они не похожи на рецепт, в котором указывается список ингредиентов, а затем шаг за шагом рассказывается, что с ними делать. Это скорее случай «открой холодильник, посмотри, что там, покопайся на кухне, найди кастрюли и сковородки, которые можно использовать, а потом приготовь мне ужин на шесть человек». Эти типы алгоритмов, которые явно не разработаны программистом, подпадают под понятие «машинное обучение».

Алгоритмы машинного обучения в настоящее время используются для обработки данных и определения того, сможет ли человек погасить кредит. Человек, который программирует алгоритм, составляет базу данных людей, которые обращались за кредитами в прошлом, включая всевозможные данные: пол и возраст просителя, полностью ли они погасили сумму, и как часто они задерживали с погашением , их средняя заработная плата, сколько налогов они заплатили, в каком городе и районе они живут и так далее. Алгоритм применяет ряд статистических формул ко всем этим данным, а затем генерирует шаблоны, которые оценивают вероятность того, что новый потенциальный клиент погасит кредит. Надежность обычно является единственным критерием, используемым для разработки этих алгоритмов. Достаточно ли точна программа, чтобы заменить человека? Если ответ да, он получает зеленый свет.

Определить надежность непросто. Разработка действительно надежного алгоритма — это отчасти наука, отчасти искусство. Когда мы думаем о программах или искусственном интеллекте, мы неизбежно склонны антропоморфизировать и представлять некую сущность, которая следует мыслительному процессу, подобному нашему собственному. Но это не так. Автоматизированный алгоритм не анализирует примеры, которые мы ему приводим, а затем пытается установить какую-то разумную причинно-следственную связь между данными и конечным результатом. Алгоритм ничего не знает о поле, возрасте, финансовом положении, безработице и т. д. Он просто имеет строку чисел и пытается найти закономерности, которые позволяют ему как можно чаще выдавать правильный результат.

И здесь возникает проблема. Традиционная программа, разработанная человеком, следует определенной логике, поэтому можно понять, что она делает. Автоматизированный алгоритм подобен черному ящику. Мы даем ему определенные входные данные (личные данные человека, подающего заявку на кредит), и он дает нам результат (вероятность того, что это лицо погасит кредит). Очень сложно — или практически невозможно — узнать, почему программа решила отклонить или принять ту или иную заявку на получение кредита.

В 1980-х годах армия Соединенных Штатов поручила ученым разработать программу автоматического распознавания изображений, которая могла бы обнаруживать замаскированные танки в режиме реального времени. Ученые попросили военных предоставить многочисленные фотографии разных участков, организованных попарно: на одном показан участок без танка, а на другом - тот же участок с танком, замаскированным среди зелени. Идея заключалась в том, чтобы разработать алгоритм, который выдавал бы ряд критериев для обнаружения танков. Программа работала на удивление хорошо.

Это было на сто процентов точно. На самом деле, он обнаружил танки, которые были настолько хорошо замаскированы, что человек не заметил бы их. Исследователи были так удивлены, что решили проанализировать, какие критерии использует алгоритм. После глубокого изучения фотографий и алгоритма они поняли, что на самом деле программа не распознает танки или что-то отдаленно похожее. Скажем, в полдень армия сделала фотографии мест, где нет танка. Фотографии с замаскированным танком были сделаны в шесть часов дня. Таким образом, чтобы решить, есть ли на изображении танк, все, что алгоритму нужно было сделать, это посмотреть на положение солнца.

Другой пример — беспилотные автомобили. Нам нравится представлять, что автомобили, управляемые алгоритмами, имеют какое-то представление о значении дороги, светофора, пешеходного перехода, велосипедиста, другого транспортного средства и так далее. Но на самом деле это просто сложные версии алгоритма обнаружения танков. Их обучение сильно контекстуализировано и полностью зависит от реакции среды, в которой обучаются алгоритмы. А поскольку это черные ящики, мы никогда не узнаем наверняка, как поведет себя беспилотный автомобиль в контексте, значительно отличающемся от того, в котором изначально обучался алгоритм.

При достаточном обучении в самых разных контекстах мы можем придумать алгоритмы, которые действительно устойчивы и надежны. Но есть еще более коварная проблема: справедливость или справедливость. Учитывая, что мы говорим о программах, которые распознают контекстуальные шаблоны в конечном наборе данных и не основаны на реальных знаниях об окружающей среде, ни один алгоритм никогда не подумает о реактивации машины Мэри Боллендер, чтобы она могла отвезти свою дочь в больницу. Он просто знает, кто выполняет платежи, а кто нет. Бедные районы имеют гораздо более высокий коэффициент потери долга. Большой процент матерей-одиночек, как правило, задерживают выплаты по ипотечным кредитам и кредитам. Автоматизированный алгоритм, несомненно, отклонил бы заявку на получение кредита от матери-одиночки из этого бедного района. Решение, несомненно, было бы статистически правильным. Но будет ли это справедливо? Хотим ли мы жить в мире, в котором важнейшие жизненные решения принимаются на основе зависимых от контекста статистических закономерностей?

Алгоритмы машинного обучения, которые сейчас разрабатываются, нуждаются в гуманитарных науках. Мы должны создать инфраструктуру для сотрудничества между инженерами-программистами и гуманитариями. Нам необходимо разработать общий язык, который позволит социологам, антропологам, философам и художникам понять основные принципы работы этого нового вида программного обеспечения, а компьютерным инженерам — подумать о том, как внедрить этику, мирное сосуществование, справедливость и солидарность в новое программное обеспечение. . Возможно, однажды нам удастся разработать искусственный сверхинтеллект, которым так увлекается Илон Маск. Но сейчас нас должно гораздо больше беспокоить то, как существующие программы могут усилить расистские, ксенофобские и сексистские предубеждения, существующие в нашем обществе.