Эрика Кочи, соучредитель, UNICEF Innovation, Детский фонд ООН (ЮНИСЕФ)

Возможности, которые искусственный интеллект (ИИ) может открыть для нашего мира - от открытия лекарств от болезней, убивающих миллионы ежегодно, до значительного сокращения выбросов углерода, - расширяются с каждым днем. Это включает в себя подмножество ИИ, называемое машинным обучением, которое использует способность машин учиться на огромных объемах данных и использовать эти уроки для прогнозирования. Машинное обучение (ML) уже открывает пути к финансовой интеграции, вовлечению граждан, более доступному здравоохранению и многим другим жизненно важным системам и услугам. Системы машинного обучения могут выделять сообщение в вашей ленте новостей Facebook на основе вашей онлайн-активности или отбирать кандидатов в процессе приема на работу. Машинное обучение - один из самых мощных инструментов, созданных человечеством, и как никогда важно, чтобы мы научились использовать его силу во благо.

Общественное внимание часто сосредотачивается либо на экзистенциальных угрозах, которые искусственный суперинтеллект представляет для человечества (роботы приходят убить нас), либо, наоборот, на повествовании о спасении (ИИ решит все наши проблемы). Но когда машины принимают решения, существует более непосредственный и менее заметный риск: потенциальное усиление системной предвзятости и дискриминации. Технологии машинного обучения уже ежедневно принимают решения, меняющие жизнь людей. Как писал Джим Двайер в New York Times: Алгоритмы могут решить,« где дети ходят в школу , как часто собирают мусор, в какие полицейские участки приезжает больше всего полицейских, где следует проводить проверки строительных норм и даже какие показатели используются для оценки учителя ».

Учимся не различать

По мере того как мы даем машинам возможность принимать важные решения о том, кто может получить доступ к жизненно важным возможностям, нам необходимо предотвращать дискриминационные последствия. В конце концов, машинное обучение - это всего лишь инструмент. Ответственность ложится на людей, которые используют его с умом, особенно на людей, ведущих его продвижение, от корпоративных лидеров до системных инженеров. Другими словами, нам необходимо разрабатывать и использовать приложения машинного обучения таким образом, чтобы не только повысить эффективность бизнеса, но и продвигать и защищать права человека. Использование технологий для автоматизации решений - не новая практика. Но природа технологии машинного обучения - ее повсеместность, сложность, исключительность и непрозрачность - может усугубить давние проблемы, связанные с неравным доступом к возможностям. Дискриминационные результаты машинного обучения могут не только подорвать права человека, но и привести к подрыву общественного доверия к компаниям, использующим эту технологию. Мы должны бороться с этими рисками, оценивая способы проникновения дискриминации в системы ОД, а затем заставляя эти системы «научиться» не различать.

Что происходит, когда машины учатся различать?

Большинство историй о дискриминации в машинном обучении, которые мы слышали, исходят из США и Европы. Такие события, как механизм Google фото, который ошибочно пометил изображение двух черных друзей как горилл, и инструменты прогнозирования, которые, как было показано, усиливают расовую предвзятость, получили широкое и важное освещение в СМИ. Во многих частях мира, особенно в странах со средним и низким уровнем доходов, использование ОД для принятия решений без принятия адекватных мер предосторожности для предотвращения дискриминации может иметь далеко идущие, долгосрочные и потенциально необратимые последствия. Возьмем, к примеру, любой из следующих примеров:

• В Индонезии экономическое развитие развивалось неравномерно по географическим (а, следовательно, и по этническим) линиям. Хотя доступ к высшему образованию относительно единообразен по всей стране, все 10 лучших университетов находятся на острове Ява, и подавляющее большинство студентов, которые посещают эти университеты, являются выходцами из Явы. Поскольку фирмы, нанимающие на работу в сектор белых воротничков, обучают системы машинного обучения проверять кандидатов на основе таких факторов, как уровень образования, они могут систематически исключать тех, кто проживает на более бедных островах, таких как Папуа.

• Теперь у страховых компаний есть способы прогнозировать будущие риски для здоровья человека. Мексика входит в число стран, где в большинстве случаев качественное здравоохранение доступно только через частное страхование. По крайней мере, две частные транснациональные страховые компании, работающие в Мексике, в настоящее время используют ОД для максимизации своей эффективности и прибыльности, что может иметь последствия для права человека на справедливый доступ к адекватному медицинскому обслуживанию. Представьте себе сценарий, в котором страховые компании используют машинное обучение для сбора данных, таких как история покупок, для выявления закономерностей, связанных с клиентами с высоким уровнем риска, и взимают с них более высокую плату: самые бедные и самые больные будут меньше всего иметь доступ к медицинским услугам.

• Хотя в открытом доступе мало подробностей, отчеты показывают, что Китай создает модель для оценки своих граждан путем анализа широкого диапазона данных, от банковских, налоговых, профессиональных и служебных данных до смартфонов, электронной коммерции и информации в социальных сетях. Газета Washington Post описала это как попытку использовать данные для укрепления морального авторитета, разработанного Коммунистической партией. Что это будет означать в будущем, если правительства будут действовать в соответствии с оценками, рассчитанными с использованием неполных или исторически предвзятых данных, с использованием моделей, построенных не для справедливости?

Вы читали?

Эти сценарии говорят нам о том, что, хотя машинное обучение может принести огромную пользу этому миру, существуют также важные риски, которые следует учитывать. Нам необходимо внимательно изучить способы проникновения дискриминации в системы ОД и что компании могут сделать, чтобы предотвратить это.

Если, как утверждает Клаус Шваб в своей книге Четвертая промышленная революция, мы хотим работать вместе, чтобы сформировать будущее, которое будет работать для всех, ставя людей на первое место, расширяя их возможности и постоянно напоминая себе, что все эти новые технологии - это первое. и передовые инструменты, созданные людьми для людей , нам необходимо разработать и использовать машинное обучение, чтобы предотвращать и не углублять дискриминацию.

Как предотвратить дискриминационные результаты в машинном обучении. Загрузите полный отчет здесь.

Первоначально опубликовано на www.weforum.org.