Основа для размышлений об ИИ.
В этой отрасли говорить о том, что мы строим будущее, - это уже устаревшее устаревшее клише. Но сейчас это верно больше, чем когда-либо со времен промышленной революции. Распространение персональных компьютеров, ноутбуков и сотовых телефонов изменило нашу жизнь, но путем замены или расширения уже существующих систем. Электронная почта вытеснила почтовое отделение; интернет-магазины заменили местный универмаг; цифровые камеры и сайты обмена фотографиями, такие как Flickr, вытеснили пленку и громоздкие фотоальбомы, которыми трудно поделиться. ИИ представляет возможность фундаментально более радикальных изменений: изменения в том, как мы работаем, как мы взаимодействуем друг с другом, как мы контролируем и управляем собой.
Страх перед мифическим злым ИИ, возникший из-за чтения слишком большого количества научной фантастики, не поможет. Но нам нужно убедиться, что ИИ работает на, а не против нас; нам необходимо этично мыслить о системах, которые мы создаем. Генеральный директор Microsoft Сатья Наделла пишет:
Дискуссия должна касаться ценностей, привитых людям и учреждениям, создающим эту технологию. В своей книге Машины любящей благодати Джон Маркофф пишет: Лучший способ ответить на трудные вопросы об управлении в мире, полном умных машин, - это понять ценности тех, кто на самом деле строит эти системы . Это интригующий вопрос, и наша отрасль должна обсудить и ответить на него вместе.
Каковы наши ценности? И какими мы хотим видеть наши ценности? Наделла глубоко прав, когда сосредотачивается на обсуждении. Этика - это разумное обсуждение, а не ответы как таковые - это наличие инструментов для тщательного обдумывания реальных действий и их последствий, а не предписаний, что делать в любой ситуации. Обсуждение приводит к ценностям, которые определяют принятие решений и действия.
Слово «этика» происходит от «этоса», что означает характер: какой вы человек. «Мораль» происходит от «нравов», что в основном означает обычаи и традиции. Если вам нужны правила, которые говорят вам, что делать в любой ситуации, для этого нужны обычаи. Если вы хотите быть человеком, который здраво рассуждает в сложных ситуациях, это этика. Делать то, что вам говорят, легко. Правильное суждение в сложных ситуациях - гораздо более жесткий стандарт.
Трудно проявлять здравый смысл отчасти потому, что нам нравится верить, что правильный ответ не имеет плохих последствий; но у нас не такой мир. Мы навредили нашей чувствительности медицинскими брошюрами, в которых рассказывается о побочных эффектах и побочных эффектах. Побочных эффектов нет; есть просто эффекты, некоторые из которых могут вам не понадобиться. У всех действий есть эффекты. Вопрос только в том, перевешивают ли отрицательные эффекты положительные. Это вопрос, на который не всегда есть один и тот же ответ, и не обязательно иметь одинаковый ответ для каждого человека. И ничего не делать, потому что мысли о последствиях доставляют нам дискомфорт, на самом деле что-то делают.
Последствия самых важных решений необратимы. Их нельзя отменить. Миф о ящике Пандоры верен: как только ящик открыт, вы не можете положить обратно то, что выходит из него. Но миф прав в другом: вскрытие коробки неизбежно. Он всегда будет открыт; если не вами, то кем-то другим. Поэтому простой аргумент «мы не должны этого делать» всегда опасен, потому что кто-то неизбежно сделает это при любом возможном «этом». Вы можете лично решить не работать над проектом, но любая этика, предполагающая, что люди будут держаться подальше от запрещенных знаний, является провалом. Гораздо важнее подумать о том, что происходит после открытия коробки. Если мы будем бояться этого, мы станем жертвами того, кто в конце концов откроет ящик.
Наконец, этика заключается в вынесении суждений в реальных ситуациях, а не в надуманных ситуациях и гипотетических предположениях. Гипотетические ситуации имеют очень ограниченное применение, если вообще не вредны. Решения в реальном мире всегда более сложные и нюансированные. Меня совершенно не интересует, должен ли беспилотный автомобиль наезжать на бабушек или младенцев. Автономное транспортное средство, которое может выбирать, какого пешехода убить, несомненно, обладает достаточным контролем, чтобы полностью избежать аварии. Настоящая проблема не в том, кого убивать, когда любой из вариантов вынуждает вас занять неприемлемую позицию относительно ценности человеческих жизней, а в том, как вообще предотвратить несчастные случаи. Прежде всего, этика должна быть реалистичной, а в нашем реальном мире случаются плохие вещи.
Это моя довольно абстрактная концепция этики ИИ. Я не хочу указывать специалистам по данным и разработчикам ИИ, что делать в той или иной ситуации. Я хочу дать ученым и инженерам инструменты для размышления над проблемами. Конечно, мы не можем заранее предсказать все проблемы и этические вопросы; мы должны быть такими людьми, которые могут эффективно обсуждать эти проблемы, когда мы их предвидим и обнаруживаем.
Обсуждая некоторые проблемы
О каких этических вопросах следует задуматься разработчикам и исследователям ИИ? Несмотря на то, что мы все еще находимся на заре ИИ, мы уже видим, как на поверхность всплывают важные проблемы: вопросы о том, какими людьми мы хотим быть, и какое будущее мы хотим построить. Итак, давайте рассмотрим некоторые ситуации, попавшие в новости.
Пешеходы и пассажиры
Беспилотный автомобиль / бабушка против младенцев - это очень глупо, но есть очень реальная вариация. Должен ли беспилотный автомобиль, который попадает в аварию, защищать своих пассажиров или людей вне автомобиля? Это вопрос, который уже обсуждают в корпоративных залах заседаний, как это было недавно в Мерседесе, решившем, что долг компании - защищать пассажиров, а не пешеходов. Я подозреваю, что решение Mercedes было вызвано в первую очередь бухгалтерией и маркетингом: кто купит автомобиль, который пожертвует владельцем, чтобы не убить пешехода? Но Mercedes привел аргумент, который, по крайней мере, этически правдоподобен: у них больше контроля над тем, что происходит с человеком в машине, поэтому лучше спасти пассажира, чем бросать кости на пешеходов. Можно также возразить, что у Mercedes есть этические обязательства перед пассажирами, которые доверили свою жизнь своим системам искусственного интеллекта.
Более серьезная проблема заключается в разработке автономных транспортных средств, которые могут справляться с опасными ситуациями без происшествий. Это настоящий этический выбор. Как найти компромисс между стоимостью, удобством и безопасностью? Можно делать автомобили более или менее безопасные; ИИ этого совершенно не меняет. Невозможно сделать машину (или что-либо еще) полностью безопасной любой ценой. Итак, этика здесь в конечном итоге сводится к компромиссу между стоимостью и безопасностью для нас самих и для других. Как мы ценим других? Не бабушки или младенцы (которые неизбежно станут жертвами, как сейчас, хотя, будем надеяться, в меньшем количестве), а пассажиры и пешеходы, клиенты и не клиенты Mercedes? Ответы на эти вопросы не фиксированы, но они говорят что-то важное о том, кто мы есть.
Преступление и наказание
COMPAS - это коммерческое программное обеспечение, используемое во многих государственных судах для вынесения рекомендаций о тюремном заключении, освобождении под залог и условно-досрочном освобождении. В 2016 году ProPublica опубликовала отличную статью, показывающую, что КОМПАС постоянно оценивает чернокожих как более опасных для повторного совершения правонарушений, чем белых, совершивших аналогичные или более серьезные преступления.
Хотя КОМПАС не раскрывает специфики своего программного обеспечения, ProPublica опубликовала данные, на которых основывались их отчеты. Абе Гонг, специалист по обработке данных, продолжил мульти- частичное исследование с использованием данных ProPublica, показав, что результаты COMPAS не были предвзятыми. Абэ очень конкретен: он имеет в виду предвзятый в техническом, статистическом смысле. Статистическая погрешность - это заявление о взаимосвязи между выходными данными (оценками риска) и входными данными (данными). Это не имеет ничего общего с тем, считаем ли мы, люди, результаты справедливыми.
Абэ ни в коем случае не является апологетом КОМПАС или его разработчиков. По его словам, «мощные алгоритмы могут быть вредными и несправедливыми, даже если они беспристрастны в строго техническом смысле». Результаты, безусловно, имели непропорциональные эффекты, которые большинству из нас было бы неудобно. Другими словами, они были «предвзяты» в нетехническом смысле. «Несправедливо» - лучшее слово, которое не привлекает статистических данных.
Выходные данные программы отражают данные, которые в нее входят. «Мусор на входе, мусор на выходе» - полезный трюизм, особенно для систем, которые строят модели на основе терабайтов обучающих данных. Откуда берутся эти данные и отражают ли они собственные предубеждения и предрассудки? Анализ данных программой может быть беспристрастным, но если данные отражают аресты и если полиция с большей вероятностью арестует чернокожих подозреваемых, выпустив при этом белых с предупреждением, статистически беспристрастная программа обязательно приведет к несправедливым результатам. Программа также учитывала факторы, которые могут быть предсказуемыми, но которые мы можем считать несправедливыми: справедливо ли устанавливать более высокий залог, потому что родители подозреваемого разошлись вскоре после рождения, или потому, что подозреваемый не имел доступа к высшему образованию?
Мы мало что можем поделать с предвзятостью в данных: записи об арестах - это то, что они есть, и мы не можем вернуться и отменить аресты граждан из числа меньшинств. Но здесь есть другие проблемы. Как я уже говорил ранее, меня гораздо больше беспокоит то, что происходит за закрытыми дверями, чем то, что происходит на открытом воздухе. Кэти О’Нил часто утверждала, что секретные алгоритмы и модели секретных данных представляют собой реальную опасность. Это действительно то, что показывает КОМПАС. Практически невозможно обсудить, является ли система несправедливой, если мы не знаем, что это за система и как она работает. Нам нужны не только открытые данные; нам нужно открыть модели, построенные на основе данных.
КОМПАС демонстрирует, во-первых, что нам нужно обсудить справедливость и то, что это значит. Как мы можем объяснить историю, которая сформировала нашу статистику, историю, которая повсеместно была несправедливой по отношению к меньшинствам? Как бороться с предвзятостью, если сами данные предвзяты? Но мы не сможем ответить на эти вопросы, если не будем обсуждать секретность и открытость. Открытость - это не просто хорошо; это этический императив. Только когда мы поймем, что делают алгоритмы и данные, мы сможем предпринять следующие шаги и построить справедливые, а не просто статистически объективные системы.
Детский труд
Одно из самых проницательных замечаний об истории Интернета заключается в том, что он построен на детском труде. Набор протоколов IPv4 вместе с первыми реализациями этого набора был разработан в 1980-х годах и никогда не предназначался для использования в качестве общедоступной всемирной коммерческой сети. Он был выпущен задолго до того, как мы поняли, что потребуется публичной сети 21 века. Разработчики не могли предвидеть больше, чем несколько десятков тысяч компьютеров в Интернете; они не ожидали, что он будет использоваться для торговли с жесткими требованиями к безопасности и конфиденциальности; Размещение системы в Интернете было трудным и требовало вручную созданных статических файлов конфигурации. Все было незрелым; это был детский труд, технологические младенцы, выполняющие взрослую работу.
Теперь, когда мы находимся на первых этапах развертывания систем ИИ, ставки еще выше. Технологическая готовность - важный этический вопрос. Но, как и любой реальный этический вопрос, он имеет обе стороны. Если бы общедоступный Интернет подождал, пока он созреет, этого, вероятно, никогда бы не произошло; если бы это произошло, это был бы ужасный бюрократический беспорядок, подобный заброшенным протоколам ISO-OSI, и, возможно, не менее проблематичный. Развязывать технологические дети в мире безответственно, но также безответственно мешать этим детям расти.
Чтобы перенести этот аргумент в 21 век: я считаю, что Uber слишком сильно заходит за рамки автономных транспортных средств. И мы, вероятно, заплатим за это - в транспортных средствах, которые, возможно, не так безопасны, как должны быть, или имеют серьезные уязвимости. (Напротив, Google очень осторожен, и, возможно, именно из-за этого они потеряли некоторых ключевых людей из-за Uber.) Но если вы впадете в другую крайность и подождете, пока автономные транспортные средства не станут безопасными во всех отношениях, вы, скорее всего, останетесь ни с чем: технология никогда не будет развернута. Даже если она будет развернута, вы неизбежно обнаружите факторы риска, которые вы не предвидели и не могли предвидеть без реального опыта.
Я не спорю о том, готовы ли к развертыванию автономные транспортные средства или любой другой ИИ. Я готов обсудить это и, если необходимо, не согласиться. Гораздо важнее понять, что это обсуждение должно происходить. Сама по себе готовность - это этический вопрос, к которому мы должны отнестись серьезно. Этика - это не просто заявление о том, что любой риск приемлем или (с другой стороны), что никакой риск неприемлем. Готовность - это этический вопрос именно потому, что неочевидно, какой «правильный» ответ или есть ли какой-либо «правильный» ответ. Это «серая этическая зона»? Да, но в этом и состоит суть этики: обсуждение серых зон.
Состояние наблюдения
В пугающей статье The Verge reports говорится, что полиция Балтимора использовала приложение для идентификации лиц под названием Geofeedia вместе с фотографиями, опубликованными в Instagram, Facebook и Twitter, для идентификации и ареста протестующих. Отчет The Verge основан на более подробном анализе ACLU. Instagram и другие компании быстро закрыли аккаунт Geofeedia после того, как новость стала достоянием общественности, хотя они охотно предоставили данные до того, как они были опубликованы в прессе.
Применение ИИ в уголовных делах быстро становится неприятным. Мы все должны опасаться последствий создания государства слежки. Люди выкладывают фотографии в Instagram, не задумываясь о последствиях, даже когда они находятся на демонстрациях. И хотя легко сказать: «Все, что вы публикуете, должно рассматриваться как общедоступное, поэтому не публикуйте ничего такого, что вы бы никому не хотели видеть», трудно, если не невозможно, подумать обо всех контекстах, в которых вы посты можно ставить.
ACLU предлагает возложить бремя на компании социальных сетей: компании, работающие в социальных сетях, должны иметь четкие, публичные и прозрачные политики, запрещающие разработчикам использовать данные пользователей для наблюдения. К сожалению, это упускает из виду главное: точно так же, как вы не можете предсказать, как ваши сообщения будут использоваться или интерпретироваться, кто знает приложения, в которые будет установлено программное обеспечение? Если нам нужно беспокоиться только о программном обеспечении, предназначенном для наблюдения, наша задача проста. Однако более вероятно, что приложения, предназначенные для невинных целей, например для поиска друзей в толпе, станут частью пакетов наблюдения.
Проблема не столько в использовании или злоупотреблении отдельными публикациями в Facebook и Instagram, сколько в масштабах, которые позволяет ИИ. Люди всегда видели других людей в толпе и узнавали их. Правоохранительные органы всегда поступали так же. ИИ обеспечивает масштабную идентификацию: сопоставление тысяч фотографий из социальных сетей с фотографиями из баз данных водительских прав, баз данных паспортов и других источников, а затем получение результатов и их сопоставление с другими видами записей. Внезапно кто-то из участников демонстрации может столкнуться с вызовом по старому штрафу за парковку. Данные - это мощный инструмент, который становится намного мощнее при объединении нескольких источников данных.
Мы не хотим, чтобы люди боялись посещать публичные собрания или боялись, что кто-то их сфотографирует. (Приз достанется любому, кто сможет найти меня на обложке Time. Такие вещи случаются.) Но также неразумно ожидать, что правоохранительные органы будут придерживаться методологий 80-х годов и ранее: преступность, безусловно, пошла дальше. Итак, нам нужно задать несколько сложных вопросов, и «следует ли правоохранительным органам смотреть на Instagram» не входит в их число. Как автоматическое распознавание лиц в масштабе меняет наши отношения друг с другом и приемлемы ли эти изменения для нас? Где момент, когда ИИ становится преследованием? Как правоохранительные органы будут нести ответственность за использование технологий искусственного интеллекта и злоупотребления ими? Это этические вопросы, которые нам нужно обсудить.
Наши ИИ - это мы сами
Будь то страх потерять работу или страх того, что суперинтеллект решит, что люди больше не нужны, всегда было легко вызвать в воображении страхи перед искусственным интеллектом.
Но марш в будущее в страхе плохо кончится. И если кто-то не сделает фантастических открытий в области физики времени, у нас нет другого выбора, кроме как отправиться в будущее. Хорошо это или плохо, но мы получим ИИ, которого заслуживаем. Суть ИИ проста: чтобы создавать лучший ИИ, будьте лучше людьми.
Звучит банально, и это банально. Но это тоже правда. Если мы не хотим исследовать наши предрассудки, мы будем внедрять системы ИИ, которые будут «несправедливыми», даже если они статистически беспристрастны, просто потому, что мы не будем заинтересованы в изучении данных, на которых обучается система. Если мы хотим жить при авторитарном правительстве, мы будем создавать системы искусственного интеллекта, которые будут подвергать нас постоянному наблюдению: не только посредством демонстраций в Instagrams, но и во всех взаимодействиях, в которых мы участвуем. Если мы рабы фантазии о богатстве, мы не будем возражать против того, чтобы предприниматели выпускали системы искусственного интеллекта до того, как они будут готовы, а также не будем возражать против автономных транспортных средств, которые предпочтительно защищают жизни тех, кто достаточно богат, чтобы их себе позволить.
Но если мы настаиваем на открытом, аргументированном обсуждении компромиссов, неявных в любой технологии; если мы настаиваем на том, чтобы и алгоритмы, и модели ИИ были открытыми и общедоступными; и если мы не будем внедрять крайне незрелые технологии, но также не будем подавлять новые технологии из-за того, что мы боимся их, мы сможем поддерживать здоровые и плодотворные отношения с ИИ, которые мы разрабатываем. Мы можем не получить то, что хотим, но мы сможем жить с тем, что получаем.
Уолт Келли лучше всех сказал еще в 1971 году: Мы встретили врага, и он - это мы. Одним словом, это будущее искусственного интеллекта. Это может быть враг, но только если мы так сделаем. Я не сомневаюсь, что ИИ будут злоупотреблять и что злой ИИ (что бы это ни значило) будет существовать. Как утверждал Тим О’Рейли, большая часть нашей экономики уже управляется неразумными системами, которые не находятся под нашим контролем каким-либо значимым образом. Но злой ИИ не будет создан людьми, которые серьезно задумываются о своих действиях и последствиях своих действий. Нам не нужно предвидеть все, что может произойти в будущем, и у нас не будет будущего, если мы откажемся идти на риск. Нам даже не нужно полное согласие по таким вопросам, как справедливость, наблюдение, открытость и безопасность. Нам действительно нужно говорить об этих проблемах и внимательно и уважительно друг друга выслушивать. Если мы серьезно подумаем об этических вопросах и включим эти обсуждения в процесс разработки ИИ, у нас все получится.
Чтобы создать лучший ИИ, мы должны быть лучшими людьми.
Майк Лукидес - вице-президент по стратегии содержания компании O’Reilly Media, Inc. Он отредактировал множество уважаемых книг по техническим предметам, не связанным с программированием для Windows. Он особенно интересуется языками программирования, Unix и тем, что сегодня считается Unix, системным и сетевым администрированием. Майк является автором книги «Настройка производительности системы» и соавтором Unix Power Tools.
Первоначально опубликовано на www.oreilly.com 14 ноября 2016 г.
