Я обнаружил, что некоторые из самых интересных идей формируются вокруг беспорядочного, быстро развивающегося смешения технологий и человечества.

Одним из таких слияний техно/человека является Твиттер, место, где несколько медленно меняющееся общество и культура жестко сталкиваются с быстро меняющимися технологиями, создавая неизбежную эмоциональную турбулентность и большую неопределенность, в то же время яростно генерируя и распространяя новые идеи и новые концепции. Это единственная реальная польза от Твиттера для меня; именно поэтому я слежу за разнообразными людьми, пытаясь избежать эхо-камеры и быть открытым для различных и контрастирующих взглядов, как бы это иногда ни раздражало.

Недавно я наткнулся на твит, который связал для меня несколько увлекательных нитей беспорядочных слияний техно и человека — концепций, в которых человеческая природа, технологии и этика сталкиваются интересным и неожиданным образом: удача, беспилотные автомобили и китайские социальные кредитные рейтинги.

В нем многозначительно задается вопрос, насколько ужасно было бы, если бы беспилотные автомобили в Китае использовали якобы запланированную китайскую «систему социального кредита», чтобы делать выбор между тем, кто живет, а кто умирает в аварийных ситуациях. Предположительно, тех, у кого «лучший» балл, щадят по сравнению с теми, у кого худший балл, и сразу же предполагается, что это было бы ужасно. Возможно, так оно и было бы, и если бы я был игроком на ставках, я поставил бы деньги на большинство людей, думая, что это будет хоть немного неприятно.

Я задавалась вопросом, действительно ли это было бы ужасно? И если да, то почему это должно быть ужасно?

Автомобили с автоматическим управлением

Особенно сложная проблема, которую нужно решить в системе беспилотных автомобилей, во всех смыслах и целях связана с воплощением в реальном мире классического этического мысленного эксперимента Проблема тележки. Учитывая ожидаемый сценарий аварии, когда смерть или травма кого-то неизбежна, как программное обеспечение беспилотного автомобиля должно этически решить, кто должен быть жертвой из набора вариантов?

Например, программное обеспечение автомобиля может определить, что авария неизбежна, и оно обнаружило две категории объектов перед собой, и единственный доступный для него вариант — избегать одной категории объектов вместо другой. Должна ли она — программа — выбирать одного ребенка, а не группу взрослых? Должен ли он выбрать пару стариков, чтобы умереть вместо одного молодого человека? Должна ли машина всегда спасать водителя перед любыми другими людьми?

Это не тривиальная проблема, которую нужно преодолеть, и, несомненно, будут крайние разногласия по поводу того, как она будет решена. Это стало настоящим вызовом для легиона программистов, работающих над тем, что, вероятно, станет одним из самых глубоких изменений в обществе на сегодняшний день (и, на мой взгляд, самой интересной задачей программного обеспечения в мире, над которой нужно работать прямо сейчас).

Возможно ли вообще иметь приемлемый способ ранжирования ценности людей, когда дело доходит до принятия решений о жизни и смерти?

Последствия автоматизации и делегирования решений

Большинству людей не нужно раздумывать над этическими головоломками, такими как проблема трамвая, и на протяжении всей истории такие вещи обычно оставлялись философам и духовенству для размышлений.

Мы, как биологический вид, сейчас быстро выходим из века информации в век автоматизации; Четвертая промышленная революция, слияние технологий, стирающих границы между физическим и цифровым. Прорывы в ряде областей продвигают эту революцию — робототехника, машинное обучение, искусственный интеллект, гиперсвязь через высокую пропускную способность, (промышленный) интернет вещей.

Что, возможно, не так очевидно, так это то, что использование технологий искусственного интеллекта, машинного обучения и автоматизации (особенно сложных технологий автоматизации, таких как беспилотные автомобили) эффективно делегирует и отдает на аутсорсинг (все чаще) серьезные и сложные (и этичные) принятие решений машинами.

По своей природе решение проблемы с помощью программного обеспечения обычно требует от программистов формальной кодификации в мучительных деталях процесса принятия решения или решения. Для сложных решений это чрезвычайно сложно, а иногда и невозможно. Эта трудность, наряду с усовершенствованием компьютерного оборудования и доступом к большим объемам данных, привела к развитию области машинного обучения и искусственного интеллекта.

Одна из проблем с искусственным интеллектом, нейронными сетями и машинным обучением в целом заключается в том, что трудно (если не невозможно) точно объяснить,как принимается решение или получается результат из-за характера проблем. решаются технологией и характером проблемного пространства, к которому она применяется. Это реальное препятствие при попытке определить подотчетность, особенно в сценариях с серьезными последствиями.

По иронии судьбы это означает, что делегированное принятие решений в таких областях, как автоматизация вождения, по своей сути требует от нас — программистов, людей — либо решения, либо формального ответа на сложные этические проблемы, такие как Проблема вагонетки для все возможные сценарии вручную или с использованием почти непрозрачной технологии, почти черного ящика, которая затрудняет или делает невозможным объяснение того, как было принято решение.

Решение проблемы трамвая по своей сути означает необходимость ранжировать людей (или категории людей) в порядке предпочтения: кого убивать, а кого нет.

Будет ли важно для нас как общества и отдельных лиц точно знать, как и почему машина решила, что один человек жив, а другой умер?

Было бы лучше, если бы решение принималось с учетом как можно большего количества данных о лицах? Или более простой, безличный категорический выбор будет приемлем, может быть, даже предпочтительнее?

Социальный кредит

В этом году широко сообщалось (Business Insider; Bloomberg), что центральное правительство Китая, всегда практичные и эффективные авторитаристы, использует технологию больших данных и повсеместную слежку для внедрения четкой системы социального кредитного скоринга, эффективно стандартизируя оценка деловой, экономической и социальной репутации каждого гражданина.

Если подумать, на Западе (преднамеренно или нет) различные социальные сети в сочетании с кредитным рейтингом уже могут (и эффективно) функционировать как неявный социальный кредитный рейтинг.

Спланированные или случайные, как неявные, так и явные механизмы подсчета очков, по-видимому, имеют схожие и в значительной степени карательные результаты: скажите или сделайте неправильные вещи, когда ваш балл измеряется, и вы можете потерять работу или доступ к возможностям. Создайте плохой кредитный рейтинг, и доступ к финансовым или социальным услугам может стать более сложным.

Интересно, что сама идея плановой системы социального подсчета, кажется, повсеместно осуждается на Западе. Большинство людей, которых я встречал с мнением по этой теме — как твит, с которого это началось — вздрагивают при мысли о том, что может быть на уме у китайского правительства. Это кажется чрезвычайно мрачным и антиутопическим с тем, что мы представляем себе, с некоторыми ужасными последствиями. Само понятие, кажется, вызывает естественное отвращение, и я видел, как оно описывается во многих негативных терминах: «ужасно», «ужасно», «содрогается при одной мысли», «беспокоит». Вице-президент США Майк Пенс описал ее как «систему Оруэлла, основанную на контроле практически над каждым аспектом человеческой жизни».

Однако противодействие широко распространенным, уже внедренным западным платформам Google, Facebook, Twitter и YouTube не кажется столь громким.

Я не могу не задаться вопросом, является ли это более объяснительным подходом к централизованному планированию, который слишком сильно перекликается с коммунизмом, или это всего лишь небольшое культурное слепое пятно, действующее там, где многое прощается или игнорируется во имя капитализма и прибыли.

На доверии

Я думаю, что есть две основные причины, по которым люди (по крайней мере, на Западе) глубоко скептически относятся к запланированной явной китайской системе социального кредитного скоринга.

Первый и очевидный заключается в разумном предоставлении доверия тем, кто будет определять, управлять и применять такую ​​систему подсчета очков. Можно ли доверять людям, пытающимся внедрить эту систему, чтобы они внедрили ее честно, безопасно, беспристрастно и не допускали злоупотреблений? Может ли система, даже если она изначально была реализована с соблюдением вышеупомянутых условий, гарантировать, что она останется такой с течением времени? Я думаю, что простой ответ — нет, это маловероятно или, по крайней мере, чрезвычайно сложно сделать правильный выбор. Последствия того, что вы ошиблись, кажутся довольно плачевными.

Интересный контрфактический факт, который следует рассмотреть, заключается в том, что, ради аргумента, система социального кредитного скоринга может быть реализована и управляется полностью заслуживающим доверия, справедливым и беспристрастным, доброжелательным супер-ИИУ, способным учитывать все аспекты человека для создания счет, будут ли еще возражения против концепции?

Есть ли польза от «социального кредитного рейтинга», реализации и эксплуатации?

Вторая причина западного скептицизма в отношении концепции социального кредитного рейтинга заключается в том, что она, по-видимому, сводится к другой классовой системе, хотя и значительно более сложной и детализированной. То, как общество, кажется, пытается уменьшить конкуренцию в школах, и преобладающие мнения о социальной справедливости, которые, кажется, настаивают на равенстве и равенстве во всем, не очень хорошо согласуются с этой концепцией: вместо двух или трех классов (которые уже существуют), социальный кредитный рейтинг может быть фактически бесконечным числом отдельных классов, и представление этого гораздо более яркое. Сама концепция пытается количественно оценить ценность одного человека по сравнению с другим, что не является особенно привлекательным подходом, особенно на Западе.

Это само по себе заслуживает внимания: почему количественная оценка ценности людей и их ранжирование так отталкивают?

На удачу

Третья и, возможно, менее очевидная причина заключается в том, что то, что измеряет «социальный кредитный рейтинг», на самом деле является не ценностью или репутацией в точности, а скорее совокупностью подмножества удачи человека по произвольно выбранному количеству измеримых параметров.

Большинство, если не все, в человеке сводится к удаче. Это крайне неприятный, но вполне реальный способ существования Вселенной. Гены, с которыми вы родились, семья, в которой вы родились, город, штат, страна, в которой вы родились, окружающая среда, в которой вы росли, воздух, которым вы дышите, пища, которую вы едите, люди, которые вас окружают. вы, культура, в которой вы существуете: вы ничего не делаете. Вы не сделали ни одного выбора из-за ваших обстоятельств или каких-либо вещей, которыми вы являетесь физически. Выбор, который, как вы думаете, вы сделали, был сделан с помощью ментального механизма, на создание которого вы не имели никакого влияния, который был полностью определен тем, что было до вас, генами, с которыми вы были зачаты, и тем, где вы оказались. Случайно. Удача: хорошая, плохая или безобразная.

Все, что касается вас, меня и всех остальных, является мерой удачи в каком-то измерении. Трудность с социальным кредитным рейтингом заключается в том, что это несовершенная мера того, насколько удачлив или неудачлив человек.

Проблема в том, что почти все общества применяют карательный подход к неконформным и неэффективным людям. Как только вы осознаете, что характер человека зависит от удачи, и его действия также зависят от удачи, хорошей или плохой, наказание неудачи и вознаграждение удачи кажутся несколько жестокими.

Количественная оценка того, насколько человеку повезло принимать решения о человеке в контексте общества — даже если эта количественная оценка полезна или ценна для прогнозирования будущего поведения и чистой выгоды для общества в целом — без соразмерного изменения в обществе от карательный подход к поддерживающему и восстановительному подходу в отношении плохого поведения кажется интуитивно несправедливым.

Заключение

Даже если культурные различия (возможно, между Востоком и Западом) заставляют по-разному смотреть на концепцию социального кредитного рейтинга, волна цунами технологий больших данных, фанатичный сбор метрик, всепроникающие социальные сети и гиперсвязанность всего означают, что людей оценивают и оценивают независимо от того, знают они об этом, нравится им это или нет. Это происходит. На данный момент якобы явно на Востоке и определенно неявно на Западе. Окажется ли эта оценка чистой выгодой для общества или нет, еще неизвестно.

Та же самая технологическая волна также способствует прогрессу в автоматизации, что неизбежно будет означать, что машины будут принимать серьезные этические решения от нашего имени, и неясно, предпочитаем ли мы, чтобы эти этические решения принимались с использованием гиперперсональных данных — что-то вроде социальных кредитных рейтингов — или если бы нам было удобнее принимать полуанонимные категоричные решения.

Ближайшее будущее, несомненно, будет одним из самых интересных лет в человеческой жизни.