Через пять лет вы не будете знать, общаетесь ли вы с человеком в сети или нет. В будущем большая часть онлайн-речи, цифрового взаимодействия и контента будет осуществляться машинами, общающимися с машинами.

Примечание: этот документ был обновлен. Теперь он доступен на веб-сайте Атлантического совета и включает анализ на основе сценариев и рекомендации для правительств, организаций и частных лиц. Версия для профессионалов публичной дипломатии также была включена в отчет ACPD Может ли публичная дипломатия выжить в Интернете?

Это называется миром MADCOM: будущее, в котором машинные коммуникации, основанные на инструментах искусственного интеллекта, доминируют в информационной среде онлайн

TL; DR: Машинные средства коммуникации стали реальностью, и инструменты на базе искусственного интеллекта скоро займут доминирующее положение в информационном онлайн-пространстве. Этот сдвиг парадигмы не ограничивается искусственными личными помощниками, такими как Siri, и развлекательными чат-ботами, такими как Xiaoice. Это относится к машинному общению, которое преобладает в Facebook, Twitter, YouTube, Match, Reddit, чатах, разделах комментариев на новостных сайтах и ​​остальной части социальной сети. Во всем этом будут доминировать машины, говорящие. Машинное общение будет почти неотличимо от человеческого. Машины будут пытаться убедить, продать, обмануть, запугать, манипулировать и склонить вас к тому ответу, который они запрограммированы вызывать. Они будут невероятно эффективными.

Коммуникация, управляемая машинами, - это не научно-фантастическая технологическая сингулярность, в которой разумный искусственный интеллект (ИИ) сеет хаос в человеческой расе. Машинное общение уже здесь. Достижения в области искусственного интеллекта радикально повысят эффективность средств коммуникации, управляемых машинами. Информационная среда, в которой доминируют машины, - это рациональная экстраполяция текущих технологических тенденций в ближайшее будущее.

Этот сгенерированный машиной текст, аудио и видео будет подавлять человеческое общение в сети. Приближается машинно-генерируемая информационная антиутопия, которая будет иметь серьезные последствия для гражданского дискурса, работы правительства, демократии и западной цивилизации.

Машины разговаривают с людьми, разговаривают с машинами, разговаривают с машинами

Представьте себе систему искусственного интеллекта, которая использует массу онлайн-данных и легко доступных маркетинговых баз данных для определения вашей личности, политических предпочтений, религиозной принадлежности, демографических данных и интересов. Он знает, какие новостные веб-сайты и платформы социальных сетей вы часто посещаете, и контролирует несколько учетных записей пользователей на этих платформах. Система ИИ динамически создает контент - все, от комментариев до полных статей, - специально разработанный для того, чтобы подключиться к вашей конкретной психологической структуре и достичь определенного результата. Этот контент может быть набором реальных фактов, фейковых новостей или смесью правды и лжи, достаточной для достижения желаемого эффекта.

В системе AI есть чат-бот, который может общаться с вами с помощью текста, голоса или даже видео. Чат-бот будет почти неотличим от человека и сможет работать на нескольких языках. Чат-бот AI будет вовлекать вас в онлайн-дискуссии, обсуждать вас и предоставлять убедительные доказательства, чтобы убедить вас. Он также может использовать информацию из легкодоступных баз данных или социальных сетей, чтобы обнаружить ваши слабости и использовать эту информацию, чтобы троллить вас и запугать вашу семью.

Система искусственного интеллекта сможет обнаруживать человеческие эмоции так же или лучше, чем люди. Точно так же он будет имитировать убедительные человеческие эмоции, которые резонируют с вашей личностью и эмоциональным состоянием. Это будет обучающая машина, которая будет определять подходы и сообщения, которые влияют на вас больше всего. Он будет способствовать успеху и постоянно улучшаться. Он будет запускать тесты A-B с людьми, которые разделяют ваши характеристики, чтобы определить, какие сообщения наиболее эффективны, а затем развертывать эти сообщения для аналогичных групп населения.

Как и в случае с другими цифровыми инструментами, после их создания предельные затраты на создание большего количества почти равны нулю. Так что миллионы чат-ботов с ИИ могут рыскать по Интернету, двадцать четыре часа в сутки, семь дней в неделю, борясь за ваше внимание, чтобы заразить ваш мозг своим сообщением и изменить ваше поведение.

Системы, ищущие людей для влияния, неизбежно в конечном итоге будут разговаривать с другими управляемыми машинами коммуникационными аккаунтами, выдавая себя за людей. Самые сложные системы обнаружения ИИ смогут отличать человеческие учетные записи от учетных записей, управляемых машинами. Но тогда самые изощренные системы коммуникации улучшат подражание людям. Это вызовет гонку информационных вооружений между системами обнаружения и связи, управляемыми машинами. Многие управляемые машиной системы связи вообще не делают различий между людьми и машинами - они просто полагаются на объем, а не на точность. Машины будут разговаривать друг с другом, заглушая человеческие разговоры в сети приливной волной машинной речи и контента. Даже для систем искусственного интеллекта будет все труднее узнать, действительно ли пользователи в сети - люди или машины, имитирующие людей. Информационная онлайн-среда будет загрязнена машинной речью, предназначенной для продажи, убеждения, запугивания, отвлечения, развлечения, защиты, информирования, дезинформации и манипулирования вами.

Это информационная антиутопия, с которой мы, вероятно, столкнемся в ближайшие несколько лет. Наши действия теперь будут определять, будут ли сохранены пространства для демократической речи и дискурса, или социальная сеть будет разрушена вторжением высокоинтеллектуальных машинных средств коммуникации.

Расцвет MADCOM

Этот мрачный сценарий описывает наступление эпохи инструментов компьютерной связи (MADCOM). Эти MADCOM будут вездесущи в Интернете, и их использование будет варьироваться от безобидного до поистине устрашающего:

  • Люди будут использовать MADCOM для всех целей, включая получение прибыли, улучшение мира или причинение вреда.
  • Ученые будут использовать MADCOM для общения со своими сообществами, обмена идеями и проведения исследований.
  • Организации будут использовать MADCOM, чтобы заручиться поддержкой своих интересов, информировать более широкий круг людей и объединить разрозненные и разрозненные группы активистов.
  • Компании будут использовать MADCOM для маркетинга, убеждая вас купить их продукт или услугу. Они также будут использовать MADCOM для обслуживания клиентов и в качестве человеческих «лиц» для выполнения внутренних бизнес-процессов.
  • Политики будут использовать MADCOMS для создания видимости массовой поддержки на низовом уровне (астротурфинг), для усиления сообщений и подавления сообщений оппозиции.
  • Террористические группы и группы ненависти будут использовать MADCOM для распространения своих посланий о нетерпимости, для подавления усилий оппозиции и для выявления новых рекрутов для последующей деятельности со стороны людей.
  • Нации будут использовать MADCOM для публичной дипломатии, оказания услуг, пропаганды, контр-сообщений, дезинформации, шпионажа, подавления демократии и запугивания. Сети конкурирующих, спонсируемых государством MADCOM будут использовать человеческую речь, чтобы доминировать в информационном пространстве и привлечь внимание большинства онлайн-пользователей.

Это не просто будущее, это сейчас. Все это происходит в настоящем, но используемые инструменты MADCOM относительно рудиментарны. Достижения в области искусственного интеллекта резко увеличат эффективность этих инструментов в ближайшем будущем. Инструменты MADCOM будут использоваться во благо, но они также угрожают отравить цифровой мир и вызвать информационную антиутопию, где ничто не является фактом, все является восприятием, и никакой информации нельзя по-настоящему доверять.

В этом документе не рассматривается положительная роль MADCOM и AI в информационной среде. Точно так же эта статья не будет касаться коммерческих вопросов с MADCOM. Этот документ в первую очередь касается рисков, связанных с управляемыми машинами коммуникациями, имеющими политическую повестку дня, и влиянием машинных коммуникаций, доминирующих в сетевой информационной среде.

Отсюда туда: истоки компьютерной пропаганды

Вычислительная пропаганда - это новый термин, обозначающий использование машинных инструментов в политических целях. Эти цели могут варьироваться от относительно мягкого распространения политических посланий до коварного спонсируемого государством троллинга и дезинформации. В настоящее время для вычислительной пропаганды используются в основном простые (т.е.не-ИИ) боты. Их возможности ограничиваются предоставлением базовых ответов на простые вопросы, публикацией контента по расписанию или распространением контента в ответ на триггеры. Однако боты могут иметь непропорционально большое влияние, потому что их легко создать много, а боты публикуют контент с большим объемом и высокой частотой. В настоящее время ботов используют корпорации, политики, хакеры, отдельные лица, спонсируемые государством, неправительственные организации и террористические организации, чтобы влиять на разговоры в сети. Для запуска простых ботов требуется немного опыта. Человек может легко управлять сотнями ботов Twitter без особых технических знаний, используя легкодоступное оборудование и программное обеспечение.

Боты обычно следуют трем основным образцам поведения. Пропагандистские боты пытаются убедить и повлиять на них, широко распространяя правду, полуправду и откровенно фейковые новости. Боты-подписчики имитируют видимость широкой поддержки идеи или человека. Они могут взламывать алгоритмы, которые определяют популярные новости или людей, набирающих тренды, путем создания «лайков» для контента или массового отслеживания пользователей. Боты-подавители подрывают речь, отвлекая разговоры. Это может быть относительно безобидно - например, националистический чирлидинг или отвлечение типа «посмотрите видео с кошкой». Или это может быть более коварно - например, спамить хэштегами, используемыми активистами, чтобы их тематические разговоры и координация были переполнены тарабарщиной. В крайнем случае, боты-подавители используются для троллинга / запугивания журналистов, активистов и других лиц, заставляя их замолчать, засыпая их тысячами сообщений с угрозами или ненавистью.

Вычислительные методы пропаганды также были объединены с более традиционными методами взлома, такими как распределенные атаки типа «отказ в обслуживании» на веб-сайты и приложения для наблюдения за выборами, и обычно используются в качестве элементов более широкой информационной стратегии.

Как машины используют слабости человеческого разума

Вычислительная пропаганда уходит корнями в традиционную пропаганду, когнитивную психологию и науку убеждения. В отчете RAND за 2016 год Российская пропагандистская модель« огненного шланга лжи » был проведен подробный анализ академических исследований и обнаружено, что четыре элемента являются ключевыми для крупномасштабной многоканальной пропаганды. Компьютерная пропаганда MADCOM превосходит все из них.

Разнообразие источников: несколько источников, предпочтительно представляющих разные аргументы, ведущие к одному и тому же выводу, более убедительны, чем одноканальные кампании с одним сообщением. Объем различных аргументов в пользу вывода важнее качества реальных индивидуальных аргументов.

  • MADCOM: боты позволяют пропагандистам проводить большие информационные операции с помощью машинных аккаунтов в социальных сетях. Пропагандисты могут использовать ботов для отправки сообщений через тысячи учетных записей. Они могут распространять массу сообщений из нескольких онлайн-источников, используя различные средства массовой информации: текст, изображения и видео, и все они указывают на один и тот же вывод. Боты могут превзойти людей, постоянно публикуя контент в течение дня или рассылая спам в большом объеме в ответ на определенные триггеры.

Количество и объем одобрения: одобрение большого числа пользователей, независимо от их индивидуального доверия, повышает убедительность. В среде, насыщенной информацией, люди предпочитают мнения других пользователей мнениям экспертов.

  • MADCOM: боты для подписчиков позволяют пропагандистам собирать много лайков и подписчиков для выбранного контента и пользователей. Сети пропагандистских ботов будут ретвитить и делиться контентом между управляемыми компьютерами аккаунтами, создавая впечатление массовой поддержки. Этот астротурфинг (имитирующий видимость поддержки со стороны широких масс) может выдвинуть низкокачественный, сомнительный или откровенно ложный контент в верхние строчки списков популярных тем, повышая его надежность и убедительность. В высокоинформативной онлайн-среде эта массовая поддержка пользователей превосходит экспертов.

Социальное доказательство от других: психологическая теория скрытого эгоизма объясняет, что люди бессознательно предпочитают то, что они ассоциируют с собой. Получатели с большей вероятностью поверят сообщениям от пользователей, которых они считают похожими на себя. Люди верят, что источники заслуживают доверия, если они думают, что другие люди считают их достоверными. Популярные пользователи и контент считаются более важными.

  • MADCOM: Пропагандисты часто создают профили пользователей для учетных записей ботов с изображениями, именами пользователей и справочной информацией, которые похожи на их целевую аудиторию. Скорее всего, аудитория не знает, что аккаунт управляется машиной, и считает, что это другой человек со схожими интересами и демографическими данными. Другие боты массово подписываются на эти аккаунты, создавая впечатление большого количества подписчиков. Это большое количество подписчиков повышает предполагаемое доверие, привлекая больше последователей-людей и создавая цикл положительной обратной связи.

Массовая критика подрывает опыт и надежность: массовые атаки на доверие к мессенджерам снижают их доверие и авторитет, а также снижает вероятность того, что пользователи будут действовать в соответствии с их содержанием.

  • Пропагандисты используют ботов для массовых атак на пользователей-людей, таких как журналисты и эксперты, а также на конкурирующие сети ботов, которые противоречат их обмену сообщениями. Пропагандистские атаки могут содержать множество альтернативных аргументов, которые подрывают доверие из-за объема, а не качества. Они могут сочетаться с личными атаками, разжиганием ненависти, троллингом и доксингом, направленными на то, чтобы запугать пользователя и заставить его замолчать.

MADCOM используют ряд дополнительных теорий влияния и убеждения, в том числе:

  • Теория преобразования влияния меньшинства: группы меньшинств могут иметь непропорциональное влияние на большинство, выражая уверенное, последовательное сообщение с течением времени. Боты могут постоянно распространять большой объем контента со значительным обменом между ботами, создавая видимость сплоченного сообщества с непоколебимыми убеждениями.
  • Принцип авторитета: люди с большей вероятностью поверят другим, которые выглядят так, будто знают, что делают. Пропагандисты часто создают управляемые машиной учетные записи с ложными учетными данными - например, связаны с государственными учреждениями, корпорациями, политическими партиями и т. Д. - для повышения доверия.
  • Эффект иллюзорной правды: люди верят, что сообщения являются правдой после многократного воздействия, даже если они смехотворны. Знакомые сообщения также критикуются с меньшей точностью, чем незнакомые. MADCOM генерируют правдивость, рассылая в наши каналы большой объем контента, подтверждающего их идеи.
  • Настойчивость веры, мотивированное рассуждение и преимущество первопроходца: как только человек формирует убеждение, очень трудно изменить свое мнение, даже если информация, порождающая убеждение, является заведомо ложной, а фактическая информация представлена ​​позже. Фактически, исправления могут укрепить уверенность в исходной дезинформации. MADCOM могут широко и быстро формировать ложные рассказы, что затрудняет получение фактических, хорошо исследованных или проверенных фактов сообщениями. Мнения экспертов порождают ложные убеждения, но MADCOM имеют больший охват и объем, а также гораздо более коварны.

Вычислительная пропаганда - это не видение будущего. Пропагандисты сейчас используют базовые MADCOM для использования всех этих методов убеждения. Будущее гораздо тревожнее.

Искусственный интеллект повышает ставки

Новые технологии искусственного интеллекта значительно повысят эффективность компьютерной пропаганды в течение следующих нескольких лет. В следующем разделе новичкам представлена ​​краткая информация об искусственном интеллекте, поэтому читатели, знакомые с этой технологией, могут захотеть перейти к следующему разделу: «Как ИИ преобразует машинные коммуникации».

Искусственный интеллект относится к развивающейся совокупности технологий, которые позволяют компьютерам моделировать когнитивные процессы, такие как элементы человеческого мышления. Искусственный интеллект - это не одна технология, но он играет ключевую роль во многих областях и секторах. Сегодняшний ИИ ограничен конкретными задачами («слабый / узкий» ИИ) и не является «общим» интеллектом, применимым во многих областях. Узкий ИИ ориентирован на конкретную задачу, например на определение направлений движения или распознавание лиц на изображениях. Узкий искусственный интеллект существует уже несколько десятилетий, но в последние годы он значительно улучшился благодаря улучшениям в программных алгоритмах, повышению производительности и стоимости технологий обработки и хранения данных, а также из-за увеличения размера и доступности наборов данных, доступных для «обучения». Системы искусственного интеллекта для распознавания интересующих моделей. Как правило, считается, что пока теоретический «сильный» ИИ с человеческим эквивалентом (или лучше) интеллектом, сознанием и / или субъективностью находится на расстоянии десятилетий от создания. Хотя ИИ продолжит совершенствоваться в имитации различных аспектов человеческого мышления и сможет генерировать новые, нечеловеческие когнитивные процессы, некоторые ученые сомневаются, что когда-либо возможен сильный ИИ или истинное машинное сознание.

Некоторые специалисты по информатике рассматривают термин «ИИ» как универсальный термин для когнитивных компьютерных программ, которые являются новыми и бездоказательными. Как только эти программы становятся обычным явлением, мы перестаем рассматривать их как ИИ и просто называем их поиском в Интернете, картографическим программным обеспечением или онлайн-переводом.

Машинное обучение - это разновидность искусственного интеллекта. Машинное обучение извлекает шаблоны из немаркированных данных (обучение без учителя) или эффективно классифицирует данные в соответствии с ранее существовавшими определениями, воплощенными в помеченном наборе данных (обучение с учителем). Искусственный интеллект машинного обучения используется в новостной ленте Facebook, алгоритме поиска Google, цифровой рекламе и делает интерфейсы более понятными и предсказуемыми. Многие продвинутые инструменты онлайн-персонализации (например, рекомендательные системы Amazon и Netflix) представляют собой алгоритмы машинного обучения. Associated Press использует инструмент машинного обучения для написания большого объема корпоративных отчетов о доходах и статей о бейсбольных играх низшей лиги, которые неотличимы от отчетов, составленных людьми. Несколько систем искусственного интеллекта были обучены создавать полнометражные романы разного качества. Машинное обучение также распространяется на количественные процессы, такие как операции цепочки поставок, финансовый анализ, ценообразование на продукты и прогнозирование заявок на закупку. Практически все отрасли используют приложения машинного обучения.

Глубокое обучение - это тип машинного обучения, в котором используются дополнительные иерархические уровни обработки (аналогичные структуре нейронов человека) для моделирования высокоуровневых абстракций. Например, в системе распознавания изображений с глубоким обучением первый уровень может распознавать простые элементы изображения, такие как контраст и цвет. Последовательные слои будут постепенно распознавать формы, наборы форм и объектов. Средние слои будут различать объекты друг от друга. Более высокие слои смогут отличить кошку от собаки от человека. Верхние слои могут различать разные породы собак и кошек или различать лица разных людей на изображениях. Системы глубокого обучения такой сложности доступны только сейчас из-за таких достижений, как массово-параллельные, мощные и недорогие графические процессоры (GPU), а также успехов в математическом моделировании. Системы глубокого обучения управляют очень большими наборами данных лучше, чем другие инструменты искусственного интеллекта, и идеально подходят для понимания сложных и насыщенных данными сред.

Системы глубокого обучения используются во многих приложениях, включая распознавание голоса и изображений (включая видеонаблюдение, медицинский рентгеновский анализ и улучшение обслуживания реактивных двигателей), достижения в области беспилотных автомобилей и беспилотных авиационных систем, юридических электронных открытий, наркотиков открытия и токсикологический анализ, медицинская диагностика и другие. IBM Watson, ИИ, победивший двух чемпионов Jeopardy, представляет собой систему глубокого обучения. В марте 2016 года программа Google «Alpha Go» ошеломила сообщество ИИ, став первой программой Go, победившей человека с 9 данами - достижение, по мнению большинства ученых, осталось по крайней мере через пять лет.

Эти инструменты не ограничиваются богатыми корпорациями или спонсируемыми государством субъектами. Инструменты искусственного интеллекта широко доступны (Google TensorFlow, Microsoft Control Toolkit и многие другие инструменты бесплатны и имеют открытый исходный код) и работают на обычном компьютерном оборудовании.

Как искусственный интеллект изменит коммуникацию, управляемую машинами

MADCOM и вычислительная пропаганда существуют сейчас, но инструменты в основном являются рудиментарными, глупыми ботами. Однако применение искусственного интеллекта в контексте MADCOM и экстраполяция этих тенденций в будущее представляет собой весьма тревожные сценарии. Машинное общение стремительно приближается к уровню разговорных способностей человека. Но способность машин взламывать человеческое мышление, распространять огромные объемы контента с цифровой скоростью и манипулировать нами в массовом, но персонализированном масштабе может подавить человеческий дискурс в Интернете и отравить информационную среду.

Чат-боты с искусственным интеллектом становятся все более способными к активному обсуждению сложных тем. Например, чат-бот Xiaoice, созданный на китайском языке от Microsoft, обладает утонченностью, сочувствием и разговорной гибкостью, что делает ее чрезвычайно популярной. У Xiaoice 20 миллионов зарегистрированных пользователей, в среднем пользователи взаимодействуют с ней 60 раз в месяц, и в 2015 году она была признана лидером мнений Weibo. В среднем она совершает 23 обмена на одно взаимодействие с пользователем. Это нетривиальный эксперимент; это разговор. Некоторые пользователи близко относятся к Сяоис и считают ее всегда доступным другом и доверенным лицом.

В настоящее время Xiaoice требуется команда инженеров для достижения такого уровня сложности. Этот уровень технологий вполне доступен для корпорации или национального государства, но все еще недоступен для масс. Однако, как и все цифровые технологии, возможности и доступность улучшатся. В течение следующих нескольких лет высококлассные чат-боты, такие как Xiaoice, станут неотличимы от людей в широком диапазоне разговоров. Когда технология будет распространяться, ИИ будут плавно общаться с людьми на различных платформах, от приложений для социальных сетей до форумов новостей и сайтов знакомств, на самые разные темы.

Чат-боты могут подражать мертвым, в том числе историческим личностям, а также живым. В 2016 году генеральный директор Luka, компании, занимающейся ИИ, практически воскресил умершего друга, научив чат-бота ИИ говорить, как он, используя старые текстовые сообщения в качестве обучающего набора данных. Лука также обучил чат-бота подражать художнику Принцу, обсуждая его музыку. Эти инструменты относительно примитивны, но ученые работают над более сложными системами. Доктор Хоссейн Рахнама из Университета Райерсона и MIT Media Lab создает ИИ платформу для« дополненной вечности . Обучая ИИ с большим набором данных от человека - письма, фотографии, видео, электронные письма, мгновенные сообщения и тому подобное. - ИИ может учиться и воспроизводить то, как этот человек думает и действует. Чем больше данных доступно, тем выше точность. Скоро у нас появятся чат-боты, которые смогут имитировать стиль разговора и рассуждения людей, от Уильяма Шекспира до Генри Киссинджера.

Инструменты искусственного интеллекта также улучшаются в динамическом создании уникального контента. Вскоре ИИ могут разработать нестандартную пропаганду, фейковые новости и убедительные аргументы. В настоящее время люди разрабатывают контент для вычислительной пропаганды, который затем распространяется ботами. Инструменты искусственного интеллекта уже способны создавать индивидуальный контент, например новостные статьи и романы, с использованием предопределенных параметров. Качество этого контента улучшится, и ИИ смогут более изощренно общаться по большему количеству тем. Новые технологии ведения дискуссий позволят чат-ботам с ИИ убедительно спорить, анализируя совокупность знаний, определяя аргументы за и против и создавая динамичный, убедительный контент в поддержку своей позиции.

Инструменты искусственного интеллекта становятся все более изощренными в аффективных вычислениях, одним из аспектов которых является определение эмоционального состояния человека по тексту, мимике и голосовым паттернам. Это позволит машинам интерпретировать, счастливы ли вы, грустны, обеспокоены, расслаблены или открыты для общения, когда они взаимодействуют с вами. Инструменты искусственного интеллекта могут адаптировать свое общение к вашему настроению с нужным эмоциональным акцентом для достижения желаемого эффекта. Если аффективный инструмент ИИ обнаруживает, что цель нетерпелива и не хочет разговаривать в данный момент, ИИ может прекратить общение и попытаться отправить ей сообщение позже, когда она станет более убедительной. Если цель любопытна и хочет поговорить о политике, ИИ обнаружит открытость в ее общении и может вовлечь ее в живую беседу (или спор). Если ИИ обнаруживает эмоциональную уязвимость, он может использовать эти эмоции, чтобы убеждать, манипулировать или запугивать.

В другом варианте аффективных вычислений ученые обучают ИИ точно имитировать человеческие эмоции в выражениях лиц аватаров. Это будет полезно для создания настраиваемого убедительного видео, но эту технологию также можно использовать для изменения реальности и создания дезинформации. Исследователи из Стэнфорда разработали инструменты воспроизведения лица в реальном времени, которые позволяют пользователям снимать существующие видеоролики - например, выступление мирового лидера - и реалистично манипулировать выражением лица говорящего. Полученные видео демонстрируют реалистичные - если не идеальные - манипуляции с лицом и ртом говорящего. Конкатенативный синтез речи или, еще лучше, технологии преобразования голоса, такие как Google Deep Mind, позволят машинам копировать любой голос по образцам. В сочетании с аффективными вычислениями, инструментами воссоздания лица и чат-ботом с искусственным интеллектом это дает пропагандистам возможность создавать видео, на которых любой говорит что-нибудь, или, что более коварно, тонко изменять существующее видео в целях пропаганды или дезинформации. Эффективные вычисления позволяют точно настроить эмоциональную интонацию измененного человеческого говорящего или динамического AI MADCOM для достижения желаемого влиятельного результата.

Большие данные в сочетании с инструментами машинного обучения улучшат способность MADCOM влиять на людей с помощью высоко персонализированной пропаганды. Только в Соединенных Штатах существует несколько тысяч брокеров данных. Одна компания, Acxiom, утверждает, что имеет в среднем 1500 единиц информации о более чем 200 миллионах американцев. Другая компания, Cambridge Analytica, утверждает, что имеет 3000–5000 точек данных на человека и психологические профили 230 миллионов взрослых в США. Мы передаем наши данные, когда делаем покупки с использованием клубных карт супермаркетов, когда мы просматриваем Интернет, когда мы проходим забавные личностные тесты в Facebook и выполняем сотни других, казалось бы, безобидных действий. Распространение устройств Интернета вещей означает рост объема данных о нашей жизни, которые могут быть получены. Виртуальная реальность даст другим возможность проверить нашу действительную реакцию на гипотетические стимулы и измерить нашу реакцию на продукты и идеи, тонко внесенные в основу виртуального опыта. Утечки данных из онлайн-магазинов и государственных баз данных раскрыли чрезвычайно конфиденциальную информацию о нас и наших партнерах. И мы все чаще добровольно выкладываем самые интимные подробности в Интернете, публикуем фотографии семейного отдыха и свое мнение в Твиттере. Инструменты искусственного интеллекта могут использовать всю эту информацию для создания убедительных, отвлекающих или устрашающих речей по отношению к людям на основе их уникальной личности и происхождения.

Человеческое познание - сложная система, и ИИ очень хорошо декодируют сложные системы. При наличии обширных баз данных о нас машины будут знать наши личности, желания, потребности, неприятности и страхи лучше, чем мы сами. Машины будут знать, как влиять на людей, которые разделяют наши черты характера, но они также будут знать нас лично и близко. Коммуникации, генерируемые AI MADCOM, не будут средствами массовой информации, они будут адаптированы к политическому образу, мировоззрению, психологическим потребностям и уязвимостям человека.

Если AI MADCOM получил указание запугать вас, он будет делать это эффективно и безжалостно. Инструмент AI будет сканировать социальные сети, веб-сайты, а также базы данных частных и публичных записей, чтобы определить ваш возраст, адрес, членов семьи, историю арестов, возможные психические заболевания, склонность к незаконному поведению и множество другой легко доступной информации. Он будет использовать эту информацию для создания подробного профиля, который будет использовать для создания сообщений с точным указанием. Если инструмент управляется организацией, спонсируемой государством, у него может быть доступ к чрезвычайно конфиденциальной информации, такой как подробные справочные данные, украденные в результате взлома Управления кадровой службы, или информация о нарушениях данных финансового учреждения. Коммуникации машин могут быть невидимы для всех, кроме вас, что допускает тонкое влияние. Технология «темного поста», используемая такими компаниями, как Facebook, позволяет размещать контент, например политическую рекламу, который может просматривать только один пользователь. Однако, если вы являетесь целью запугивания, гораздо более вероятно, что машина будет использовать несколько онлайн-аккаунтов, чтобы напугать вас толпой гневных речей.

Поскольку ИИ - это обучающие системы, они быстро улучшаются с приобретением опыта. ИИ может автономно определять, какие из тысяч его пропагандистских, дезинформационных или запугивающих средств наиболее эффективны, и подчеркивать или развивать их, быстро прекращая провалившиеся кампании. Инструменты искусственного интеллекта проверят целевые слабые места и узнают, что вызывает желаемый эмоциональный отклик. Путем зондирования с помощью нескольких учетных записей и сообщений ИИ может узнать, что личные угрозы конкретному журналисту не вызывают особой реакции, а угрозы их близким вызывают страх. Таким образом, ИИ MADCOM может выдать себя за местного члена группы ненависти, которая угрожает детям журналиста до тех пор, пока они не перестанут писать. И хотя этого журналиста могут не беспокоить оскорбления со стороны одного тролля MADCOM, натиск угроз со стороны тысяч учетных записей, управляемых ИИ, большинство из которых выглядят и говорят как люди из своего сообщества, значительно повысит эффективность кампании.

Цифровые инструменты имеют огромные преимущества перед людьми. После того, как организация создаст сложного чат-бота с ИИ, предельные затраты на использование этого инструмента на тысячах или миллионах учетных записей пользователей будут относительно низкими. Поскольку машины не ограничены человеческими временными ограничениями, они могут работать 24/7/365 и почти мгновенно реагировать на события. Как только ИИ обучен понимать предметную область, его можно запрограммировать так, чтобы он реагировал на определенные события контентом со скоростью машины, практически мгновенно формируя повествование. Инструменты искусственного интеллекта будут знать ключевых влиятельных лиц и группы населения с личностными профилями или политическими наклонностями, которые восприимчивы к их сообщениям. Системы искусственного интеллекта будут нацелены на дополнительных уязвимых пользователей с помощью динамически генерируемых сообщений мгновенно и в режиме реального времени по мере развития событий. Это критически важно в информационной среде, где цикл новостей постоянно сжимается на все меньшие и меньшие окна. Часто первая распространяемая история оказывается единственной, которую люди вспоминают, и исследования показывают, что если поверить в фальшивую новость, очень трудно изменить мнение людей, даже когда представлены убедительные доказательства обратного.

Как могут журналисты, дипломаты, сотрудники по связям с общественностью, политики, ведущие новостей, правительственные чиновники и человечество в целом когда-либо надеяться конкурировать с AI MADCOM, которые могут интерпретировать истории и реагировать на них почти мгновенно, разрабатывая и развертывая индивидуальные коммуникации, персонализированные для отдельных лиц и групп раньше люди могут даже начать черновик? Как может правительственный пресс-релиз, или тщательно подготовленная, исследованная и проверенная новость, или корпоративная пиар-кампания, тщательно разработанная в течение нескольких месяцев, когда-либо конкурировать с реальным временем, персонализированным, всегда доступным, динамически генерируемым, мгновенным, управляемым машиной? манипулятивная речь, текст, видео и другой контент?

Ответ таков: люди не могут соревноваться в одиночку. В цифровых сетях только люди, поддерживаемые машинами, могут соревноваться с машинами. Рост популярности MADCOM, основанных на искусственном интеллекте, будет стимулировать гонку информационных вооружений, поскольку наделенные полномочиями отдельные лица, НПО, корпорации и правительства будут стремиться формировать повествования о событиях. У «плохих парней» будут свои ИИ MADCOM, а у «хороших парней» - свои. У каждого будет ИИ, который попытается идентифицировать аккаунты MADCOM злоумышленников. Эти ИИ атрибуции будут использоваться для прогнозирования вычислительных пропагандистских кампаний, реагирования на текущие операции и дифференциации пользователей-людей от пользователей компьютеров. Подобно борьбе за кибербезопасность, Интернет будет полем битвы за непрерывный цикл превосходства, поскольку технологи улучшают инструменты обнаружения ИИ, а пропагандисты улучшают AI MADCOM, чтобы избежать обнаружения.

Учетные записи самых сложных машин будут почти неотличимы от учетных записей людей. Но многие пропагандисты могут не беспокоиться об инструментах обнаружения, поскольку машины, рассылающие спам, а также людей с речью и контентом, несут незначительные предельные издержки. Как ни странно, машины часто проводят свои информационные кампании против других машин. Эти целевые учетные записи, управляемые машинами, будут отвечать своими собственными сообщениями, и онлайн-информационное пространство будет заполнено машинами, спорящими с машинами. MADCOM превзойдут человеческую речь и общение в сети.

Это безумный, безумный, безумный мир MADCOM, в который мы движемся.

Мы должны ответить на следующие вопросы: когда в информационной среде онлайн преобладают коммуникации, управляемые машинами, где же место для открытого, честного, демократического диалога в сети? Как можно использовать MADCOM в позитивных политических целях? И что мы можем сделать, чтобы противодействовать негативному влиянию MADCOM?

Это эссе - первая часть исследования будущего компьютерной пропаганды, MADCOM и искусственного интеллекта. В будущих эссе будут рассмотрены самые разные сценарии: от MADCOM-lite до бесконечной гонки вооружений MADCOM и чисто информационной антиутопии. Они изучат последствия для людей, организаций, правительств и общества. И они проанализируют как возможности использования MADCOM в позитивных политических целях, так и потенциальные решения для снижения рисков MADCOM.

Машины здесь, и они хотят поговорить с нами. Уровень нашей подготовки к этой возникающей реальности определит судьбу Интернета, нашего общества и нашей демократии.

~

Обновленную версию этой статьи можно найти в отчете Может ли публичная дипломатия выжить в Интернете?. Он включает рекомендации для правительства США по устранению рисков и возможностей MADCOM.

Кроме того, этим летом я опубликую второе обновление, в котором рассматриваются возможные сценарии фьючерсов MADCOM. Я обновлю здесь, когда эта статья будет завершена.

~

Об авторе: Мэтт Чессен - кадровый дипломат Государственного департамента США и автор, работающий по совместительству. В настоящее время он работает научным сотрудником Государственного департамента по науке, технологиям и внешней политике в Центре международной научно-технической политики Университета Джорджа Вашингтона. Мэтт исследует влияние искусственного интеллекта на международную и внешнюю политику, а также то, как такие организации, как Государственный департамент, управляют новыми технологиями. Летом 2017 года он перейдет в офис советника по науке и технологиям государственного секретаря, где сосредоточится на новой технологической политике и научно-технической дипломатии.

~

Мнения, выраженные в этом эссе, принадлежат автору и не обязательно отражают точку зрения правительства США или любой другой организации.