«Механизмы контекстуализации» могут бороться с дезинформацией без цензуры.

Поисковые системы хороши. Но мы можем добиться большего с современным ИИ.

Мы все чаще наблюдаем« превращение контекста в оружие », - Клэр Уордл.

Поисковые системы изменили первое десятилетие тысячелетия. Двигатели рекомендаций произвели революцию во втором десятилетии. Ни того, ни другого в их нынешнем виде недостаточно для устранения дезинформации. Они сосредоточены на обнаружении и в первую очередь полагаются на релевантность. Но они не особенно полезны при решении многих других важных информационных задач, особенно при контекстуализации.

Нам нужны более совершенные инструменты, которые помогут людям быстро контекстуализировать средства массовой информации, с которыми они сталкиваются в Интернете. Это особенно важно для поддержки занятых обычных людей, которым необходимо быстро разобраться в дезинформационных текстах, изображениях и видеороликах, публикуемых в групповых чатах и ​​на онлайн-платформах.

Механизмы контекстуализации могут помочь вам справиться с медийной грамотностью, просеивая через Интернет, чтобы определить, что вы, возможно, захотите узнать, чтобы лучше понять, что медиа-объект означает. Так же, как сейчас люди используют термин поиск в Google для описания использования любой поисковой системы для поиска информации по некоторым ключевым словам; мы могли бы использовать уникальный термин контекстуализация для описания использования механизма контекстуализации для понимания медиа-объекта.

В идеальном мире можно было бы «контекстуализировать» любой медиа-объект одним или двумя касаниями из любого приложения, будь то сообщение с длинной цепочкой, мем-изображение, ссылка на статью, видео, PDF-файл, аудиофайл, и т. д. Цель механизма контекстуализации - помочь пользователю ответить на такие ключевые вопросы, как: «Что это означает? Насколько это значимо? Как это соотносится с тем, что я знаю и о чем мне небезразлично? ». В этих вопросах подразумевается, являются ли утверждения точными, но контекстуализация в своем идеале идет дальше, помогая человеку понять, что для него действительно важно. и их отношение к обществу.

Системы, созданные специально для контекстуализации, могут не только поддерживать медиаграмотность; они также могут предоставить данные, необходимые для проверки фактов, чтобы определить, на чем сосредоточить внимание, и могут даже помочь поддержать эмоциональную грамотность, необходимую для предотвращения вредных реакций на дезинформацию (от нападок на близких до террористической радикализации).

Более того, системы контекстуализации не предполагают какой-либо внешней цензуры или мониторинга сообщений - они воплощают подход «больше речи» к противодействию дезинформации, предоставляя пользователям место для факультативного доступа к контексту и авторитетным источникам информации. речь, когда они этого хотят. Это означает, что такая функциональность может даже требоваться по закону, как и сведения о пищевых продуктах. Он может потребоваться для всех приложений для обмена сообщениями и социальных сетей определенного размера, встроенных в операционные системы или разрешенных через Apple App и магазины Google Play. Как минимум, государственный сектор мог бы помочь финансировать быстрое развитие механизмов контекстуализации, учитывая текущую несостоятельность рынка и потенциал таких систем для защиты от текущих и возникающих угроз демократии и финансовой системе.

Последние достижения в области искусственного интеллекта сделали возможными мощные механизмы контекстуализации, но те же достижения также позволяют создавать ужасающие новые методы распространения дезинформации. Мы должны бороться со временем, чтобы создать возможности контекстуализации, учитывая более сильные геополитические и рыночные стимулы для использования этих новых технологий ИИ для корыстной пропаганды и получения прибыли.

Как может выглядеть механизм контекстуализации на практике

Представьте, что вам отправили устрашающее сообщение в групповом чате. Или видел публикацию в Facebook, которая разозлила вас на какую-то новостную организацию. Но что-то кажется немного подозрительным ...

Вариант A: без механизма контекстуализации

Хотя вы хотели бы знать, действительно ли утверждения верны - и вы, возможно, «захотите» это проверить ... у вас просто нет времени на подобные вещи. Легче просто плыть по течению. Также огромная боль - копировать и вставлять что-то или вводить множество поисковых запросов, пытаясь выяснить, не запутались ли кто-то еще, особенно по телефону. Значит, вы не проверяете.

Это остается в вашей памяти как нечто возможно правдивое, но со временем вы можете забыть «возможно». Если вы видите достаточно похожих сообщений, возможно, вы начнете им инстинктивно верить - и тогда вы также можете начать делиться этими сообщениями.

Вариант B: с (очень простым) механизмом контекстуализации

Вы видите что-то подозрительное - и нажимаете кнопку, чтобы "контекстуализировать" это…

  1. Механизм контекстуализации сравнивает передаваемый контент с контентом из авторитетных источников и предоставляет статьи или другие медиа-результаты, которые в достаточной степени связаны. Это может быть интерфейс в стиле результатов поиска, чат-бот или гибрид.
  2. Если он не находит достаточно близких совпадений, он предупреждает пользователя и потенциально идентифицирует наиболее вероятные релевантные ключевые слова, по которым пользователь может выполнить более традиционный поиск, если захочет (еще одним нажатием).
  3. Он добавляет медиа-объект в очередь сортировки, чтобы соответствующие организации могли его потенциально оценить (например, проверяющие факты).

Кнопка контекстного отображения - это добавление к функции увеличительного стекла в WhatsApp, но результаты очень разные. WhatsApp создает поиск по ключевым словам для традиционной поисковой системы, что может иметь неприятные последствия из-за отсутствия данных.

Почему помогает даже базовый механизм контекстуализации

Ключевые выводы. В отличие от поиска по ключевым словам в Google, контекстная информация выполняет несколько важных задач:

  • Анализирует полные «медиа-объекты» -, чтобы увидеть, насколько вероятно, что они связаны друг с другом; например вся цепочка сообщений, целые статьи о проверке фактов.
  • Ориентация на авторитетные источники - вероятно, первоначально с использованием сертификации из белых списков признанными третьими сторонами, такими как Международная сеть проверки фактов (IFCN), First Draft, News Guard, организации по стандартизации и т. д.
  • Предупреждает о пустых данных - позволяет пользователю узнать, не может ли система найти нужную информацию по теме.
  • Поддерживает людей, проводящих более глубокие исследования - предоставляет специалистам по проверке фактов и другим организациям информацию о том, что важно исследовать, - и потенциально получает доход от веб-трафика способами, которые напрямую связаны с целями пользователей.

Все они поддерживают компонент F для лучшего освещения метода медиаграмотности SI F T - подхода, разработанного Майклом Колфилдом на основе исследований Стэнфордского университета и преподается многими образовательными и общественными организациями, от Вашингтонского университета в США до Civix по всей Канаде.

Системы контекстуализации могут быть еще более полезными

Это только начало возможностей механизмов и интерфейсов контекстуализации. Система контекстуализации также может поддерживать оставшуюся часть метода SIFT:

  • S наверх (S IFT): поток механизма контекстуализации может обеспечить образовательную поддержку для выполнения других аспектов медиаграмотности. Например, это может помочь напомнить пользователям о необходимости сделать паузу и заметить их эмоциональные реакции на контент. Он может даже дать советы о том, как деликатно поднять потенциальную дезинформацию в групповом чате или в ветке комментариев.
  • Я исследую источник (S I FT). Если в системе контекстуализации уже есть информация о том, почему источник может считаться авторитетным, она может предоставить эта информация для пользователя - показывающая, почему они могут ей доверять (например, этот источник сертифицирован IFCN).
  • F для лучшего охвата (SI F T). Основываясь на описанном ранее компоненте "анализ", более полнофункциональный механизм контекстуализации не только автоматически создавать расшифровки аудио и видео из мультимедиа, а также автоматически интерпретировать любые изображения и подписи, чтобы лучше понимать контент и находить контекстуально релевантные источники.
  • T претензий, цитат и мультимедиа к исходному контексту (SIF T): Наконец, механизм контекстуализации может выполнять трассировку для пользователя. По сути, он может обыскивать Интернет в поисках исходного контекста любого контента.

Ничего из этого не требует никаких новых технологий - это не научная фантастика, - хотя только недавно такой вид анализа стал эффективным и практически осуществимым. Некоторые аспекты этих предложений начали постепенно интегрироваться в существующие платформы, например, путем извлечения контекстных фрагментов из Википедии, но контекстуализация по-прежнему не находится в их фокусе.

Потенциал и риски развития искусственного интеллекта

В то время как недавние достижения в области искусственного интеллекта делают возможной кнопку контекстуализации, неизбежные достижения также сделают системы контекстуализации критически важными для устранения угроз демократии и финансовым системам. Дипфейк-видео, невероятно эффективные фишинговые атаки, оптимизированные для искусственного интеллекта и автоматические армии троллей могут стать повсеместными и неотличимыми от реальных вещей обычным человеком.

К счастью, та же технология, которая создает эти угрозы - мощные системы понимания и генерации нового языка - также может помочь в поддержке контекстуализации для противодействия им. Эти достижения в области искусственного интеллекта позволят программному обеспечению напрямую отвечать на следующие ключевые вопросы пользователей: «Что это означает? Как это соотносится с тем, что я знаю и о чем мне небезразлично? ». Эти мощные языковые системы можно использовать для помощи перевода жаргона - например, из научных статей и юридических документов - в письменные и изображения, понятные и понятные обычным людям. Достижения искусственного интеллекта даже позволяют создавать системы, которые могут автоматически интегрировать контент из нескольких авторитетных источников для создания полезных мини-эссе и привлекательных анимационных видеороликов (технически это может быть возможно в течение года - с очень значительные вложения).

Таким системам необходимо будет ориентироваться в сложных условиях предвзятости, качества информации, неправомерного использования и конфиденциальности, особенно если они выходят за рамки авторитетных источников. Мы должны финансировать исследования и инфраструктуру ответственности, чтобы гарантировать, что этот революционный потенциал используется разумно - при сохранении предвзятости к действиям, учитывая очевидные негативные последствия слишком медленного движения.

Как мы можем этого добиться?

«кнопка контекстной рекламы» для передачи мультимедиа в механизм контекстуализации может быть встроена во все - просто нормальная и ожидаемая часть интерфейсов для просмотра и обмена контентом.

Но таких систем еще нет - они сталкиваются с проблемой курицы и яйца, когда сложно получить поддержку, если существующие платформы не купят их, но платформы не примут их, пока системы контекстуализации не получат поддержку. Спонсоры и инвесторы знают об этом, поэтому сложно собрать средства для найма необходимых специалистов. Это оставило нам много лет позади, когда нам нужно знать текущие и возникающие угрозы.

Недавние разработки, такие как работа Meedan с WhatsApp над созданием чат-ботов для проверки фактов и контекстуализации, являются ценным шагом в правильном направлении, но интеграция платформ и финансирование такой работы меркнут по сравнению с интеграцией платформ и финансированием систем, которые (часто непреднамеренно) способствуют обману. Для ускорения разработки систем контекстуализации директивным органам может потребоваться создать мандаты на использование и обеспечить быстро развертываемое финансирование государственного сектора - в идеале, включая выделенное финансирование для ответственного развертывания.

Первые два десятилетия тысячелетия доминировали поисковые системы и системы рекомендаций, благодаря которым Google, Facebook и Amazon стали известными. Теперь у нас есть шанс ввести новшества - создать механизмы контекстуализации, которые могли бы определить это третье десятилетие тысячелетия - и, возможно, помочь устранить вред, наносимый ошибочными техническими гигантами.

Ссылка на эту публикацию на сайте thinkfultech.org/context-engines. Написана Авивом Овадья (Проект Вдумчивые технологии) при поддержке Cohere и Cybersecure Policy Exchange (CPX) Университета Райерсона. CPX-версию этого брифинга можно найти здесь.

Спасибо Майклу Колфилду, Клэр Уордл, Анне Голди, Робину Эрлиху, Робу Энналсу, Сэму Вайнбергу, Тейлору Ганну, Джессике Джонстон, Эндрю Конья и многим другим за просмотр черновиков этого документа.

Вы можете найти Авив в Твиттере @metaviv, через этот список рассылки или по электронной почте.
Свяжитесь с нами, если вы хотите разработать политику, создать технологию или финансировать разработку относящиеся к механизмам контекстуализации.