Обычно, когда мы видим поддельную новостную статью, нам не нужно тщательно проверять факты, чтобы понять, что что-то не так — история просто выглядит неправильно. Но какие особенности текста способствуют впечатлению? Можем ли мы научить алгоритм машинного обучения принимать такие решения? В этом сообщении блога рассказывается об исследованиях автоматической оценки достоверности на основе стилей, последних достижениях и ограничениях.

Зачем нам нужен ИИ?

Учитывая, как взрывной рост экосистемы дезинформации совпал с столь же резким возобновлением интереса к искусственному интеллекту (ИИ) в последние годы, неудивительно, что многие видят в ИИ решение проблем, с которыми мы сталкиваемся. Наиболее очевидный пример использования — веб-платформы, которые публикуют пользовательский контент, особенно платформы социальных сетей. Как этим платформам не стать посредниками в распространении заведомо ложной и вредоносной информации?

Обычный подход заключается в том, чтобы полагаться на сигнализацию о том, что определенный пост является сомнительным, с помощью явных предупреждающих сообщений, таких как Некоторые или все материалы, опубликованные в этом твите, оспариваются и могут вводить в заблуждение ярлыки. Но применять их вручную можно только в ограниченном числе громких дел — как можно судить о достоверности сотен миллионов сообщений, рассылаемых каждый день? Очевидным способом рационализации этого типа решений кажется машинное обучение (ML).

Как люди оценивают достоверность?

Прежде чем мы углубимся в технологии искусственного интеллекта и машинного обучения, стоит сделать паузу и подумать, как мы, люди, справимся с этой задачей? В конце концов, термин фейковые новости может быть недавним явлением, но люди решают вопрос о достоверности информации — Должен ли я верить этому? — с тех пор, как они начали использовать язык. Часто мы проверяем сообщение, сравнивая его содержание с тем, что нам уже известно, и оценивая его правдивость или, по крайней мере, правдоподобность. В контексте современных новостей этот подход известен как проверка фактов, поскольку он основан на проверке того, действительно ли произошли описываемые события, и происходит некоторый прогресс в попытке выполнить этот процесс автоматически. Но действительно ли мы всегда проходим через такую ​​проверку?

Взгляните на эти два выдуманных заголовка:

  • Финансы партии Грея находятся под следствием после разоблачений Джона Йеллоу
  • ВАЖНО: Желтый только что уничтожил вечеринку Грея… Вот как!

Статьи, которые они рекламируют, могут описывать одно и то же событие, но вы не сочтете их одинаково правдоподобными, верно? Чрезмерно драматичная лексика, заглавные слова, восклицательное окончание… Понятно, что помимо о чем говорится в тексте, мы также учитываем, как подается информация. Чем сенсационнее или эмоциональнее язык или структура текста, тем менее достоверным он кажется. И правильно: расследование фейковых новостей показывает, что они намеренно пытаются вызвать эмоции, что влияет на стиль написания.

Могут ли модели машинного обучения уловить стиль?

Суждение о стиле может показаться чем-то зарезервированным для людей, но количественные подходы к проблеме долгое время применялись в рамках понятия стилометрия. Методы измерения личных письменных характеристик известных авторов восходят к 19 веку и позже широко использовались для определения авторства документов федералистов. В последнее время акцент сместился на использование машинного обучения для оценки конкретных характеристик автора на основе его текста, включая пол, возраст, политическую принадлежность или образование. Сейчас, когда через социальные сети распространяется огромное количество неформальных и личных сообщений, становится возможным даже измерение личности. Иногда может быть трудно сказать, что именно использует классификатор для принятия своих решений, и можем ли мы по-прежнему называть это стилем, но точность предсказания говорит сама за себя.

Как ИИ определяет фейковые новости по стилю?

Несколько подходов к использованию описанных выше методов в области достоверности новостей уже были опубликованы. В 2016 году команда из Политехнического института Ренсселера смогла отличить 110 поддельных новостей от настоящих, используя классические стилометрические признаки и измеряя языковую сложность и психологические ассоциации. Было обнаружено множество различий, в том числе документы с низким уровнем доверия были короче, в них использовалось меньше технической лексики, более простые слова, меньше цитат, больше повторений и местоимений для личного настроения. Стоит отметить важную роль заголовков фейковых новостей, которые, несмотря на простой язык, передают много информации и привлекают внимание различными средствами (например, словами в верхнем регистре).

Другие смотрели на то, как стилометрия может помочь предсказать партийную ориентацию новостных агентств. Оказывается, с помощью таких средств трудно угадать, является ли текст правым или левым, но вполне реально отличить мейнстрим от гиперпартизанского письма, независимо от направления. Совсем недавно исследование, опубликованное на конференции AAAI, распространяет такие усилия на корпус из 100 000 документов из 223 источников, достоверность которых оценивается экспертами. Результаты показывают, что некоторые функции типичны для конкретных источников новостей, что затрудняет оценку достоверности статей, поступающих с недавно появившихся веб-сайтов с поддельными новостями. Тем не менее точность более 80% возможна благодаря некоторым индикаторам достоверности, присутствующим в разных источниках.

Например, фальшивые новостные статьи с большей вероятностью будут содержать слова

  • подразумевающий суждение, относящийся к моральным ценностям и целям,
  • о силе, уважении и авторитете,
  • с сильным положительным или отрицательным настроением

Заслуживающие доверия документы, с другой стороны, включают множество

  • слова и синтаксические модели, используемые для цитирования внешних источников,
  • выражения времени и чисел.

Мы уже на месте?

Исследования продолжаются, но результаты пока показывают, что способность человека оценивать достоверность текста на основе стиля письма может быть переведена в модели машинного обучения. Но означает ли это, что подобные подходы могут решить наши проблемы с дезинформацией в ближайшем будущем за счет автоматической фильтрации публикуемого контента? Ответ нет по нескольким причинам. Во-первых, большинство моделей, обученных в последнее время, используют наиболее широко доступный контент с низким уровнем доверия, то есть фейковые новости, созданные для финансового поощрения. Сенсационный стиль письма является частью их бизнес-модели, основанной на привлечении как можно большего внимания (и кликов по рекламе). Но не следует забывать о политически мотивированной дезинформации, направленной на влияние на общественное мнение. Эта цель может быть лучше достигнута с помощью достоверной, но все же ложной отчетности. Будут ли решения, основанные на стиле, работать в таких сложных случаях, еще неизвестно. Во-вторых, даже если бы у нас был идеальный детектор фейковых новостей на основе ИИ, его реализация на практике требует серьезных размышлений. Утверждается, что использование алгоритмов для автоматической фильтрации пользовательского контента приравнивается к цензуре и нарушает права человека. А предупреждающие сообщения Facebook, упомянутые в начале, в лучшем случае оказывают скромное влияние на убеждения пользователей.

Вывод

Подводя итог, можно сказать, что модели оценки достоверности на основе стилей или даже любой алгоритм на основе ИИ могут быть лишь частью решения проблемы контента с низким уровнем доверия. Какие бы технические средства мы ни применяли, человеческие усилия останутся в центре борьбы с дезинформацией.