По мере того, как мошенники модернизируют свою тактику распространения токсичного контента, мы также должны использовать передовые технологии - не только для того, чтобы не отставать от изощренных атак, но и для того, чтобы быть на шаг впереди.
Пользовательский контент (UGC) играет все более важную роль в нашей цифровой экономике. Однако прогрессирующая демократизация онлайн-доступа - во многих отношениях положительный момент - также несет с собой уникальные проблемы. Сейчас существует гораздо больше «точек входа», которые позволяют мошенникам внедрять вредоносный контент в онлайн-экосистемы - от сообщений, сообщений и комментариев, загруженных на веб-сайты, до имен, псевдонимов, URL-адресов и социальных маркеров, размещенных в профилях общедоступных учетных записей.
Модернизация злоупотребления контентом
Злоупотребление онлайн-контентом, конечно же, ничего нового. Начиная с 1990-х годов, спам-контент проник в службы обмена сообщениями, поисковые системы и многое другое. В течение предыдущего десятилетия и по сей день огромные армии ботов, контролируемые организованными преступными группировками, распространяют мошенничество, спам, вредоносное ПО, фишинг, поддельные продукты и фальшивые обзоры на постоянно расширяющемся ландшафте глобальных онлайн-платформ.
Состязательное машинное обучение
Новые технологии усугубили проблему. Боты делают возможным массовое злоупотребление контентом. Сами мошенники стали более изощренными, особенно в манипулировании вредоносным контентом, так что они достигают реальных людей, минуя машины. Вредоносный ввод, вводящий в заблуждение модели машинного обучения, называемый «состязательным машинным обучением», уже продемонстрировал, что сбивает с толку классификаторы изображений (рисунки 1, 2).
Рис. 1. Противоречивый пример, который сбивает с толку модель классификации панды как гиббона. Источник: Goodfellow et al., https://arxiv.org/pdf/1412.6572.pdf.
Рис. 2. Противоречивый пример нарушенного знака остановки (справа), который сбивает с толку автономные системы вождения. Источник: Эйкхольт и др., Https://arxiv.org/abs/1707.08945.
Мошенники, хорошо осведомленные об ограничениях моделей машинного обучения, разрабатывают свои атаки специально для обхода обнаружения. В примере, обнаруженном DataVisor на торговой платформе, мошенники изменяли изображения, чтобы ввести в заблуждение программное обеспечение для оптического распознавания символов и модели защиты от мошенничества (рис. 3). Сеть мошеннических аккаунтов размещала фальшивые автомобильные объявления для мошенничества с предоплатой, запрашивая комиссию с обещанием крупных (но на самом деле несуществующих) выплат.
Рис. 3. Анонимные примеры фальшивых объявлений об автомобилях с измененными изображениями, обнаруженными DataVisor.
Помимо изображений, мошенники также скрывают текстовое содержание, добавляя «шум», например, текст из статей, книг или другого языка; замена персонажей на похожих или звуковых. Анонимный пример ниже содержит отрывок (выделенный синим цветом) из романа Эдгара Райса Берроуза «Пеллуцидар»:
играть в онлайн-игры казино, которые постоянно бросаются в глаза на остальную поверхность пеллуцидара; но у него есть свои недостатки, одним из которых является удручающее влияние, оказываемое вечным ‹a href = http: //xxxxxxcasinoxxxx.com/ казино онлайн ‹/a›
Для некоторых мошенников еще одним вариантом является добавление случайных текстов. Это эффективно делает каждую часть контента уникальной, даже если она создается учетными записями ботов, использующими одни и те же скрипты.
Рисунок 4. Анонимные примеры фальшивых списков, запутанных с использованием случайных символов, обнаруженных DataVisor.
Обфускация вредоносных URL-адресов
Злоупотребление контентом часто сопровождается вредоносными URL-адресами. Примерно 13% мошеннических сообщений на торговых площадках содержат URL-адреса, хотя на социальных платформах это число может достигать 87%. Один из распространенных подходов к скрытию вредоносных URL-адресов - использование сокращателей URL-адресов или других механизмов перенаправления. Это скрывает реальную целевую страницу, чтобы заставить ничего не подозревающих зрителей щелкнуть по ней. Учтите, что CTR для спама составляет от 0,003% до 0,006%, а для спама за сокращенными ссылками bit.ly 0,13% - улучшение в 43 раза - и неудивительно, что мошенники использовать сокращатели или перенаправления, чтобы скрыть вредоносные URL-адреса.
Злоупотребление контентом: за пределами социальных платформ
Пользовательский контент существует во всех разновидностях и формах, и не только социальные сайты страдают от злоупотреблений контентом. Электронная почта, имена пользователей, почтовый адрес - все это примеры предоставленной пользователями информации, необходимой финансовым учреждениям и сайтам электронной коммерции, и они также готовы для использования - особенно для кражи личных данных, стороннего мошенничества и злоупотреблений при продвижении (где боты искусственно ограничивать доступность товаров и / или завышать цены).
Рисунок 5. Анонимные примеры синтетических идентификаторов, используемых в приложениях для кредитных карт. Каждая строка соответствует одному приложению. Эти мошеннические приложения имеют много общего в пользовательском контенте, включая имена, электронные письма и почтовые адреса.
Получение пользы от ИИ
Сегодня, вооружившись новыми инструментами и методами, мошенники внедряют токсичный контент в онлайн-экосистемы с невиданными ранее темпами и объемами. Спустя три десятилетия с тех пор, как спам впервые попал на AIM, мы сталкиваемся с совершенно новым уровнем угрозы.
К счастью, у нас есть возможность победить мошенников в их собственной игре. Можно легко манипулировать вредоносным контентом, чтобы обойти обнаружение, но мошеннические сети по-прежнему оставляют цифровой след, который можно обнаружить с помощью правильной технологии. Именно здесь мы можем эффективно использовать ИИ для борьбы с мошенничеством. Модели машинного обучения превосходно подходят для выявления тонких взаимосвязей в больших объемах данных, а алгоритмы неконтролируемого обучения могут делать это, не полагаясь на метки, что делает их идеальными для противодействия скоординированным атакам в любом масштабе. По мере того, как мошенники модернизируют свою тактику, мы также должны использовать передовые технологии - не только для того, чтобы не отставать от изощренных атак, но и для того, чтобы быть на шаг впереди.
~
