Введение

Конечной целью исследований машинного обучения должно быть положительное влияние на общество и мир. По мере увеличения числа приложений ML становится все более важным решать различные вопросы безопасности; как те, которые уже возникают с сегодняшними системами машинного обучения, так и те, которые могут усугубиться в будущем с более продвинутыми системами. — Семинар ICLR 2019

В сфере безопасности угрозы состязательного машинного обучения (AML) относятся к любым рискам, связанным с использованием со стороны злоумышленников доступа к модели машинного обучения (ML).

Продукт часто легче скопировать или уничтожить, чем разработать, особенно в случае программных продуктов. Основные компоненты программного продукта включают функции, параметры или наборы данных модели машинного обучения, которые могут быть строго конфиденциальными и потенциально более ценными, чем физические активы, в которых они хранятся. Владельцы продуктов сталкиваются со значительными рисками, когда конкуренты быстро и недорого разрабатывают новаторские продукты. Обычный подход к такому взлому включает взлом системы, когда злоумышленники пытаются получить несанкционированный доступ к системам владельца продукта и впоследствии скопировать конфиденциальный программный код или конфиденциальные данные. Чтобы защитить свои продукты, владельцы продуктов используют методы безопасности, такие как шифрование и обфускация, которые не позволяют злоумышленникам извлечь существенную конфиденциальную информацию, используя уязвимости программного обеспечения.

За последние 10 лет машинное обучение изменило индустрию программного обеспечения. И не только в обычных компаниях; потому что злоумышленники также применяют технологию ML, известную под общим названием AML. Эти атаки отличаются от хорошо известных традиционных атак на ИТ-системы. Атаки не направлены на использование уязвимостей программного обеспечения в ИТ-системах. Вместо того, чтобы напрямую атаковать систему, злоумышленники используют открытые API в качестве авторизованных пользователей, но они пытаются использовать уязвимости в моделях машинного обучения, использующих эти API. Например, используя методы машинного обучения, они отправляют тщательно продуманные запросы через открытый API для постепенного извлечения конфиденциальной информации.

Основные мотивы включают кражу модели для перепродажи или несанкционированного использования без оплаты. Цель противника может выходить за рамки простого воспроизведения модели. Скопированная модель также может служить основой для реконструкции данных, также известной как атака с инверсией модели, или в качестве испытательного стенда для атак уклонения, которые ищут уязвимости в функции исходной модели жертвы.

Цель этого блога

Эта новая угроза, нацеленная на системы на основе машинного обучения, сейчас является одной из наиболее активно исследуемых тем. Хотя конкретные последствия этой угрозы остаются неопределенными, а информации о ПОД не так много, есть две основные проблемы:

  1. Понимание стратегий и методов атакующего, а также соответствующих стратегий и методов защитника.
  2. Выявление наиболее возможных реальных AML, нацеленных на существующие модели ML.

Основная цель этого блога - решить такие проблемы. Это будет достигнуто путем представления стратегий и методов ПОД, включая оборонительные и наступательные, которые задокументированы академическими исследованиями.