Недавно (как и вчера) @forcriticaltech опубликовал письмо (https://bit.ly/316JHsx) с осуждением и рекомендацией не публиковать Модель глубокой нейронной сети для прогнозирования преступности с использованием обработки изображений. Это отличное и тщательное чтение, и я призываю всех, кто читает это, действительно пройти через это.

Хотя письмо имело силу, и Springer Nature с тех пор отменила публикацию, это событие по-прежнему вызывает большое беспокойство. Тот факт, что статья успешно прошла рецензирование, придает ей легитимность, особенно в глазах необразованной широкой публики и средств массовой информации, которым не хватает знаний в предметной области и которые считают этот штамп одобрения евангелием.

В письме прямо говорится, что авторы утверждают, что «предсказывают, является ли кто-то преступником, основываясь исключительно на изображении его лица» с «80-процентной точностью и без расовой предвзятости». Проблема заключается в использовании фразы «отсутствие расовой предвзятости», поскольку она объединяет проблему алгоритмической предвзятости с общественным понятием предвзятости. В письме достаточно хорошо описан социальный аспект:

«Давайте проясним: невозможно разработать систему, которая могла бы предсказывать или выявлять «преступность», не связанную с расовой принадлежностью, потому что сама категория «преступности» имеет расовую предвзятость. “

Из документа ясно, что намерение авторов: продать эту якобы надежную технологию различным полицейским управлениям. Это проблематично во многих отношениях, и одним из наиболее очевидных является недавно найденное оправдание с точки зрения полицейских управлений, использующих эту технологию, которые теперь могут заявлять, что аресты, произведенные с использованием этой технологии, не могут быть мотивированы на расовой почве. решение было принято/управлено/принято компьютером.

Проблема, конечно, в том, что наборы данных, используемые для обучения модели, ЯВЛЯЮТСЯ предвзятыми. Используя модели, полученные из них, вы фактически применяете неявную социальную предвзятость, содержащуюся в самом наборе данных. Это чрезвычайно сложно, но для тех, кто технически подкован, я рекомендую просмотреть отличные слайды @stucchio по этике ИИ, теоремам о невозможности и компромиссам (https://bit.ly/2BtYLFL).

В общем, это довольно пугающая ситуация. Независимо от того, являетесь ли вы разработчиком политики или специалистом по машинному обучению, мы обязаны признать эти предубеждения и выявить потенциально опасные приложения, такие как показанное здесь.