Неуклюжие решения, принимаемые программным обеспечением, приводят к необходимости проверки автоматизации

Дочери Элизабет Брико были изъяты из-под ее опеки в апреле 2018 года, отчасти, по ее мнению, из-за алгоритма.

Брико жила со своими родственниками во Флориде, в то время как ее муж боролся с проблемами психического здоровья. Хотя они не всегда ладили, между ними сохранялся напряженный мир. Но когда аргументы угрожали вылиться, Брико ненадолго съездил в Майами, чтобы все остыло.

«У меня был при себе телефон, и я оставался в текстовом / телефонном контакте со своими родственниками, но незадолго до возвращения они позвонили на горячую линию по борьбе с жестоким обращением с детьми и сообщили, что я пропал без всякого контакта, чтобы употребить наркотики», - говорит Брико, который был в больнице. фармакотерапия и пятилетнее консультирование по поводу злоупотребления психоактивными веществами. «Свекровь сказала им, что я героиновый наркоман. Я родила Анабель во Флориде, когда принимала метадон, поэтому у меня была запись о моем лечении OUD. Следователь не пытался связаться со мной. Она подала прошение о приюте, и я узнал об этом накануне судебного заседания ».

Брико считает, что алгоритм несправедливо усилил исторические факторы в ее случае, что сильно повлияло на тех, кто принял решение забрать ее детей. Флорида, пишет она, - один из первых штатов в стране, который внедрил предиктивную аналитику как часть своей системы защиты детей.

Система повторяет распространенное предубеждение: она отрицательно сказывается на бедных и уязвимых сообществах, которые больше всего полагаются на государственные государственные программы.

Департамент по делам детей и семей Флориды (DCF) использовал данные, собранные частной аналитической компанией под названием SAS, которая опирается на общедоступную информацию, включая данные о судимости, данные о лечении от наркотиков и алкоголя, а также данные о поведенческом здоровье с 2007 по середину 2013 года. говорится на сайте компании. Цель состояла в том, чтобы составить профиль семей и определить факторы, которые могут предсказать и предотвратить жестокое обращение или смерть ребенка. Полученные результаты совпали с предыдущими менее научными качественными исследованиями, проведенными DCF за последние два года, - сказал временный секретарь Майк Кэрролл в интервью 2014 года.

Система повторяет распространенное предубеждение с алгоритмическими системами, развернутыми правительством: она негативно влияет на бедные и уязвимые сообщества, которые больше всего полагаются на государственные государственные программы. Пациенты, застрахованные в частном порядке, были исключены из системы, потому что законы о конфиденциальности защищали их личные данные.

По всей территории США аналогичные системы проходят испытания с разной степенью успеха. В округе Хиллсборо, штат Флорида, алгоритм реального времени, разработанный некоммерческой организацией Eckerd Connects, использует данные для выявления детей, которым грозит серьезная травма или смерть, однако аналогичный алгоритм от Eckerd Connects был отключен в Иллинойсе из-за его ненадежность. Другая алгоритмическая система, разработанная SAS для защиты детей, была закрыта в Лос-Анджелесе из-за опасений, что она генерирует чрезвычайно высокий уровень ложных срабатываний.

Технологические компании любят называть алгоритмы нейтральными и автономными, но растет беспокойство по поводу предвзятости таких систем. Алгоритмы регулярно дают сбои: Amazon пришлось отложить собственный алгоритм найма, потому что он был предвзято против женщин; Показано, что алгоритм, используемый для расчета рецидивов, предвзято относится к цветным людям; и малые предприятия были вынуждены отказаться от программы талонов на питание Министерства сельского хозяйства США из-за сомнительных обвинений в мошенничестве.

Как и люди, которые их разработали, алгоритмы и машинное обучение несут предубеждения, куда бы они ни пошли. Система, разработанная сегодня для поиска нового генерального директора компании, например, может использовать последние данные о лучших сотрудниках. Но эти данные предполагают, что много пожилых белых мужчин увековечивают структурные проблемы сексизма и расизма, которые сдерживают лучших кандидатов.

«Все эти алгоритмы в будущем нужно будет проверять, или будет какое-то регулирование».

Одним из способов устранения неявной предвзятости является независимая проверка алгоритмов, и эта тенденция растет в частном секторе. Предприниматель Йель Фокс применил этот подход при создании своего бизнеса Rentlogic, который использует данные общественной инспекции для информирования алгоритма, оценивающего арендодателей и их здания в Нью-Йорке. Фокс работал со специализированной консалтинговой компанией Кэти О’Нил, чья книга 2016 года Оружие разрушения математики впервые довела до сведения общественности проблему алгоритмической предвзятости. Подобно финансовому аудиту, O’Neil Risk Consulting & Algorithmic Auditing (ORCAA) проверяет алгоритмические системы на предмет воздействия, эффективности и точности.

«Алгоритмы съедают мир», - говорит Фокс. «Когда у вас есть машина, определяющая вещи, которые влияют на жизнь людей, люди хотят знать об этом. В будущем все эти алгоритмы придется проверять, иначе будет какое-то регулирование ».

Фокс говорит, что независимый аудит включал простой процесс предоставления методического доступа к его коду. Он считает, что это помогло укрепить доверие между заинтересованными сторонами его компании и придало его бренду некоторую прозрачность (при этом не открывая систему полностью таким образом, чтобы домовладельцы могли играть в нее). Аудит будет повторен в следующем году после дополнительных изменений и обновлений в системе.

Другая компания, кадровая компания Pymetrics, создала свой собственный инструмент аудита под названием AuditAI, а затем разместила его на Github, чтобы другие могли бесплатно скачать. Как рекрутеры, их аудит включал проверку информации десятков тысяч кандидатов с помощью серии тестов на предмет предвзятости.

«У нас может быть версия алгоритма, в которой 80 процентов индийских женщин сдают экзамен, но только 40 процентов афроамериканок сдают экзамен», - говорит Приянка Джайн, руководитель отдела продуктов Pymetrics. «Мы видим несоответствие в различных путях, связанных с этнической принадлежностью. Поэтому мы бы сказали: «Хорошо, этот алгоритм нечестный», и перебрали бы все разные версии, чтобы найти тот, который соответствует законам, установленным Комиссией федерального правительства по вопросам равной занятости и возможностей ».

Эксперты говорят, что трудно оценить, сколько инструментов для принятия решений на основе алгоритмов было развернуто в разросшихся штатах и ​​федеральных подразделениях правительства США, но появляется все больше свидетельств того, что плохо спроектированные алгоритмы являются проблемой.

Любой, кто разрабатывает алгоритмы, а также те, кто их проверяет, должен смотреть на необработанные входные данные, используемые для обучения процесса машинного обучения, анализируя каждую часть алгоритма, процесс проектирования и исходный код на предмет предвзятости.

«Во многих реальных случаях предвзятости и несправедливости решения принимаются таким образом», - говорит Жанна Мэтьюз, доцент информатики в Университете Кларксона и сопредседатель рабочей группы ACM по алгоритмической подотчетности и прозрачности Комитета государственной политики США. . «И я думаю, что осознание этого растет, но есть много сил, которые не хотят открывать эти ящики».

В сентябрьском отчете AI Now, исследовательского института Нью-Йоркского университета, изучающего социальные последствия искусственного интеллекта, было обнаружено, что многие учреждения здравоохранения не могут адекватно оценить истинную стоимость этих систем и их потенциальное влияние на граждан.

«Многие штаты просто выбирают инструмент оценки, используемый другим государством, обученный на исторических данных этого другого штата, а затем применяют его к новому населению, таким образом сохраняя исторические модели недостаточного финансирования и поддержки», - говорится в отчете.

В августе 2017 года двое ученых-юристов попытались проникнуть в правительственные алгоритмы черного ящика в отношении уголовного правосудия, подав 42 запроса на открытые записи в 23 штатах, ища важную информацию о шести программах алгоритмов прогнозирования. Государственные организации часто заявляли, что у них нет соответствующих записей о программах или что контракты со сторонними поставщиками не позволяют им публиковать информацию об алгоритмах.

В отдельном исследовании 2016 года были изучены миллиарды долларов, переданных местным правоохранительным органам федеральным правительством. Исследование показало, что решения о покупке фактически создают политику - а не наоборот - без каких-либо гарантий, обеспечивающих участие местных представителей или общественности в покупке технологии, и без каких-либо протоколов, касающихся использования технологий.

Было много призывов к алгоритмической подотчетности в правительственном пространстве, в том числе от AI Now, который разработал Алгоритмическую оценку воздействия в качестве практической основы подотчетности государственных органов. В отчете Центра Беркмана Кляйна Гарвардского университета за 2018 год, изучающего Интернет и общество, были даны рекомендации о том, как правительство могло бы стать более прозрачным и подотчетным за используемые им алгоритмы. На первом этапе устанавливаются технические стандарты, которые способствуют прозрачности и устраняют предвзятость, а на втором этапе вводятся инструкции по закупкам, обеспечивающие соответствие правительственного программного обеспечения этим стандартам. А между этими двумя этапами проходит алгоритмический аудит. Установление технических и этических стандартов - это возможность переосмыслить некоторые из наших социальных процессов и построить более всеобъемлющее видение будущего.

Мэтьюз считает, что любой, кто разрабатывает алгоритмы, а также те, кто их проверяет, должен смотреть на необработанные входные данные, используемые для обучения процесса машинного обучения, анализируя каждую часть алгоритма, процесс проектирования и исходный код на предмет предвзятости. Многие проблемы вызваны предвзятыми процессами и социальными предположениями прошлого, которые были перенесены в автоматизированные системы. Они могут показаться эффективными, но на самом деле они увековечивают ущерб и предрассудки.

«Исследователи сфотографировали собак и волков и использовали процесс машинного обучения, чтобы проверить, может ли компьютер правильно идентифицировать различных животных», - говорит Мэтьюз. «В этом примере машина выделяла снег вокруг волка как причину, по которой это был волк.

«Поэтому я говорю людям: вы будете собакой на снегу. Вы скажете, что неважно, что я в снегу - я все еще собака, а не волк. Но тогда возникает вопрос: во-первых, знаете ли вы, что в отношении вас принимается решение, и, во-вторых, будет ли кому-то дело? »

Элизабет Брико все еще борется за опеку над своими детьми, похоже, собакой, пойманной в снегу. Она говорит, что мало кто ставит под сомнение методы CPS, потому что мотивация агентства - защищать детей.

«Проблема в том, что они не используют методологию, основанную на фактах», - говорит она. «Они нацелены на бедных, цветных людей и людей с расстройствами, связанными с употреблением психоактивных веществ. Лица, принимающие решения, не несут ответственности, и дети и родители травмируются из-за ненужного разлуки ».

Обновление: эта история была обновлена, чтобы уточнить, что SAS предоставила данные, а не систему для DCF Флориды.