Автоматизация неравенства Вирджинии Юбэнк рассказывает нам о трех случаях в Соединенных Штатах, где местные органы власти используют технологии для принятия важных решений, касающихся жизни и благополучия людей. Первый случай произошел в Индиане, где система, разработанная IBM, была внедрена для автоматизации права на получение государственного социального обеспечения. Второй случай — это координированная система въезда в Лос-Анджелес, которая ранжирует потребность в жилье человека, который в настоящее время живет на улице. Последний случай — это алгоритм, используемый округом Аллегейни их управлением по защите детей, который оценивает семьи с целью прогнозирования того, будет ли ребенок подвергаться жестокому обращению или пренебрежению. Общей темой всех этих примеров является то, что они полагаются на огромное количество данных для создания оценок и рангов людей, которых они стремятся обслуживать. Люди, на которых они влияют, и люди, чья работа заключается в их использовании, часто плохо понимают, что представляет собой получение определенного балла. Эти системы всегда увековечивают существующее неравенство, предубеждения и предположения, преобладающие в сообществах, которым они призваны служить. Использование алгоритмов для принятия решений о том, кто получит жилье, кто имеет право на пособие и кого из родителей следует подвергнуть расследованию на предмет жестокого обращения с детьми, создает бюрократический кошмар, когда кто-то пытается бросить вызов этим системам, поскольку результаты, выдаваемые ими, обычно воспринимаются как евангелие. и неизменяемый. Конечным результатом является дегуманизация и деморализация людей, которым эти системы должны помогать.

Первый случай, рассмотренный в книге, произошел в штате Индиана, где была внедрена система, разработанная IBM и ACS, для очистки «отходов социального обеспечения». Губернатор штата Индиана Митч Дэниэлс поставил перед собой цель провести «Тест желтых страниц» для штата: если продукт или услуга указаны в желтых страницах, то штат не должен их предоставлять. Дэниелс считал, что партнерство штата с IBM и ACS сделает худшую систему социального обеспечения Америки лучше для людей, которым она служит, системы сделают это, автоматизировав право на получение социальных пособий. Для их первой попытки был открыт колл-центр, и социальные работники начали принимать звонки от населения. Были проиндексированы миллионы копий водительских удостоверений и карточек социального страхования, но сотни тысяч этих документов были утеряны. Для работников колл-центра были созданы стимулы, чтобы ускорить получение права на участие. Это было сделано путем преждевременного закрытия дел, что привело к более чем миллиону отклоненных заявок в период с 2006 по 2008 год, что на 54 процента больше, чем за три года до этого. Прислушиваясь к отзывам общественности, штат решил попробовать новый подход, основанный на модели самообслуживания, в которой больше внимания уделяется тем, кто подает заявку, чтобы они сами нашли и представили все необходимые документы. Если в этих приложениях была допущена малейшая ошибка, пользователю выплевывался один код ошибки: «Отказ от сотрудничества». Это привело к тому, что еще большему количеству людей было отказано, и почти невозможно было оспорить заявление перед судьей. Соцработники сказали заявителям, что судья увидит эту ошибку и просто откажет им. При переходе на модель самообслуживания государство также не учло, что у многих людей нет персональных компьютеров и что они недостаточно сообразительны, чтобы ориентироваться в этих сложных приложениях. Библиотеки в штате начали заполняться людьми, заполняющими заявления на получение пособий, и библиотекари были вынуждены стать социальными работниками, помогающими людям заполнять эти формы. Штат и IBM в конце концов признали, что этот подход был катастрофой, но обвинили в этом силы, неподконтрольные им. Штат теперь перешел на гибридную модель, управляемую Xerox, однако социальные работники признают, что не видят разницы. Эти системы действуют с точки зрения того, что лучше отказать десяти людям, имеющим право на получение пособия, чем одобрить одного человека, который не имеет права, не облегчая контроль за входом.

В городе Лос-Анджелес была введена скоординированная система въезда для оценки потребности в жилье бездомных. Система была описана как match.com служб для бездомных и поддерживалась такими организациями, как Альянс за искоренение бездомности и Фонд Билла и Мелинды Гейтс. Скоординированная запись была создана для устранения несоответствия между предложением жилья и спросом на жилье в округе Лос-Анджелес. До появления этой системы бездомным приходилось ориентироваться в сложной паутине списков ожидания и социальных программ. Скоординированное вхождение было основано на приоритетной классификации, которая различает кризисных бездомных и хронических бездомных, а также жилье прежде всего философия, которая направлена ​​на предоставление людям жилья независимо от других условий, таких как трезвость или психиатрическое лечение. Социальные работники ходят по улицам центра Лос-Анджелеса и осматривают тех, кто нуждается в жилье, оценки вводятся в Информационную систему управления бездомными (HMIS). Алгоритм ранжирования присваивает человеку ранг от 1 до 17. 1 означает, что опрошенный человек относится к группе низкого риска с небольшой вероятностью смерти, 17 означает, что человек наиболее уязвим. При баллах от 0 до 3 жилищное вмешательство не проводится, от 4 до 7 — ограниченные/временные субсидии на аренду, а от 8 до 17 — постоянная поддержка. Юбэнкс поговорил с несколькими людьми, которым эта система предоставила или отказала в жилье, и оказалось, что не было единого мнения о том, почему они имеют право на получение жилья по сравнению с другими. Все люди, с которыми она разговаривала, сталкивались с разными проблемами, но некоторым из них было отказано в жилье по сравнению с другими, которые оказались в не такой ужасной ситуации. Уловка-22 может быть создана при взаимодействии с этими системами, высокий балл может указывать на то, что вы нуждаетесь в постоянном вспомогательном жилье (которого не хватает), но слишком уязвимы, чтобы получить собственное жилье. Люди, которые взаимодействовали с системами и социальными работниками, также чувствовали, что те, кто пытается им помочь, обучают их во время вступительного собеседования давать ответы, которые снижают их право на участие. Еще одним вопросом сотрудничества с этими системами является объем предоставляемой личной информации. Если заявители запрашивают форму конфиденциальности, им сообщают, что их информация будет передана 168 различным организациям, включая LAPD.

В округе Аллегейни, штат Пенсильвания, был внедрен инструмент скрининга для прогнозирования вероятности жестокого обращения с детьми и безнадзорности. Эта модель прогнозирующего риска будет присваивать детям баллы на основе нескольких сопутствующих факторов. В стране жестокое обращение определяется как нанесение телесных повреждений ребенку, а безнадзорность определяется как длительное или повторяющееся отсутствие присмотра, которое подвергает ребенка опасности. Оценки варьируются от 1 до 20, где 1 — самый низкий риск, а 20 — самый высокий. Прежде чем этот инструмент был введен в действие, сообразительный государственный служащий с большим бюджетом решил создать хранилище данных, которое включало бы информацию из окружного отдела социальных служб, государственных служб социальной помощи и т. д. Хранилище данных расположено на двух серверах и содержит более 1 миллиарда записей, что соответствует 800 записям на человека в округе. Годовая стоимость склада, которым управляет Deloitte, составляет 15 миллионов долларов в год. Инструмент скрининга, созданный для оценки риска жестокого обращения с детьми или безнадзорности, подключается непосредственно к этому хранилищу данных. Это приводит к ситуации, когда любой, кто когда-либо взаимодействовал с местной или государственной помощью, автоматически получает балл, потому что в прошлом семья пользовалась государственными услугами. Это создает крайнюю предвзятость, поскольку конечным результатом является система, которая непропорционально нацелена на более бедных людей и ставит под сомнение их родительские способности. Средний класс и богатые люди меньше полагаются на государственную помощь, поэтому они, вероятно, даже не существуют в хранилище данных, что не дает им оценки риска, если на них не подается жалоба напрямую. В 2016 году в округе Аллегейни было зарегистрировано 15 139 сообщений о жестоком обращении или пренебрежении, инструмент проверки дал неверные результаты в 3633 из этих случаев. Поскольку набор данных, используемый этим инструментом, использует информацию только о семьях, которые пользуются общественными услугами, он гарантированно дает тысячи ложноотрицательных и положительных результатов ежегодно.

Юбэнкс на протяжении всей книги подчеркивает, что, хотя эти высокотехнологичные системы используются для дискриминации уязвимых слоев населения, цель криминализации и наказания бедных не является чем-то новым для Америки. Юбэнкс восходит к временам Дома для бедных, которые были домами, в которые людей, сталкивающихся с экономическими трудностями, отправляли жить на протяжении 1800–1900-х годов. В то время общественность считала, что размещение людей в этих домах обеспечивает им заботу и прививает моральные ценности бережливости и трудолюбия. Реальностью бедных домов были ужасные условия жизни, недоедание, общественный позор, отнятие у вас детей и потеря основных гражданских прав. Можно сказать, что эти высокотехнологичные системы просто помогают поддерживать давнюю американскую традицию наблюдения, профилирования и наказания бедных. С помощью технологий богадельня превратилась в цифровую богадельню. Является ли это такой же американской традицией, как яблочный пирог?

Примеры, происходящие в Индиане и округе Аллегейни, имеют нечто общее, о чем стоит упомянуть. Обе они являются постиндустриальными областями, которые сильно пострадали от глобализации. В книге рассказывается о том, как в обоих этих местах основные отрасли промышленности упаковались и ушли, не оставив возможностей для жилья. В этих примерах мы имеем дело с правительствами, которые имеют очень ограниченное количество ресурсов для обслуживания своих сообществ. Эти системы были созданы для того, чтобы лучше использовать очень ограниченные ресурсы, которые у них были, но в конечном итоге они принесли больше вреда, чем пользы. Цель в Индиане заключалась в том, чтобы уменьшить количество случаев мошенничества в области социального обеспечения, хотя да, это происходит гораздо реже, чем люди думают. Эти два примера, на мой взгляд, гораздо больше отражают преобладающий на Западе стиль правления неолиберальной/чикагской школы, чем просто утверждение о том, что технологии — это зло. Технологии — это инструмент, используемый этими опустошенными правительствами для дискриминации прав своего населения на получение государственных ресурсов и того, кто должен быть расследован государством. Хотя технологии, безусловно, играют важную роль в рассмотрении примеров, упомянутых в этой книге, они не единственный злодей в этих историях. Если мы вспомним исторический пример, мы знаем, что перфокарты IBM использовались СС для каталогизации тех, кого отправляли в концлагеря. Да, перфокарты IBM способствовали совершению зверств в этих лагерях, но мы не виним IBM в холокосте. Более серьезная проблема заключается в политической системе и экономической структуре, в которой эти технологии вынуждены работать.