Закон о справедливых жилищных условиях может быть нарушен новой интерпретацией, которая позволит технологическим компаниям продавать предвзятые алгоритмы - и избежать наказания за это.

Новая интерпретация жилищного закона, принятого администрацией Трампа более 50 лет назад, может стимулировать использование предвзятых алгоритмов в жилищной отрасли, одновременно защищая банки и фирмы по недвижимости от судебных исков, которые могут возникнуть.

Согласно документам, опубликованным на прошлой неделе агентством по расследованию расследований Reveal, Департамент жилищного строительства и городского развития (HUD) рассматривает новое правило, которое изменит его толкование Закона о справедливом жилищном обеспечении 1968 года. Закон прошел через Конгресс в разгар движения за гражданские права, защищающего защищаемые классы от дискриминации. Предложение, которое не было обнародовано, как сообщается, включает формулировку, которая защитит компании, использующие сторонние алгоритмы для обработки заявок на получение жилья или ссуды, предоставив конкретную основу для того, как они могут опровергнуть заявления о предвзятости.

Представитель HUD сообщил, что предложение было направлено в Конгресс для обязательного рассмотрения перед публикацией.

«По завершении этого периода проверки (очень скоро) мы опубликуем это правило в Федеральном реестре», - сказал представитель. «До тех пор мы ограничены в том, что мы можем сказать публично, поскольку Конгресс продолжает обзор».

Между тем эксперты, беседовавшие с OneZero, говорят, что в предложении неправильно понимается, как искусственный интеллект может дискриминировать людей на рынке жилья, и что этот шаг устранит стимулы для компаний проверять свои алгоритмы на предмет предвзятости.

В настоящее время Закон о справедливом жилищном обеспечении защищает от «разного влияния» на так называемые защищенные классы - это означает, что вам не может быть отказано в ссуде или заявлении из-за вашей расы, пола, религии или другого защищенного статуса. Предлагаемое обновление усложнит людям возможность доказать несопоставимое влияние автоматизированных программ, а не человеческое суждение. Истцы, заявляющие о предвзятости алгоритма в судебном процессе, должны будут доказать пять отдельных элементов, чтобы выиграть дело против компании, использующей алгоритмические инструменты.

Предложение также обеспечивает основу для того, как компании могут избежать ответственности за используемые ими алгоритмы.

Например, необходимо доказать, что алгоритм не различает по уважительной причине. Это означает, что если бы алгоритм использовался для прогнозирования долгосрочной кредитоспособности, но он также оказался сильно предвзятым против определенной расы людей, он мог бы не соответствовать критериям успешного судебного процесса. Это может быть истолковано как означающее, что некоторые уровни дискриминации будут допускаться HUD до тех пор, пока алгоритм функционирует хорошо с финансовой точки зрения.

Также потребуются судебные иски, чтобы доказать, что защищенные классы являются конкретным объектом нападения - истец должен быть в состоянии продемонстрировать, что алгоритм систематически отказывает женщинам в ссуде, например, на основании их пола, а не о том, что он отказывает женщинам в ссуде. по другим, финансово приемлемым причинам.

Предложение также обеспечивает основу для того, как компании могут избежать ответственности за используемые ими алгоритмы. Один из таких способов - заставить квалифицированного эксперта сказать, что их система не имеет изъянов. Еще одна защита, указанная в предложении HUD, - это идентификация входных данных, используемых в модели, и демонстрация того, что эти входные данные не заменяют защищенную характеристику. Например, расследование ProPublica в 2017 году показало, что с некоторых почтовых индексов с большим количеством меньшинств взимается плата за страхование автомобилей больше, чем с белых кварталов с таким же уровнем риска. В данном случае почтовые индексы по существу использовались как заменитель расы: хотя программа не была специально предназначена для вымогательства меньшинств, она вполне могла быть таковой.

Но просто исключить из уравнения такие входные данные, как почтовые индексы, недостаточно, чтобы остановить дискриминацию со стороны новых алгоритмических технологий. Алгоритмы, основанные на глубоком обучении, принимают решения, обнаруживая закономерности в выборе, который люди делали в прошлом. Алгоритм создает свой собственный набор правил для применения в будущих примерах, хранящихся в виде сложной сети длинных цепочек чисел, не интерпретируемых людьми - даже теми, кто создал алгоритм.

Опасность заключается в том, что, обучаясь определять, кто достоин аренды квартиры или получения жилищного кредита, путем анализа существующих решений, эти глубокие нейронные сети обнаружат скрытые индикаторы расы, класса, пола, возраста или религии, а затем начнут эффективно их анализировать. различать по этим линиям.

«Вся сила многих систем глубокого обучения заключается в том, что они обнаруживают корреляции, невидимые невооруженным глазом», - говорит Р. Дэвид Эдельман, который был старшим советником президента Барака Обамы по технологиям и экономической политике, а сейчас работает в Массачусетском технологическом институте и руководит этой организацией. Проект по технологиям, экономике и национальной безопасности. «Они находят связи, которые мы не видим в людях, а затем действуют на них согласованно друг с другом».

«Причина, по которой он создает потенциально невозможный стандарт доказывания, заключается в том, что простого просмотра исходных данных недостаточно», - добавляет Эдельман. «Вместо этого единственный способ быть уверенным - это действительно опросить саму модель: ее обучающие данные, ее работу и, в конечном итоге, ее результаты».

Предложение HUD перечисляет еще одну защиту для банков, страховщиков или других компаний, занимающихся недвижимостью, которые будут использовать алгоритмы: перекладывание ответственности на третью сторону, создавшую алгоритм. Если банк купил алгоритм расчета риска у технологической компании, то банк не будет нести ответственности за решения, принятые алгоритмом, поскольку банк его не создавал и не поддерживал. Но в предложении не говорится, что технологическая компания несет ответственность - просто банк не несет ответственности.

«Это написано таким образом, что в значительной степени дает страховой отрасли широкий иммунитет, [поэтому] у них нет причин пытаться установить конкретные стандарты».

В предложении также упоминается, что в этом сценарии банк не несет ответственности, если алгоритм будет «отраслевым стандартом». Далее говорится, что «в этих ситуациях ответчик может не иметь доступа к причинам использования этих факторов или может даже не иметь доступа к самим факторам и, следовательно, не сможет защитить саму модель».

Проблема в том, что в настоящее время таких стандартов не существует, по словам Рашиды Ричардсон, директора по политическим исследованиям в A.I. научно-исследовательский комплекс AI Now.

«Не существует общих стандартов для разработки моделей или для коммерчески продаваемых алгоритмических моделей», - говорит Ричардсон OneZero. «И поскольку это написано таким образом, что это в значительной степени дает страховой отрасли широкий иммунитет, у них нет причин пытаться установить конкретные стандарты». Другими словами, корпорации выигрывают от мягких стандартов, в то время как соискатели кредита и клиенты проигрывают.

Важно отметить, что это предложение еще не опубликовано для общественного обсуждения, что является следующим шагом в принятии интерпретации правила. Неясно, было ли это направлено в Управление информации и нормативно-правового регулирования для доработки или насколько близка к тому периоду общественного обсуждения.

Но если это правило вступит в силу, это будет иметь серьезные последствия для жилищной отрасли. Он представляет собой практически полное укрытие от ответственности в соответствии с Законом о справедливом жилищном обеспечении, потому что бремя доказывания было бы очень высоким для тех, кто мог быть подвергнут дискриминации, а стратегии для банков и других компаний по защите от обвинений в несоизмеримых воздействиях таковы. Чисто.

Суть правила заключается в том, что оно приносит пользу тем, кто использует алгоритмы, ограничивая их ответственность за действия этих алгоритмов, и затрудняет противодействие этим решениям тем, кто потенциально подвергается дискриминации.

Эта линия нормотворчества еще больше усложняет решение о том, как модернизировать и внедрить искусственный интеллект, с которым сейчас сталкивается большая часть частного сектора. Во многих случаях искусственный интеллект может учиться только на прошлых решениях людей, но это человеческое суждение пронизано предвзятостью и культурными артефактами дискриминации.

Это правило освобождает операторов алгоритмов от ответственности за решения, принимаемые машиной, - отголосок идеала Кремниевой долины «действовать быстро и ломать вещи». И если компании пытаются использовать это искусственное суждение как какую-либо замену человеческому суждению, вполне возможно, что они это сделают.