В своем выступлении на ODSC East 2018 доктор Кэтрин (Кэти) О'Нил, автор бестселлера New York Times Оружие математического разрушения,описала подводные камни слепого доверия алгоритмам. На ряде примеров доктор О’Нил показал, как алгоритмы, часто считающиеся неприкосновенными, когда окутаны аурой сложной математики, могут способствовать принятию решений, нарушающих юридические, человеческие и конституционные права людей.
Ключевые выводы:
- Алгоритмы, какими бы полезными они ни были, помогая нам принимать важные решения для бизнеса, политики и общественной жизни, могут способствовать принятию решений, нарушающих права людей.
- Люди склонны слепо доверять алгоритмам, особенно тем, которые окутаны густым облаком сложной математики.
- Лица, участвующие в создании и использовании алгоритмов, должны учитывать этические последствия их использования.
- На федеральном уровне нам нужно «Управление по санитарному надзору за качеством пищевых продуктов и медикаментов для алгоритмов», способное оценивать потенциальные риски и преимущества алгоритмов, используемых в массовом масштабе.
В одном случае, о котором рассказал О'Нил, учителей увольняли в результате «Системы оценки добавленной стоимости образования», используемой независимым школьным округом Хьюстона, штат Техас. Когда учителя начали подвергать сомнению методологию системы, которая, как оказалось, состояла из алгоритмов, используемых для оценки и ранжирования работы учителей, им сказали, что EVAAS является собственностью и конфиденциальна.
Однако при дальнейшем расследовании было обнаружено, что алгоритмы использовались для почти случайного увольнения людей и фактически поощряли учителей обманывать отчеты в классе, чтобы повысить свои баллы. Когда дело было передано в суд, федеральный судья постановил, что процессуальные права шести уволенных учителей были нарушены в результате EVAAS.
"Продолжай читать.."
