краткий ответ
Небольшие ошибки, экстремальное воздействие
Этот вопрос становится все более актуальным и важным для обсуждения в связи с ростом осведомленности и расовой напряженности в США. Статистически задокументированы расовые различия среди арестованных (особенно в отношении преступлений, связанных с хранением марихуаны, когда черные и белые употребляют ее примерно одинаково, но чернокожих арестовывают гораздо чаще). Таким образом, мы должны быть крайне осторожны с внедрением технологий, которые могут увеличить это неравенство. Хотя все исследователи знают об ошибках 1-го и 2-го типа и знают, как справляться с ними, мы не должны относиться к ним легкомысленно, когда они резко влияют на жизнь реальных людей (ложно помечая чернокожих как преступников и не помечая белых как преступников).
Непрозрачные методы
Ведущий алгоритм криминального риска поддерживается коммерческой организацией Northpointe. Таким образом, мы должны быть еще более осторожными, используя его для такой деликатной и деликатной вещи, как предсказание преступлений. Тот факт, что алгоритм не раскрывается публично, открывает двери для злоупотреблений. Northpointe серьезно влияет на жизнь очень многих людей, и они даже не раскрывают свои методы. Хотя вокруг этого вопроса ведется много споров, кажется разумным согласиться с тем, что принадлежность к меньшинству в США имеет определенные недостатки. Таким образом, в зависимости от конкретных переменных и характеристик, используемых в алгоритме оценки криминального риска, меньшинства, скорее всего, находятся в де-факто невыгодном положении просто потому, что они составляют меньшинство. Короче говоря, это системный расизм.
Новый Джим Кроу
В целом кажется, что любое применение машинного обучения для оценки криминального риска следует воспринимать с недоверием и использовать только в тандеме со здравым человеческим суждением. В противном случае мы, по сути, позволяем практикам науки о данных Джима Кроу формировать наше общество.
