Когда Wellcome Data Labs задумалась о разработке продуктов для этической науки о данных, как и другие члены моей команды, у меня возникло множество вопросов о создаваемом нами алгоритме. Откуда взялись данные для обучения? Могут ли данные быть необъективными? Смещены ли выходы? Справедливы ли компромиссы в алгоритме? Но вскоре мы поняли, что есть гораздо больше вопросов, чем просто работа алгоритма.

Как команда, мы пришли к пониманию того, что осознание принципа справедливости, заложенного в алгоритм, - это всего лишь один шаг к этическому осмыслению технических продуктов. Обдумывание ответственного продукта и дизайнерские решения также имеют решающее значение.

Однако мне было трудно понять, с чего начать и как разные усилия объединяются для достижения одной и той же цели. Попытка найти «правильный способ» создания продукта для обработки данных временами казалась ошеломляющей и запутанной.

Итак, чтобы попытаться разобраться во всех интересных занятиях, дебатах и ​​обсуждениях, происходящих в команде, я решил нарисовать модель:

С помощью дружелюбного дизайнера и участия команды вышеперечисленные завитки и плохо нарисованные формы превратились в диаграмму ниже, и это стало основой того, как наша команда пытается думать об этических и ответственных усилиях при разработке продукта.

Такой образ мышления помог команде задуматься над такими вопросами, как:

  • Каковы компромиссы при разработке алгоритма и какое влияние это окажет на наших пользователей и общество в целом?
  • Как мы собираемся обнаруживать этические проблемы, если они неожиданно возникают при использовании продукта?
  • Являются ли данные обучения несправедливо предвзятыми и как это влияет на остальную часть продукта?

Почему существуют безответственные технологические продукты

В меньшинстве случаев создатели технологических продуктов знают, что создаваемые ими продукты вредны для людей. Существуют некоторые регулирующие механизмы для защиты людей от этого вреда, такие как GDPR и Белая книга о вреде онлайн правительства Великобритании. В других случаях, таких как темные паттерны (например, петли обратной связи от зависимости, (чрезмерно) убедительный дизайн и манипулирование настройками по умолчанию), контроль или защита практически отсутствуют.

Чаще всего вредные продукты создаются без намерения причинить вред их создателям. Мы полагаем, что это происходит в основном по следующим причинам:

1Недостаток пространства для размышлений. Поскольку многие технологические компании по-прежнему уделяют основное внимание раннему выпуску конкурентоспособных продуктов, обычно не хватает места для рассмотрения непредвиденных последствий в цикле разработки продукта. Это очень сильно связано с нормами отрасли. Мало того, что уделять время этическому мышлению необычно, но и социально это не поощряется - многие из нас осознают абсолютную силу социальных норм.

2 Когнитивные и социальные предубеждения. Обычно люди не очень хорошо умеют предсказывать, что пойдет не так, если этого не произошло раньше. Это может объясняться целым рядом когнитивных и социальных предубеждений, включая неявное предубеждение (например, предубеждение), из-за которого мы можем упустить из виду важность проблемы, или предубеждение в отношении доступности, которое гарантирует, что то, что предсказуемо с наибольшей вероятностью произойдет, основано на нашем прошлом опыте.

Мы также, вероятно, предпочтем сохранить нынешние способы ведения дел, известные как предубеждение статус-кво; это не позволяет нам задумываться о негативных непредвиденных последствиях, если это не является нормой при разработке продукта.

В других случаях мы можем быть слишком уверены в положительном эффекте нашего продукта (предвзятость оптимизма), и поэтому нам трудно понять, как это может пойти не так.

Возьмем, к примеру, катастрофу на нефтяной платформе Deepwater Horizon 2010, когда 200 миллионов галлонов сырой нефти хлынули в Мексиканский залив в результате отказа руководства компании принять доказательства рисков. Короче говоря, как всем известно, люди не всегда рациональны, и каждый из нас должен продолжать осознавать это.

Подумайте о науке о данных и разработке продуктов как по отдельности, так и вместе

Вы увидите, как эта диаграмма отделяет алгоритмическую разработку от разработки продукта. Мы обнаружили, что это важное различие; Иногда наука о данных окутана идеями о том, что негативное влияние продукта вызвано факторами, которые возникают в результате работы алгоритма. Хотя это иногда так, существует так много примеров безответственного дизайна продукта, независимо от используемой технологии, что приводит к ущербу.

Руководители, которые призывают своих программистов действовать быстро и ломать вещи, явно ожидают, что кто-то другой возьмется за дело. - Лиззи О’Ши

В то же время существует множество исследований и проверок алгоритмов, которые могут выполнять только специалисты по данным. Хотя посторонние могут задавать вопросы, единственные люди, которые могут оценить алгоритм, - это специалисты по данным. Вот почему наши специалисты по данным в настоящее время изучают алгоритм на предмет неточностей в различных группах, чтобы проверить наличие несправедливой предвзятости, а также анализ компромиссов между ложноположительными и ложноотрицательными.

Ничего из этого не сработает, если у нас не будет….

Встроенная осведомленность в команде: нам необходимо участие всей команды и активное мышление, чтобы превратить проактивное этическое мышление в реальность.

Согласованные ценности. Чтобы избежать бесконечных споров о том, «что делать правильно», нам нужны определенные этические ценности и принципы, которые будут направлять нас в том же направлении.

Взаимодействие с внутренними и внешними сообществами. Мы не можем проводить этот процесс в отрыве от тех, кто интересуется этикой технологий / данных / машинного обучения.

Итак, что же нам остается?

Эта диаграмма представляет собой руководство для размышлений о следующих шагах, таких как алгоритмические обзоры и согласование этических ценностей команды. Мы не можем реально достичь всех его аспектов, но на каждом следующем шаге мы все яснее понимаем, как это соотносится с более широкой картиной. Несомненно, он будет развиваться вместе с обучением и мышлением команды, поскольку мы продолжаем экспериментировать с внедрением этических норм в процессы продуктовой группы.

Если у вас есть отзывы об этом подходе или они заставили вас задуматься об этичной разработке продукта, мы будем рады услышать от вас. Оставьте свои комментарии здесь или напишите мне на [email protected]