Алгоритмический сбой

Если копнуть глубже в некоторых из самых больших противоречий в области технологий сегодня, вы, вероятно, обнаружите, что алгоритм дает сбой: [1]

Эти ошибки в первую очередь вызваны не проблемами в данных, которые могут сделать алгоритмы дискриминационными, или их неспособностью творчески импровизировать. Нет, они проистекают из чего-то более фундаментального: того факта, что алгоритмы, даже когда они генерируют обычные прогнозы на основе непредвзятых данных, будут делать ошибки. Ошибаться - это алгоритм.

Затраты и преимущества алгоритмического принятия решений

Мы не должны отказываться от использования алгоритмов просто потому, что они делают ошибки. [2] Без них многие популярные и полезные сервисы были бы нежизнеспособны. [3] Однако мы должны признать, что алгоритмы подвержены ошибкам, и что их ошибки имеют расходы. Это указывает на важный компромисс между большим количеством полезных решений (с использованием алгоритмов) и большим количеством дорогостоящих ошибок (вызванных алгоритмом). Где баланс?

Экономика - это наука о компромиссах, так почему бы не подумать об этой теме, как экономисты? Это то, что я сделал перед написанием этого блога, создав три простых эпизода по экономике, в которых рассматриваются ключевые аспекты алгоритмического принятия решений. [4] Это ключевые вопросы:

  • Риск: когда мы должны оставить решения на усмотрение алгоритмов и насколько точными должны быть эти алгоритмы?
  • Надзор. Как совместить человеческий и машинный интеллект для достижения желаемых результатов?
  • Масштаб. Какие факторы позволяют и ограничивают нашу способность наращивать алгоритмические процессы принятия решений?

В двух следующих разделах дается суть анализа и его значение. В приложении в конце виньетки описаны более подробно (с уравнениями!).

Моделирование моделирование

Риск: не бойтесь

Как однажды заметил американский психолог и экономист Герберт Саймон, в мире, насыщенном информацией, внимание становится дефицитным ресурсом. Это относится как к организациям, так и к отдельным лицам.

Продолжающаяся революция данных рискует подавить нашу способность обрабатывать информацию и принимать решения, и алгоритмы могут помочь в решении этой проблемы. Это машины, которые автоматизируют процесс принятия решений, потенциально увеличивая количество правильных решений, которые может принять организация. [5] Это объясняет, почему они первыми взлетели в отраслях, где объем и частота потенциальных решений превышают допустимые. человеческая рабочая сила может обрабатывать. [6]

Что движет этим процессом? Для экономиста главный вопрос заключается в том, какую ценность алгоритм принесет своими решениями. Рациональные организации будут применять алгоритмы с высокими ожидаемыми значениями.

Ожидаемая ценность алгоритма зависит от двух факторов: его точности (вероятности того, что он примет правильное решение) и баланса между вознаграждением за правильное решение и штрафом за ошибочное. [7] Более рискованные решения (где штрафы большие по сравнению с вознаграждениями) должны выполняться по высокоточным алгоритмам. Вы бы не хотели, чтобы на атомной электростанции работал шаткий робот, но было бы нормально, если бы он просто подсказывал вам, какое телешоу смотреть сегодня вечером.

Надзор: осторожно

Мы могли бы привлечь людей-контролеров, чтобы они проверяли решения, принимаемые алгоритмом, и исправляли любые обнаруженные ими ошибки. Это имеет больше смысла, если алгоритм не очень точен (руководители не тратят много времени на проверку правильных решений), а чистая выгода от исправления неправильных решений (т. Е. Дополнительных вознаграждений плюс предотвращенных штрафов) высока. Стоимость тоже имеет значение. У рациональной организации больше стимулов нанимать руководителей-людей, если им мало платят и если они высокопроизводительны (т. Е. Для выполнения работы требуется лишь несколько из них).

Следуя предыдущему примеру, если человек-супервайзер исправляет глупую рекомендацию на телевизионном веб-сайте, это вряд ли принесет большую пользу владельцу. Совершенно иная ситуация на АЭС.

Масштаб: гонка между машинами и реальностью

Что происходит, когда мы увеличиваем количество алгоритмических решений? Есть ли пределы его росту?

Это зависит от нескольких факторов, в том числе от того, приобретают или теряют точность алгоритмы по мере того, как они принимают больше решений, и от затрат на усиление алгоритмического принятия решений. В этой ситуации проходят две интересные гонки.

1. Существует гонка между способностью алгоритма извлекать уроки из принимаемых им решений и объемом информации, которую он получает из новых решений. Новые методы машинного обучения помогают алгоритмам учиться на опыте, делая их более точными, поскольку они принимают больше решений. [8] Однако большее количество решений также может ухудшить точность алгоритма. Возможно, ему приходится иметь дело с более странными случаями или новыми ситуациями, с которыми он не обучен. [9] Что еще хуже, когда алгоритм становится очень популярным (принимает больше решений), у людей появляется больше причин играть с ним. .

Я прихожу к выводу, что «энтропийные силы», ухудшающие точность алгоритмов, в конце концов победят: сколько бы больше данных вы ни собрали, сделать точные прогнозы относительно сложной динамической реальности просто невозможно.

2. Вторая гонка - между специалистами по обработке данных, создающими алгоритмы, и руководителями, проверяющими решения этих алгоритмов. Специалисты по обработке данных, вероятно, «превзойдут» человеческих руководителей, потому что их продуктивность выше: один алгоритм или улучшение алгоритма можно масштабировать на миллионы решений. Напротив, надзорным органам необходимо проверять каждое решение индивидуально. Это означает, что по мере увеличения количества решений большая часть затрат организации на оплату труда будет потрачена на надзор, с потенциально растущими расходами по мере того, как процесс надзора становится больше и усложняется.

Что происходит в конце?

При совместном рассмотрении снижение алгоритмической точности и рост затрат на рабочую силу, которые я только что описал, вероятно, ограничат количество алгоритмических решений, которые организация может принять с экономической точки зрения. Но если и когда это произойдет, зависит от специфики ситуации.

Последствия для организаций и политики

Процессы, которые я обсуждал выше, имеют много интересных организационных и политических последствий. Вот некоторые из них:

1. Поиск подходящего алгоритма и предметной области

Как я уже сказал, алгоритмы, принимающие решения в ситуациях, когда ставки высоки, должны быть очень точными, чтобы компенсировать высокие штрафы, когда что-то идет не так. [10] С другой стороны, если штраф за совершение ошибки низкий, даже неточные алгоритмы могут справиться с этой задачей.

Например, механизмы рекомендаций на таких платформах, как Amazon или Netflix, часто дают нерелевантные рекомендации, но это не большая проблема, потому что штраф за эти ошибки относительно невелик - мы просто игнорируем их. Специалист по анализу данных Хиллари Паркер обратила внимание на необходимость учитывать соответствие между точностью модели и контекстом принятия решения в недавнем выпуске подкаста Не такие стандартные отклонения:

«Большинство статистических методов были адаптированы для реализации клинических испытаний, в которых вы говорите о жизнях людей и людях, умирающих из-за неправильного лечения, тогда как в бизнес-среде компромиссы совершенно разные»

Одно из следствий этого состоит в том, что организации, работающие в условиях «низких ставок», могут экспериментировать с новыми и непроверенными алгоритмами, в том числе с алгоритмами с низкой точностью на раннем этапе. По мере их усовершенствования они могут быть переведены в «домены с высокой долей участия». Технологические компании, которые разрабатывают эти алгоритмы, часто выпускают их как программное обеспечение с открытым исходным кодом, чтобы другие могли загрузить и улучшить, что делает возможным распространение этих алгоритмов.

2. Есть ограничения на алгоритмическое принятие решений в областях с высокими ставками.

Алгоритмы необходимо применять гораздо более осторожно в областях, где штрафы за ошибки высоки, таких как здравоохранение или система уголовного правосудия, а также при работе с группами, которые более уязвимы для алгоритмических ошибок. [11] Только высокоточные алгоритмы подходят для этих рискованных решений, если они не сопровождаются дорогостоящими руководителями, которые могут находить и исправлять ошибки. Это создаст естественные ограничения для алгоритмического принятия решений: сколько людей вы можете нанять для проверки расширенного числа решений? Человеческое внимание остается препятствием для принятия большего количества решений.

Если разработчики политики хотят более широкого и лучшего использования алгоритмов в этих областях, им следует инвестировать в НИОКР для повышения алгоритмической точности, поощрять внедрение высокопроизводительных алгоритмов из других секторов и экспериментировать с новыми способами организации, которые помогают алгоритмам и их руководителям работать лучше как команда.

Коммерческие организации не застрахованы от некоторых из этих проблем: YouTube, например, начал блокировать рекламу в видеороликах с менее чем десятью тысячами просмотров. В этих видео награда от правильного алгоритмического сопоставления объявлений, вероятно, низкая (у них низкая посещаемость), а штрафы могут быть высокими (многие из этих видео имеют сомнительное качество). Другими словами, эти решения имеют низкую ожидаемую ценность, поэтому YouTube решил прекратить их принимать. Между тем, Facebook только что объявил, что нанимает 3000 человек-контролеров (почти пятая часть нынешнего штата сотрудников) для модерации контента в своей сети. Вы можете себе представить, как необходимость контролировать большее количество решений может несколько притормозить его способность бесконечно масштабировать процесс принятия алгоритмических решений.

3. Плюсы и минусы краудсорсингового надзора.

Один из способов сохранить низкие затраты на супервизию и высокий охват решений - это краудсорсинг надзора для пользователей, например, путем предоставления им инструментов для сообщения об ошибках и проблемах. YouTube, Facebook и Google сделали это в ответ на свои алгоритмические разногласия. Увы, привлечение пользователей к полицейским онлайн-сервисам может показаться несправедливым и неприятным. Как отметила Сара Т. Робертс, профессор права в недавнем интервью о скандале с видео с насилием в Facebook:

«Этот материал часто прерывают, потому что кто-то вроде вас или меня сталкивается с этим. Это означает, что целая группа людей увидела это и отметила это, внося свой труд и внося свой вклад в нечто ужасное. Как мы будем поступать с членами сообщества, которые, возможно, увидели это и получили травму сегодня? »

4. Почему вы всегда должны держать человека в курсе

Даже когда штрафы за ошибку низкие, все же имеет смысл держать людей в курсе алгоритмических систем принятия решений. [12] Их наблюдение обеспечивает буфер против внезапного снижения производительности, если (как) снижается точность алгоритмов. Когда это происходит, количество обнаруженных людьми ошибочных решений и чистая выгода от их исправления возрастают. Они также могут бить тревогу, сообщая всем, что есть проблема с алгоритмами, которую необходимо исправить. [13]

Это может быть особенно важно в ситуациях, когда ошибки приводят к штрафам с задержкой или штрафам, которые трудно измерить или скрыть (например, если ошибочные рекомендации приводят к самоисполняющимся пророчествам или к расходам, которые понесены за пределами организации).

Примеров тому множество. В споре о рекламе на YouTube большой накопленный штраф за предыдущие ошибки стал очевиден только с задержкой, когда бренды заметили, что их реклама размещается против видеороликов, разжигающих ненависть. Споры с фальшивыми новостями после выборов в США являются примером трудноизмеримых затрат: неспособность алгоритмов различать настоящие новости и подделки создает издержки для общества, потенциально оправдывая более строгие правила и усиление человеческого контроля. Политики подчеркивали это, призывая Facebook усилить борьбу с фейковыми новостями в преддверии выборов в Великобритании:

«Глядя на часть проделанной к настоящему времени работы, они не реагируют достаточно быстро или вообще не реагируют на некоторых рефералов пользователей, которых они могут получить. Они могут довольно быстро определить, когда что-то становится вирусным. Затем они должны иметь возможность проверить, является ли эта история правдой, и, если она фальшивка, заблокировать ее или предупредить людей о том, что она оспаривается. Это не могут быть просто пользователи, ссылающиеся на достоверность истории. Они [Facebook] должны решить, является ли история фальшивкой ».

5. От абстрактных моделей к реальным системам

Прежде чем использовать экономические модели для информирования о действиях, нам необходимо определить и измерить точность модели, штрафы и вознаграждения, изменения в алгоритмической производительности из-за нестабильности окружающей среды, уровни надзора и связанные с ними затраты, и это только начало. [14]

Это сложная, но важная работа, которая может опираться на существующие технологии оценки и инструменты оценки, включая методы для количественной оценки неэкономических результатов (например, в области здравоохранения). [15] Можно даже использовать обширные данные из информационных систем организации для моделирования влияние алгоритмического принятия решения и его организация до его реализации. Мы видим все больше примеров таких приложений, таких как пилотные проекты финансового« regtech », которые проводит Европейская комиссия, или инкубаторы сговора, упомянутые в недавней статье журнала Economist о ценовой дискриминации.

Coda: поэтапная социальная инженерия в эпоху алгоритмов

В прошлогодней статье в журнале Nature американские исследователи Райан Кало и Кейт Кроуфорд призвали к практическому и широко применимому анализу социальных систем, [который] учитывает все возможные воздействия систем ИИ на все стороны [опираясь на] философию, право, социологию, антропологию, исследования науки и технологий и другие дисциплины . Кало и Кроуфорд не включили в свой список экономистов. Тем не менее, как предполагает этот блог, экономическое мышление может внести большой вклад в эти важные анализы и дискуссии. Рассмотрение алгоритмических решений с точки зрения их выгод и затрат, организационных структур, которые мы можем использовать для управления их недостатками, и влияния большего количества решений на ценность, создаваемую агорифмами, может помочь нам принимать более обоснованные решения о том, когда и как их использовать.

Это напоминает мне о том, что Джарон Ланье сделал в своей книге 2010 года Кому принадлежит будущее: «с каждым годом экономика должна все больше и больше относиться к конструкции машин. которые опосредуют социальное поведение человека. Сетевая информационная система направляет людей более прямым, подробным и буквальным образом, чем политика. Другими словами, экономика должна превратиться в крупномасштабную системную версию дизайна пользовательского интерфейса ’.

Создание организаций, в которых алгоритмы и люди работают вместе для принятия лучших решений, будет важной частью этой повестки дня.

Благодарности

Этот блог был основан на комментариях Джеффа Малгана и был вдохновлен беседами с Джоном Дэвисом. На изображении выше представлена ​​кривая точного отзыва в задаче классификации с несколькими этикетками. Он показывает склонность алгоритма классификации случайных лесов к ошибкам при установке разных правил (порогов вероятности) для помещения наблюдений в категорию.

Приложение: Три виньетки из экономики об алгоритмическом принятии решений

Три приведенные ниже виньетки представляют собой очень упрощенную формализацию ситуаций принятия алгоритмических решений. Основным источником вдохновения для меня послужила статья Джо Стиглица и Раджа Саха Человеческая ошибочность и экономическая организация 1985 года, в которой авторы моделируют, как две организационные конструкции - иерархии и полиархии (плоские организации) - справляются с человеческими ошибка. Их анализ показывает, что иерархические организации, в которых лица, принимающие решения ниже в иерархии, контролируются людьми, находящимися на более высоком уровне, как правило, отклоняют больше хороших проектов, в то время как полиархии, в которых агенты принимают решения независимо друг от друга, склонны принимать больше плохих проектов. Ключевой урок их модели заключается в том, что ошибки неизбежны, а оптимальный организационный дизайн зависит от контекста.

Виньетка 1: алгоритм говорит, что возможно

Представим себе онлайн-видео компанию, которая сопоставляет рекламу с видео в своем каталоге. Эта компания размещает миллионы видеороликов, поэтому для нее было бы экономически нецелесообразно полагаться на человеческий труд при выполнении этой работы. Вместо этого специалисты по данным разрабатывают алгоритмы, которые делают это автоматически. [16] Компания ищет алгоритм, который максимизирует ожидаемую ценность согласованных решений. Это значение зависит от трех факторов: [17]

-Точность алгоритма (a ): вероятность (от 0 до 1) того, что алгоритм примет правильное решение. [18]

Награда за решение (r ): это награда, когда алгоритм принимает правильное решение.

- Штраф за ошибку (p ): это цена за принятие неправильного решения.

Мы можем объединить точность, выгоду и штраф, чтобы рассчитать ожидаемую ценность решения:

E = ar – (1-a)p [1]

Это значение является положительным, когда ожидаемые выгоды от решения алгоритма перевешивают ожидаемые затраты (или риски):

ar > (1-a)p [2]

Это то же самое, что сказать:

a/(1-a) > p/r [3]

Вероятность принятия правильного решения должна быть выше, чем соотношение между штрафом и выплатой.

Введите человека

Мы можем снизить риск ошибок, если привлечем к работе надзорного сотрудника. Этот человек-руководитель может распознавать и исправлять ошибки в алгоритмических решениях. Влияние этой стратегии на ожидаемую ценность решения зависит от двух параметров:

-Коэффициент покрытия (k): k - это вероятность того, что человек-супервайзер проверит решение алгоритмом. Если k равно 1, это означает, что все алгоритмические решения проверяются человеком.

-Стоимость наблюдения (cs(k)): это стоимость наблюдения за решениями алгоритма. Стоимость зависит от коэффициента охвата k, потому что проверка большего количества решений требует времени.

Ожидаемое значение алгоритмического решения под контролем человека следующее: [19]

Es = ar + (1-a)kr – (1-a)kp – cs(k) [4]

Это уравнение учитывает тот факт, что одни ошибки обнаруживаются и исправляются, а другие нет. Мы вычитаем [3] из [4], чтобы получить дополнительное ожидаемое значение от наблюдения. После некоторой алгебры мы получаем это.

(r+p)(1-a)k > cs(k) [5]

Надзор имеет экономический смысл только тогда, когда его ожидаемая выгода (которая зависит от вероятности того, что алгоритм допустил ошибку, что эта ошибка обнаружена, и чистая выгода от преобразования ошибки в правильное решение) превышает стоимость надзора.

Увеличение масштаба

Здесь я рассматриваю, что происходит, когда мы начинаем увеличивать n количество решений, принимаемых алгоритмом.

Ожидаемое значение:

E(n) = nar + n(1-a)kr – n(1-a)(1-k)p [6]

И затраты C(n)

Как эти вещи меняются по мере роста n?

Я делаю некоторые предположения, чтобы упростить ситуацию: организация хочет поддерживать k постоянным, а вознаграждения r и штрафы p остаются постоянными по мере увеличения n. [20]

Это оставляет нам две переменные, которые изменяются по мере увеличения n: a и C.

  • Я предполагаю, что алгоритмическая точность a снижается с увеличением количества решений, потому что процессы, ухудшающие точность, сильнее тех, которые ее улучшают.
  • Я предполагаю, что C, издержки производства, зависят только от труда специалистов по обработке данных и руководителей. Каждая из этих двух профессий получает зарплату wds и ws.

Основываясь на этом и некоторых расчетах, мы получаем изменения в ожидаемых выгодах по мере того, как мы принимаем больше решений, таких как:

∂E(n)/∂(n) = r + (a+n(∂a/∂n))*(1-k)(r+p) - p(1-k) [7]

Это означает, что по мере того, как принимается больше решений, совокупные ожидаемые выгоды растут в зависимости от изменений предельной точности алгоритма. С одной стороны, чем больше решений, тем больше выгоды от более правильных решений. С другой стороны, снижение точности приводит к увеличению количества ошибок и штрафов. Некоторые из них компенсируются человеческими наблюдателями.

Вот что происходит с затратами:

∂C/∂n = (∂C/∂Lds)(∂Lds/∂n) + (∂C/dLs)(∂Ls/dn) [8]

По мере увеличения количества решений расходы растут, потому что организации приходится нанимать больше специалистов по обработке данных и руководителей.

[8] то же самое, что сказать:

∂C/dn = wds/(∂Lds/dn) + ws/zs/(∂Ls/∂n) [9]

Затраты на рабочую силу в каждой профессии напрямую связаны с ее заработной платой и обратно пропорциональны ее предельной производительности. Если мы предположим, что специалисты по обработке данных более продуктивны, чем супервизоры, это означает, что большая часть увеличения затрат с n будет вызвана увеличением штата супервизоров.

Ожидаемая ценность (выгоды минус затраты) от принятия решений для организации максимизируется с помощью равновесного количества решений ne, где предельная ценность дополнительного решения равна его предельным затратам:

r + (a+nda/dn)(1-k)(r+p) - p(1-k) = wds/(∂Lds/∂n) + ws/zs/(∂Ls/∂n) [10]

Расширения

Выше я упростил задачу, сделав несколько сильных предположений относительно каждой моделируемой ситуации. Что произойдет, если мы ослабим эти предположения?

Вот несколько идей:

Разновидности ошибок. Во-первых, анализ не учитывает, что разные типы ошибок (например, ложные срабатывания и отрицательные результаты, ошибки с разной степенью достоверности и т. д.) могут иметь разные вознаграждения и наказания. Я также предположил определенность в отношении вознаграждений и штрафов, когда было бы более реалистично моделировать их как случайные выборки из распределений вероятностей. Это расширение поможет включить в анализ объективность и предвзятость. Например, если ошибки с большей вероятностью повлияют на уязвимых людей (которые несут более высокие штрафы), и эти ошибки с меньшей вероятностью будут обнаружены, это может увеличить ожидаемый штраф от ошибок.

Люди тоже несовершенны. Все вышесказанное предполагает, что алгоритмы ошибаются, а люди - нет. Это явно не так. Во многих областях алгоритмы могут быть желательной альтернативой людям с глубоко укоренившимися предубеждениями и предрассудками. В таких ситуациях снижается способность людей обнаруживать и устранять ошибки, и это снижает стимулы к их вербовке (это равносильно снижению их производительности). Организации справляются со всем этим путем инвестирования в технологии (например, платформы краудсорсинга) и системы обеспечения качества (включая дополнительные уровни человеческого и алгоритмического надзора), которые управляют рисками человеческих и алгоритмических ошибок.

Нелинейные вознаграждения и штрафы. Ранее я предполагал, что предельные штрафы и вознаграждения остаются постоянными по мере увеличения количества алгоритмических решений. Так быть не должно. В таблице ниже приведены примеры ситуаций, когда эти параметры меняются в зависимости от количества принимаемых решений:

Получение эмпирического подхода к этим процессам очень важно, поскольку они могут определить, существует ли естественный предел для числа алгоритмических решений, которые организация может принять экономически в предметной области или на рынке, с потенциальными последствиями для ее регулирования.

Сноски

[1] Я использую термин алгоритм в ограниченном смысле для обозначения технологий, которые превращают информацию в прогнозы (и в зависимости от системы, получающей прогнозы, решения). Для этого существует множество процессов, включая системы на основе правил, статистические системы, системы машинного обучения и искусственный интеллект (AI). Эти системы различаются по точности, масштабируемости, интерпретируемости и способности учиться на собственном опыте, поэтому их специфические особенности следует учитывать при анализе алгоритмических компромиссов.

[2] Можно даже сказать, что машинное обучение - это наука, которая управляет компромиссами, вызванными невозможностью устранения алгоритмической ошибки. Знаменитый компромисс смещение-дисперсия между подгонкой модели к известным наблюдениям и прогнозированием неизвестных является хорошим примером этого.

[3] Некоторые люди скажут, что персонализация нежелательна, потому что она может привести к дискриминации и пузырям фильтрации, но это вопрос для другого сообщения в блоге.

[4] Экономические правила Дэни Родрика убедительно доказывают, что модели представляют собой упрощенные, но полезные формализации сложной реальности.

[5] В статье Harvard Business Review 2016 года Аджай Агравал и его коллеги обрисовали в общих чертах экономический анализ машинного обучения как технологии, снижающей затраты на прогнозирование. Мой взгляд на алгоритмы похож, потому что прогнозы являются исходными данными для принятия решений.

[6] Это включает в себя персонализированный опыт и рекомендации на сайтах электронной коммерции и социальных сетей, а также обнаружение мошенничества и алгоритмическую торговлю в сфере финансов.

[7] Например, если YouTube показывает мне рекламу, которая очень соответствует моим интересам, я могу купить продукт, и это принесет доход рекламодателю, продюсеру видео и YouTube. Если он покажет мне совершенно нерелевантную или даже оскорбительную рекламу, я могу прекратить пользоваться YouTube или подниму шум в выбранной мной социальной сети.

[8] Обучение с подкреплением создает агентов, которые используют награды и штрафы от предыдущих действий для принятия новых решений.

[9] Именно это произошло с системой Google FluTrends, используемой для прогнозирования вспышек гриппа на основе поисковых запросов в Google: люди изменили свое поведение при поиске, и алгоритм вышел из строя.

[10] Во многих случаях штрафы могут быть настолько высокими, что мы решаем, что алгоритм никогда не должен использоваться, если он не контролируется людьми.

[11] К сожалению, не всегда проявляют осторожность при реализации алгоритмических систем в ситуациях с высокими ставками. В книге Кэти О’Нил Оружие уничтожения математики приводится множество примеров этого, начиная с системы уголовного правосудия и заканчивая приемом в университеты.

[12] Механизмы подотчетности и надлежащей правовой процедуры - еще один пример человеческого надзора.

[13] Используя модель выхода, голоса и лояльности Альберта Хиршмана, мы могли бы сказать, что надзор играет роль« голоса , помогая организациям обнаруживать снижение качества до того, как пользователи начнут уходить.

[14] Приложение отмечает некоторые из моих ключевых предположений и предлагает расширения.

[15] Сюда входит тщательная оценка алгоритмического принятия решений и его организации с использованием методов рандомизированного контролируемого исследования, подобных тем, которые предлагает Лаборатория инновационного роста Nesta.

[16] Это решение может быть основано на том, насколько хорошо похожая реклама работает при сопоставлении с разными типами видео, на демографической информации о людях, которые смотрят видео, или на других вещах.

[17] Анализ в этом блоге предполагает, что результаты алгоритмических решений независимы друг от друга. Это предположение может быть нарушено в ситуациях, когда алгоритмы генерируют самоисполняющиеся пророчества (например, логически пользователь с большей вероятностью нажмет на рекламу, которую ему показывают, а это не так). Это сложная проблема, но исследователи разрабатывают методы, основанные на рандомизации алгоритмических решений для ее решения.

[18] Не различает разные типы ошибок (например, ложные срабатывания и ложноотрицания). Я вернусь к этому в конце.

[19] Здесь я предполагаю, что люди-супервизоры совершенно точны. Как мы знаем из поведенческой экономики, это очень сильное предположение. Рассматриваю этот вопрос в конце.

[20] Я рассматриваю последствия различных предположений о предельных вознаграждениях и штрафах в конце.