Вы наконец проходите через службу безопасности в аэропорту. Стоя перед перегруженным информационным экраном, вы просматриваете десятки рейсов, чтобы узнать, что ваш рейс «закрывается». Что вы делаете?

«Беги, конечно». Большинство людей, наверное, сказали бы, и я не исключение. Однако в последнее время все чаще и чаще я приезжаю к воротам, запыхавшись, только для того, чтобы узнать, что ...

Этот долбанный самолет еще не сел.

Как человек, постоянно проявляющий излишнее любопытство, я начинаю задаваться вопросом, почему авиакомпании хотят откровенно лгать о статусе посадки на самолет. Моя гипотеза была подтверждена быстрым вопросом к моим друзьям, работающим в этой области - своевременность выполнения (OTP).

OTP измеряет для каждой авиакомпании, какой процент рейсов отправляется в течение 15 минут после запланированного времени вылета. С годами это стало одной из (возможно, ) определяющей статистики для авиакомпании, поскольку своевременные отправления - это то, чего хотят все пассажиры. Каждый год компании публикуют результаты, организации присуждают за это награды, туристические сайты, такие как Expedia и Priceline, отображают его, и я знаю более чем одну авиакомпанию, чьи наземные бригады и бонусы пилотов зависят от этого.

Поскольку это так важно, авиакомпании, будучи одной из первых отраслей, полностью принявших аналитику и оптимизацию, настойчиво пытались поднять эту статистику. Одним из методов, которые они разработали, был опыт «фальшивого закрытия», через который я прошел. По статистике, почти всегда есть клиенты, которые опаздывают на самолет, думая, что ни один самолет не улетит без них. Сказав им, что самолет закрывается, большинство из них попытались бы сбежать, чтобы наверстать упущенное, и при этом повысили коэффициент одноразовых паролей авиакомпании.

Все это может показаться разумной в качестве стратегии (является ли это моральной ответственностью - совершенно другой вопрос), пока кто-то не задумается над этим больше. Причина, по которой люди обращались к OTP, заключалась в том, что он измерял эффективность авиакомпаний в обеспечении своевременного выполнения своих рейсов. Однако стратегия «ложного закрытия» на самом деле увеличивает эффективность своевременного прибытия клиентов, а не врожденную производительность авиакомпании.

Более того, что опасно, это нарушило сигнальную функцию информационных табло. Когда все больше и больше людей осознают, что закрытие на самом деле не означает закрытие, это будет все больше и больше походить на плачущего волка, и любая краткосрочная выгода, которую получает авиакомпания, будет компенсирована в долгосрочной перспективе. Вдобавок ко всему, теперь, когда самолет действительно закрывается, люди могут подумать, что это «фальшивое закрытие», и продолжить медленно идти к воротам, только чтобы понять, что ворота закрылись.

Основная проблема заключается в несовершенстве статистики OTP. OTP был разработан для измерения производительности авиакомпаний, но из-за его определения он фактически зависел от своевременности выполнения клиентами, которые авиакомпании сейчас активно оптимизируют.

Проблема несоответствия статистических данных касается не только авиакомпаний. В сфере здравоохранения последние несколько десятилетий правительства и медицинские работники были одержимы одной статистикой - ожидаемой продолжительностью жизни. Это настолько важно, что Индекс человеческого развития ООН (ИРЧП), показатель развития цивилизации, имеет значительный компонент, рассчитанный исключительно на него. Подобно OTP, его дизайн был продуман из лучших побуждений - мы ассоциируем долгую жизнь с большим количеством радостей на Земле, больше времени с друзьями, лучшим качеством жизни.

Ну, только до некоторой степени. В качестве контрпримера, в ЕС с 2010 по 2014 год ожидаемая продолжительность жизни женщин увеличилась с 82,8 до 83,6 лет. [Причина отказа от использования более поздних данных связана с изменением определения в 2015 году] Это выглядит хорошо, пока вы не увидите, что ожидаемая продолжительность здоровой жизни (HLE) снизилась с 62,6 до 61,8 года за тот же период! Это означает, что с 2010 по 2014 год, даже несмотря на то, что женщины жили дольше в ЕС, количество лет без болезней фактически уменьшилось, и мы действительно проводим только 1,6 года жизни с ограниченными возможностями. Это уже не так хорошо, да?

Можно возразить, что во всем этом виноват плохой выбор статистики. Мы должны использовать «нормализованный для клиента» OTP, а не полный OTP, и мы должны использовать HLE, а не необработанную ожидаемую продолжительность жизни в качестве статистики. Но не все так просто, как кажется. Что означает «Здоровый» в HLE? Считается ли ухудшение физических способностей? Как отличить естественную деградацию физических возможностей от «ненормальной»? Должны ли мы учитывать разные исходные физические способности разных людей? Как только вы начнете нормализовать или исправлять непреднамеренные причины (на научном жаргоне, соучредители), вы поймете, что потенциальных непреднамеренных причин безграничны - нет способа исправить их все. Таким образом, неизбежно искажается цель оптимизации единственной статистики.

Я не претендую на предвидение этого понимания. Экономист Чарльз Гудхарт кратко резюмировал это в своем законе Гудхарта: «Когда мера становится целью, она перестает быть хорошей мерой». Что, однако, изменилось со времени этой первоначальной цитаты в 1997 году, так это массовый рост аналитики во всех мыслимых отраслях, что сделало эту проблему более серьезной, чем когда-либо. Все чаще и чаще мы проверяем рейтинги ресторанов, чтобы определить, где мы едим, оценки фильмов, чтобы определить, что мы смотрим, оценки производительности, чтобы определить, что мы покупаем, и показатели, чтобы определить, какой бонус мы получим. Я не утверждаю, что наплыв аналитики - это плохо - очевидно, что он принес большую пользу нашей повседневной жизни. Однако люди в целом склонны к упрощению, и как только вы упростите процесс до одной или двух статистических данных, он обязательно будет искажен. С новейшими инструментами машинного обучения и оптимизации проблемы оптимизации с единственной статистикой будут только усугубляться, поскольку мы обнаруживаем все больше и больше непреднамеренных способов оптимизации статистики, а не исходной цели.

Какое решение, говорите вы? Что ж, как и мутная статистика статистики, в решении нет серебряной пули. На мой взгляд, есть два способа смягчить этот эффект:

  1. Вместо использования одной статистики используйте несколько статистических данных, которые ортогональны друг другу. В примере с авиакомпанией OTP ортогонален надежности - люди будут менее склонны использовать «ложное закрытие», если они также измеряются против того, насколько достоверна информация, которую они предоставляют. Таким образом, вместо того, чтобы сосредотачиваться на одной статистике или одной области, возьмите статистику из нескольких областей, чтобы достичь целостной оптимизации. Я уверен, что это принесет пользу компании / организации / частному лицу в долгосрочной перспективе.
  2. Тщательно исследуйте возможные причины изменений в каждой статистике и исправляйте непреднамеренные, насколько это возможно. Несмотря на то, что невозможно определить всех непреднамеренных соучредителей статистики, обычно есть несколько ключевых те, которые можно и нужно контролировать. Убедитесь, что вы понимаете движущие силы каждой статистики, прежде чем использовать их - немного больше строгости может иметь большое значение.