Недавно Гверн указал мне на сообщение в блоге Криса Стуккио, в котором содержится впечатляющее заявление о том, что список «за и против на 75% так же хорош, как [линейная регрессия], которую он продолжает. шоу на основе моделирования. Я был заинтригован, так как это казалось нелогичным. Я думал, что сделать выбор будет немного сложнее, особенно когда у вас много вариантов — и это, вроде как. Но сначала давайте настроим мотивацию проблемы, прежде чем я покажу вам красивые графики того, как она работает.

Мотивация

Давайте представим лицо, принимающее решения, с набором вариантов, каждый из которых имеет некоторое количество характеристик, в отношении которых у него есть предпочтения. Как им выбрать? Нелегко понять, какой именно вариант им понравится больше всего, особенно если вы хотите получить идеальный ответ! Теория принятия решений имеет множество инструментов, таких как теория принятия решений с несколькими атрибутами, о каждом из которых написаны целые книги. Но вы не хотите тратить 20 000 долларов на консультантов и построение модели, чтобы выбрать, какое мороженое заказать; эти методы сложны, и у вас есть относительно простое решение.

Например, кто-то выбирает машину. Они знают, что им нужна топливная экономичность более 30 миль на галлон, они хотят, чтобы поместилось не менее 5 мест для всей семьи, они предпочитают седан внедорожнику или небольшому автомобилю, и они хотели бы, чтобы он стоил менее 15 000 долларов. Однако определить, насколько они заботятся о каждом, сложно; Их волнует цена в два раза больше, чем количество мест? Заботятся ли они об эффективности использования топлива больше или меньше, чем о скорости?

Вместо того, чтобы просить людей указать свою функцию полезности, как требуют многие методы теории принятия решений, большинство людей просто рассматривают варианты и выбирают тот, который им нравится больше всего. Это работает нормально, но, учитывая когнитивные предубеждения и коммерческие предложения, которые убеждают их сделать что-то, о чем они потом пожалеют, человеку может быть лучше что-то более структурированное. Вот где Крис привносит совет Бена Франклина.

…мой способ состоит в том, чтобы разделить половину листа бумаги линией на две колонки, написав поверх одной Pro, а поверх другой Con. Затем… я помещаю под разными заголовками краткие намеки на разные мотивы… наконец, я нахожу, где находится Баланс… соответственно, я прихожу к Решению.

Крис интерпретирует «где находится Баланс» как то, в каком списке, Pro или Con, больше записей.

Вопрос, который он задает, заключается в том, насколько этот довольно простой метод, в котором используется статистический метод, называемый регрессия, взвешенная по единицам, чем более сложная регрессионная модель с точными весами предпочтений.

Откуда взялось «75% как хорошо»?

Крис «создал симуляцию, которая показала, что при наличии двух случайных выборов и случайных ранжирований с большим количеством учитываемых атрибутов в 75% случаев выбор, данный методом Бена Франклина, совпадает с выбором, данным методом, который использует (обычно неизвестные) точные веса предпочтения. Это полезно, поскольку часто у нас недостаточно данных, чтобы получить хорошее приближение к этим весам при рассмотрении решения. (Например, мы можем захотеть помочь высшему руководству принять решение, но не хотим донимать их множеством вопросов, чтобы выяснить их предпочтения.)

После моделирования он доказывает, что при определенных предположениях эта оценка является точной. Я не буду вдаваться в эти предположения, но отмечу, что они, вероятно, завышают реальную частоту ошибок в данном случае; в большинстве случаев признаков не так много, а если они есть, то признаки с очень малым весом не будут включены, что поможет классификации, как я покажу ниже.

Но во-первых, есть другая проблема; он говорит только о 2 вариантах. Итак, давайте перейдем к моему вопросу, а затем вернемся к нашему покупателю автомобиля.

Несколько вариантов

Должно быть довольно интуитивно понятно, что выбрать лучший вариант сложнее, если есть больше вариантов. Если бы мы выбрали случайным образом один из двух вариантов, мы бы получили правильный выбор в 50% случаев, даже без списка за-против. (И подбрасывание монеты может быть хорошей идеей, если вы не знаете, что делать — Стивен Левитт попробовал, и, согласно рабочему документу NBER, который он написал, это удивительно эффективно. Несмотря на это, большинство людей не идея не нравится).

Но большинство вариантов имеют более двух вариантов, и это усложняет задачу. Во-первых, у меня нет честных трехгранных монет. И, во-вторых, наше случайное предположение теперь верно лишь в трети случаев. Но как работает метод Бена Франклина?

Во-первых, это показывает случай, проанализированный Крисом, только с двумя вариантами по сравнению с тремя;

Этот метод немного хуже, но почти так же хорош, если нет большого количества измерений. Интуитивно это имеет смысл; когда вас волнует всего несколько вещей, один из вариантов, вероятно, имеет больше, чем другой, поэтому, если только один из вариантов не намного важнее других, маловероятно, что веса будут иметь большое значение. Мы можем проверить эту интуицию, посмотрев на нашу производительность со многими другими вариантами;

Несмотря на то, что нас волнует всего несколько вещей, списки «за» и «против» по-прежнему работают невероятно хорошо, даже когда есть масса вариантов. На самом деле, с небольшим количеством функций он работает даже лучше. Это имеет смысл; если есть явно лучший выбор, мы можем выбрать его, так как в нем есть все, что мы хотим. Это часть проблемы, связанной с тем, как была поставлена ​​проблема; мы смотрим на то, есть ли у каждого предмета то, что мы хотим, а не ценность.

Если у нас есть много автомобилей на выбор, и нас интересуют только 4 вещи, которые мы перечислили (30 миль на галлон, 5 мест, седан, стоимость ‹ 15 000 долларов), выбрать тот, который удовлетворяет всем нашим предпочтениям, легко. Но это не значит, что мы выбираем лучших! Учитывая выбор между пятиместным седаном, который расходует 40 миль на галлон и стоит 14 000 долларов, или седаном, который расходует 32 мили на галлон и стоит 14 995 долларов, наши методы называют это ничьей. (Это «правильно», потому что мы предполагали, что каждая функция является бинарной.) Существует множество алгоритмических способов обойти это, которые немного сложнее, но любой ручной список «за» и «против» сделает эту разницу очевидной, не добавляя сложности.

Интересно, однако, что при большом количестве вариантов методы начинают работать намного хуже со многими размерностями признаков. Почему? В некотором смысле, это на самом деле потому, что у нас нет достаточного выбора. Но сначала давайте поговорим о слабых предпочтениях и о том, почему из-за них проблема кажется сложнее, чем она есть на самом деле.

Какая разница?

Если у нас действительно есть список из 10 или 15 функций, велика вероятность, что некоторые из них не имеют большого значения. При разработке алгоритмов нам нужен компьютер, чтобы принимать решения, не спрашивая нас, поэтому у бинарного классификатора могут возникнуть проблемы с выбором лучшего из множества вариантов с множеством функций, но у людей такой проблемы нет.

Если бы я дал вам список из 10 вещей, которые могут вас волновать в автомобиле, некоторые из них не будут иметь для вас такого значения, как другие. Итак… если мы отбросим элементы из списка «за» и «против», которые менее чем на 1/5 менее важны, чем в среднем, как работает метод?

И именно поэтому выше я предположил, что при составлении списка «за» и «против» мы обычно опускаем очень маловажные элементы — и обычно это немного помогает.

Когда у нас есть много вариантов выбора, маловажные функции добавляют шум, а не полезную информацию;

Конечно, нам нужно быть осторожными, потому что это не так просто! Отбрасывать функции, когда их не очень много, — плохая идея — мы упустим лучший выбор.

Проклятие размерности против нерелевантных показателей

Мы можем отказаться от маловажных функций, но почему этот метод работает намного хуже с большим количеством функций? Потому что, учитывая массу возможностей, появляется огромное количество возможностей. 5 функций дают 2⁵ возможностей — 32. Все, что имеет все 32, которые мы хотим (или большинство из них), будет лучшим выбором — и игнорирование некоторых из них, даже если они имеют небольшой вес, упустит это. Однако, если у нас есть 50 функций, у нас никогда не будет 2⁵⁰ вариантов, чтобы найти ту, в которой есть все, что нам может понадобиться, поэтому мы хотим обратить внимание на наиболее важные функции. И это проклятие размерности.

Если бы я действительно был статистиком, это был бы ответ. Но как теоретик принятия решений, это на самом деле означает, что наша метрика является проблемой. Выбор плохих метрик может стать катастрофой, о чем я подробно говорил в другом месте. И наш покупатель автомобилей показывает нам, почему.

При покупке автомобиля мы можем учесть сотни параметров. Глядя только на двигатель, мы можем смотреть на крутящий момент, мощность и максимальную скорость, и это лишь некоторые из них. Но большинство из этих вариантов не имеют значения, поэтому мы бы проигнорировали их в пользу 4 вещей, которые нам действительно важны, перечисленных выше; выбор автомобиля с лучшим крутящим моментом двигателя, который не вмещает 5 человек, был бы огромным провалом.

И в нашем анализе здесь эти измерения свернуты в двоичный код, как в нашем эвристическом списке за/против, так и в базовом случае, с которым мы сравнивали! Как упоминалось ранее, это игнорирует разницу между 32 MPG и 40 MPG или между 14 000 и 14 995 $ — обе эти разницы нас волнуют.

И именно здесь я думаю, что Бен Франклин умнее, чем мы думали изначально. Он говорит: «В конце концов я нахожу, где находится Баланс… Соответственно, я прихожу к Решению». Это звучит так, как будто он собирается перечислить варианты, подумать о плюсах и минусах, а затем принять решение — не на основе того, какой список длиннее, — а просто взглянув на вопрос с четко представленной информацией.

Примечание. Код для создания графиков в R можно найти здесь; https://github.com/davidmanheim/Random-Stuff/blob/master/MultiOption_Pro_Con_Graphs.R