В этой серии, посвященной Оригинальным исследованиям, я расскажу о своих выводах из некоторых мини-проектов, которые я реализовал самостоятельно.

Деревья быстрого и бережливого (БПФ) представляют собой особый тип дерева решений по классификации с последовательно упорядоченными репликами, где каждая реплика имеет две ветви, а одна ветвь является точкой выхода (Martignon et al., 2003). Последняя реплика в последовательности будет иметь две точки выхода, чтобы решение всегда принималось. Весь смысл использования БПФ состоит в том, чтобы позволить оптимизировать решения с минимальным количеством подсказок, особенно когда принятие решения ограничено по времени и должно быть немедленным. На рисунке ниже показан классический пример дерева решений по ишемической болезни сердца, опробованного Green & Mehr (1997).

Грин и Мехр (1997) опробовали дерево, чтобы помочь врачам определить уровень риска для пациентов, гарантировать, что пациенты, наиболее вероятно страдающие острой ишемической болезнью сердца, немедленно получают медицинскую помощь и что пациенты с низким риском не потребляют ресурсы интенсивной терапии без необходимости. Они обнаружили, что для принятия правильного решения потребовалось всего 3 подсказки, основанные на исторических записях пациентов, страдающих острой ишемической болезнью сердца. Поскольку решение касается жизненно важной ситуации, дерево решений, естественно, смещено в сторону недопущения промахов, когда пациенты с высоким риском немедленно идентифицируются по первому сигналу. Вероятно, это было сделано за счет увеличения количества ложных срабатываний.

Приведенное выше описание БПФ звучит великолепно, но с доступностью машинного обучения некоторые ставят под сомнение надежность БПФ по сравнению с деревьями классификации машинного обучения. Чтобы устранить это сомнение, Martignon et al. (2008) провели исследования, чтобы показать, что предсказательная точность БПФ фактически сопоставима с деревьями решений, созданными с помощью машинного обучения. Как главный сторонник БПФ, группа ABC Герда Гигеренцера из Института Макса Планка утверждает, что БПФ более когнитивно правдоподобно усвоить, чем сложные алгоритмы машинного обучения. Тем не менее, похоже, что в литературе не хватает поведенческих исследований, подтверждающих такое утверждение, что побудило меня провести исследование, чтобы проверить это утверждение.

Как строятся БПФ?

Прежде чем рассказать о своем исследовании, позвольте мне сначала объяснить, как строятся БПФ. Используя шаги, изложенные Martignon et al. (2003), я покажу, как строится БПФ Green & Mehr (1997).

1. Соберите исторические данные о медицинских сигналах, используемых для тестирования пациентов с подозрением на острую ишемическую болезнь сердца, вместе с фактическими результатами того, действительно ли они страдали от нее.

2. Составьте таблицу попаданий, промахов, ложных тревог и правильных отклонений каждой реплики, как если бы они использовались индивидуально.

3. Рассчитайте процент совпадений, коэффициент правильного отклонения, коэффициент истинного обнаружения и коэффициент истинного пропуска для каждого сигнала. (Чтобы узнать больше о расчете ставок в матрице неточностей, прочтите мою предыдущую запись в блоге Матрицы неточностей.)

4. Упорядочивайте реплики либо на основе Hit Rate и Correct Rejection Rate от самого высокого до самого низкого значения, либо на основе True Discovery Rate и True Omission Rate от самого высокого до самого низкого значения. Сигналы можно заказывать мягко, чтобы избежать промахов, или осторожно, чтобы избежать ложных срабатываний.

5. Вычислите результаты решения из этих различных порядков и вычислите совпадения, промахи, ложные тревоги и правильные отклонения, чтобы определить производительность БПФ, чтобы выбрать порядок, который благоприятствует ситуации.

С лучшим пониманием того, как строятся БПФ, мы можем теперь поговорить о том, как проводилось мое исследование, чтобы выяснить, действительно ли БПФ когнитивно просты в использовании, и действительно ли люди не могут использовать немного более сложные деревья машинного обучения.

Контекст исследования

Используя набор данных об оценке автомобилей из UC Irvine Machine Learning Repository, участникам исследования было предложено представить себя автомобильным дилером, который хочет выбирать автомобили, которые будут сочтены приемлемыми для потенциальных клиентов, а также избегать автомобилей, которые будут рассматриваться. неприемлемо. Они должны были оценить, является ли автомобиль приемлемым или нет, на основе 6 атрибутов (взятых из набора данных) с помощью предоставленного им дерева решений.

Из набора данных были сгенерированы два дерева решений - одно дерево машинного обучения C4.5 (с использованием Weka) и одно FFT (с использованием метода, описанного выше). Участники были случайным образом назначены для использования только одного из двух деревьев решений.

Хотя в наборе данных было всего 6 атрибутов, построение БПФ с 3 сигналами было сочтено оптимальным, а добавление еще одного сигнала не улучшило точность оценки. Сигналы были заказаны консервативно, когда автомобиль считается приемлемым, только если все 3 сигнала удовлетворены. Это было основано на том, что для автосалона было бы дороже выбрать неприемлемый автомобиль по ошибке, чем упустить приемлемые автомобили.

Поскольку БПФ использовало только 3 реплики, дерево машинного обучения C4.5 должно было быть построено с теми же 3 репликами для справедливого сравнения, хотя дерево машинного обучения C4.5 с 6 подсказками имело лучшую точность оценки. В то время как дерево C4.5 с 3 сигналами выглядит относительно простым, дерево C4.5 с 6 сигналами было намного сложнее. В таблице ниже показано, как деревья решений сравниваются друг с другом с точки зрения точности оценки.

Как мы видим, показатели успешности деревьев машинного обучения C4.5 в целом были лучше, чем у БПФ. Однако, поскольку БПФ было упорядочено консервативно, количество ложных тревог могло быть значительно уменьшено, в результате чего коэффициент ложного обнаружения был даже меньше, чем C4.5 (3). Тем не менее, важно помнить, что это просто описывает производительность деревьев, а не производительность участников-людей, которые будут их использовать. Для целей исследования были выбраны только автомобили, которые были правильно классифицированы как с помощью C4.5 (3), так и FFT.

Дизайн исследования

Дизайн исследования был очень простым. 30 набранных участников сначала попросили оценить 20 автомобилей без дерева решений, после чего в течение 1 минуты запомнили дерево, к которому они были случайным образом назначены, прежде чем завершить новый набор из 20 автомобилей. Поскольку для двух наборов из 20 автомобилей были выбраны только автомобили, которые были правильно классифицированы как C4.5 (3), так и FFT, любая допущенная ошибка будет чисто человеческой ошибкой, а не результатом работы дерева. Надеемся, что результаты такого исследования позволят понять, действительно ли БПФ проще в использовании, чем сопоставимые деревья машинного обучения.

Помимо записи баллов и времени выполнения участниками, также были собраны самоотчеты, такие как уверенность и легкость выполнения задания. Участников также попросили выразить свой мыслительный процесс при выполнении задачи с деревом решений, а также попросили набросать в своей памяти дерево решений после того, как они выполнили задачу.

Полученные результаты

Неудивительно, что оценки и время завершения участников были статистически лучше, когда у них было дерево решений для использования. Уверенность в самооценке и простота задачи также статистически выросли с использованием деревьев решений. Хотя большинство этих показателей статистически не различались между группой C4.5 и группой FFT, группа FFT обычно имела более высокие средние значения. Тем не менее, было несколько показателей, которые имели существенные различия между двумя группами (см. Ниже).

Участники, которые использовали БПФ, были уверены в выполнении задачи, сочли дерево полезным, сочли дерево простым в использовании и считали, что дерево облегчило задачу, статистически больше, чем участники, которые использовали дерево C4.5. Хотя значимость не проверялась с помощью анализа хи-квадрат, в группе БПФ также было больше участников, получивших полные оценки при использовании дерева решений. Напротив, в группе C4.5 было больше участников, которые потратили больше времени на выполнение задачи с деревом, чем без него, сообщили, что использование дерева как усложняет задачу, и не думали, что они набрали больше очков, приняв решение. дерево. Все это указывает на то, что дерево C4.5 труднее использовать, поскольку его труднее запомнить.

Результаты скетча воспоминаний были довольно захватывающими. Большинство участников группы FFT смогли воспроизвести дерево полностью, в то время как участники группы C4.5, которые смогли вспомнить свое дерево, часто делали это эвристическим способом. Фактически, в то время как участники группы C4.5 вербализовали свой мыслительный процесс во время задания, казалось, что они делали оценки в форме исключения. Сначала они выбирали автомобили, которые считались приемлемыми, а все остальное считали неприемлемыми. Интересно, что это было очень похоже на то, как было построено БПФ.

Заключение

Конечно, преждевременно делать вывод о том, что БПФ когнитивно просты в использовании только на основе результатов этого мини-исследования, но большинство наблюдений, похоже, предполагают, что их легче запомнить, чем дерево машинного обучения с большим количеством ветвей. Фактически, из того, как участники использовали дерево C4.5, кажется, что БПФ может быть тем, как люди интуитивно принимают решения при использовании нескольких сигналов. Вероятная причина этого заключается в том, что, хотя БПФ имеет две ветви в каждом узле, эти две ветви часто противоположны друг другу, что позволяет знанию одной ветви информировать о другой. Это значительно сокращает количество вещей, необходимых для памяти, и позволяет значительно ускорить обработку, особенно за счет подхода исключения.

Несмотря на многообещающие результаты, мой личный вывод из проведения этого исследования заключается в том, что даже при ограниченном по времени принятии решений практикующим врачам может быть лучше использовать компьютеризированный инструмент принятия решений с более высокой производительностью. Однако, если компьютеризированный инструмент принятия решений недоступен, БПФ все еще может быть очень полезным, интуитивно понятным и достаточно точным, особенно в ситуациях, когда решения должны приниматься мгновенно.

Это исследование было представлено на 39-м ежегодном собрании Общества когнитивных наук в 2017 году в Лондоне, Великобритания.

Использованная литература:

  • Грин Л. и Мехр Д. Р. (1997). Что меняет решения врачей о госпитализации в коронарное отделение? Journal of Family Practice, 45 (3), 219–226.
  • Мартиньон, Л., Кацикопулос, К. В., и Войке, Дж. К. (2008). Категоризация с ограниченными ресурсами: семейство простых эвристик. Журнал математической психологии, 52 (6), 352–361.
  • Мартиньон, Л., Витуш, О., Такезава, М., и Форстер, М. Р. (2003). Наивный и в то же время просвещенный: от собственных частот до деревьев быстрых и экономных решений. Мышление: Психологический взгляд на рассуждения, суждения и принятие решений, 189–211.

Первоначально опубликовано по адресу: https://learncuriously.wordpress.com/2019/05/05/fast-and-frugal-trees-vs-machine-learning-trees