Это второй пост из серии о том, почему бизнес-лидерам нужно немного знать науку о данных, если они хотят использовать науку о данных в качестве инструмента. В первом посте я писал о том, как, немного не разобравшись в том, что такое ошибка модели и оценивая производительность модели, вы можете по незнанию оказаться в ситуации, когда ваша модель — отстой. Более того, недобросовестные (или, может быть, просто невнимательные) продавцы змеиного масла в науке о данных могут воспользоваться вашим непониманием, чтобы заставить вас думать, что у вас есть модель, которая отлично работает. И вы, возможно, готовы заплатить много денег за модель, которая отлично работает.

На этот раз я хочу немного расширить идею оценки производительности модели и понять, почему понимание различных типов ошибок, которые могут быть вызваны моделью машинного обучения, может иметь важное значение для бизнеса в отношении того, как эта модель работает. используется.

Легко представить всевозможные ужасно полезные вещи, которые можно было бы делать с идеальной прогностической моделью. Модель, которая предсказывает, у каких бейсболистов, вероятно, будет большой вечер, может позволить вам доминировать в ежедневных фэнтези-спортах. Модель, предсказывающая, будет ли акции расти или падать завтра, может сделать вас самым богатым человеком в мире менее чем за месяц. Вы, вероятно, можете придумать 20 различных вещей, которые ваш бизнес может сделать с помощью отличной модели прогнозирования.

Но каждая прогностическая модель иногда ошибается. На самом деле, многие прогностические модели, с которыми вы столкнетесь в реальном мире, чаще ошибочны, чем верны. Мечтать о том, чтобы стать миллиардером внутридневной торговли или величайшим фэнтези-игроком всех времен, легко и весело, но это ловушка. Первый вопрос, который вы задаете о том, как использовать прогностическую модель, должен быть не о том, что вы будете делать с правильными прогнозами, а скорее о том, что вы будете делать с неправильными прогнозами.

Это знакомая проблема в финансах, и трейдеры, естественно, вынуждены так думать о прогнозах. Смелые заявления о точности предсказания той или иной модели или торговой системы встречают здоровый скептицизм в сообществе количественных финансов, но, что более важно, трейдеры хотят знать, что происходит когда (а не если) модель делает неверный прогноз. Пока ваша модель не является точной на 100%, а ни одна модель не может быть точной, неверный прогноз неизбежен, а неверная ошибка может обанкротить вас в считанные минуты, если вы к этому не готовы. Хорошие трейдеры тратят значительное количество времени, пытаясь определить различные причины, по которым их модели могут и будут ошибочными, и соответственно разрабатывают планы на случай непредвиденных обстоятельств. Менее хорошие трейдеры разоряются.

Те же типы моделей, которые веками использовались в финансах, теперь применяются во всех областях благодаря недавнему взрыву науки о данных в бизнесе, и это здорово. Компании хотят знать, кому из своих клиентов продавать, какие клиенты собираются уйти, когда происходит мошенничество, какого цвета сделать свой веб-сайт — этот список можно продолжать буквально вечно. Но поскольку прогнозная аналитика является относительно новым дополнением к набору инструментов в этих областях бизнеса, менеджеры и лица, принимающие решения, иногда не так скептически относятся к моделям машинного обучения, как трейдеры. Что еще более важно, квазиневротическая одержимость тем, что делать, когда модель делает неверные прогнозы, часто отсутствует, но эта одержимость на самом деле является ключевой частью преобразования модели машинного обучения в бизнес-инструмент.

Одна из причин того, что менеджеры не так сильно беспокоятся об ошибках модели, заключается в том, что результаты в этих областях труднее наблюдать. Представьте, что Джейн Смит отчаянно пытается утроить свои ежегодные расходы в вашей компании, но из-за совершенно рутинной ошибки модели моя модель машинного обучения говорит, что у нее низкая вероятность откликнуться на усилия по перекрестным продажам. Как мы вообще узнаем, что были неправы? Джейн просто будет продолжать мечтать, чтобы какой-нибудь продавец позвонил ей и сказал, как она может утроить свои ежегодные расходы, а мы просто будем продолжать не включать ее в эти списки звонков, потому что модель говорит, что мы не должны этого делать. В этом случае ошибка модели почти полностью ненаблюдаема. Это резко контрастирует со случаем трейдера, которого немедленно предупреждают об ошибке модели его кредиторы, звонящие, чтобы сообщить ему, что у него закончились деньги.

Но то, что наша модель никогда не найдет Джейн Смит, не означает, что мы не должны думать о ней. В частности, мы должны подумать о том, сколько Джейн существует и о последствиях их отсутствия. Если пропустить несколько Джейн Смит — это нормально, пока модель составляет достаточно большой список звонков, чтобы занять отдел продаж, то этот конкретный тип ошибки модели может не иметь большого значения. С другой стороны, если есть море Джейн, которых все упускают из виду, может быть, это признак того, что нам нужно забросить более широкую сеть, используя более агрессивную модель. Конечно, выбор более агрессивной модели склонит чашу весов к другому типу ошибки модели, когда мы идентифицируем людей, которые с большей вероятностью отреагируют на перекрестные продажи, а на самом деле нет — ложные срабатывания. Каковы затраты, связанные с получением этих новых ложных срабатываний при переключении моделей? Перевешивают ли они преимущества сокращения числа ложноотрицательных результатов? На эти вопросы нет универсальных ответов. Сравните модель перекрестных продаж с моделью машинного обучения, которая предсказывает, является ли опухоль злокачественной. Затраты и выгоды от ложных срабатываний и отрицательных результатов могут сильно различаться в разных доменах.

Хорошая новость заключается в том, что часть процесса прогнозного моделирования включает в себя измерение именно таких вещей. Пока тот, кто строит модель, знает, что делает, он сможет посмотреть, к каким ошибкам склонна модель, до ее фактического развертывания. Но вопрос о том, что делать с этой информацией, не является строго вопросом науки о данных. Если модель А имеет 35% истинных положительных результатов и 2% ложноположительных результатов, а модель Б имеет 90% истинных положительных результатов и 15% ложноположительных результатов, я не могу сказать вам, какой из них использовать, не зная, что вы будем делать с моделями. Вам нужно тщательно подумать о затратах, связанных с различными видами ложных предсказаний, и сопоставить их с выгодами, связанными с различными видами истинных предсказаний, чтобы решить, что приемлемо.

Проницательный читатель заметит, что я почти полностью говорю о бинарных классификаторах. Бинарные классификаторы — это модели, которые предсказывают, что что-то пойдет либо в одном, либо в другом направлении. Джейн либо утроит свои расходы, либо нет. Акции либо растут, либо нет. Я сосредоточился на случае с бинарным классификатором, потому что считаю, что понимание различия между четырьмя результатами — истинно положительным, истинно отрицательным, ложноположительным и ложноотрицательным — важно и информативно. Бинарные классификаторы бесконечно полезны и широко применимы. Я думаю, что большинство фундаментальных бизнес-задач, для решения которых мы могли бы захотеть использовать прогностические модели, можно сформулировать в терминах бинарных классификаторов. В некотором смысле бинарные классификаторы производят простейший вывод, который мы можем с полным основанием назвать предсказанием: произойдет это событие или нет? По этим причинам я думаю, что понимание последствий ошибки моделирования в прогнозном моделировании для бизнеса начинается с понимания бинарных классификаторов.

Но общие идеи здесь важны для любого типа моделей, многие из которых не будут иметь понятия ложных положительных или отрицательных результатов, а многие из них могут даже не иметь хороших способов точного измерения различных видов ошибок. В любом случае, каждый раз, когда вы используете прогнозную модель для принятия бизнес-решений, вы должны понимать, что прогнозы иногда могут быть неверными, и вам необходимо понимать различные способы, которыми модель может быть ошибочной. Возможно, модель склонна переоценивать или занижать определенные типы наблюдений. Может быть, модель очень хороша для прогнозирования одного класса наблюдений, но с треском проваливается для прогнозирования какого-то другого класса. И разные типы моделей будут иметь ошибки с разными характеристиками. У вас может быть выбор между двумя разными моделями, одна из которых ошибочна часто, но ненамного, а другая обычно верна, но совершенно неверна, когда она неверна. Некоторые модели предоставляют возможность настраивать параметры, чтобы отдавать предпочтение одному типу неправильного поведения другому. Опять же, многие из этих типов гипотез об ошибках модели можно проверить до фактического развертывания модели, обязательно используя тестовый набор или какой-то другой метод проверки.

Каждая бизнес-инициатива, использующая прогностическую модель на каком-либо этапе для информирования о решении или действии, должна быть разработана таким образом, чтобы противостоять неверным прогнозам, которые модель неизбежно сделает. Это невозможно без глубокого понимания частоты и текстуры этих неверных решений, а также невозможно без участия всех заинтересованных сторон на уровне, который выходит за рамки простого просмотра графиков и таблиц, которые могут быть созданы специалистом по данным. . Что происходит, когда модель ошибочна? Мы кого-то злим? Мы упускаем возможность? Кто-то умирает? Стоимость ошибки сильно различается от проекта к проекту, и ваша работа как менеджера проекта, связанного с наукой о данных, состоит в том, чтобы понять, каковы эти затраты на самом деле. Понимая эти затраты, вы готовы к совместной работе с специалистом по данным, чтобы настроить модель так, чтобы она была неправильной во всех отношениях.