Бэктест похож на обоюдоострый меч, обычно он создает больше неясности, чем ясности.

Что за бэктест?

Бэктестинг - это метод проверки, состоящий в том, чтобы взять прогностическую модель и протестировать ее на исторических данных. При этом вы предсказываете будущее, когда на самом деле будущее уже известно (но скрыто от модели). Затем вы можете сразу проверить, насколько хорошо работают ваш прогноз и модель.

Предположим, мы разрабатываем продукт машинного обучения, который прогнозирует задержки рейсов. Для построения модели продукта мы использовали исторические данные о рейсах, собранные из разных источников, и постоянно тестировали нашу модель на этих данных (перекрестная проверка). Бизнес-модель заключается в продаже продукта аэропортам и авиакомпаниям, чтобы они могли лучше управлять своими операциями и повышать удовлетворенность пассажиров.

Вы рассказываете об этом потенциальным клиентам и показываете им потенциальную ценность с точки зрения экономии денег, сокращения общих задержек и повышения удовлетворенности пассажиров. Клиент проявляет интерес к продукту, и ваш менеджер по продажам предлагает взять данные о потенциальных клиентах и ​​провести тестирование на истории, чтобы подтвердить точность модели и ценность продукта. Ваш менеджер по продажам убежден, что успешное тестирование на истории убедит потенциальных клиентов заключить сделки.

Расплывчатость, а не ясность

Бэктестинг - отличный инструмент для внутреннего использования при разработке модели и ее тестировании. Это помогает выявить проблемы и понять, насколько хороши ваши прогнозы, но это определенно не правильный или единственный способ, которым вы хотите, чтобы ваши потенциальные клиенты и клиенты оценивали вас. Вот почему вам не следует предлагать бэктесты как способ раскрыть ценность продукта:

1. Плохие результаты

Большинство задержек рейсов не были обнаружены, и обнаруженные не были задержаны. Может быть много причин, по которым один прогноз не является оптимальным:

  • Данные для обучения ограничены и отсутствуют
  • Данные обучения необъективны
  • Нельзя вкладывать слишком много ресурсов, чтобы сделать правильную адаптацию для одного бэктеста.
  • В прогнозируемых данных слишком много исключений и выбросов (например, экстремальная погода, вспышка чумы и т. Д.)

Независимо от того, сколько заявлений об отказе от ответственности вы дали в ходе процесса, вас будут судить только на основе этого единственного прогноза. Исправить это впечатление будет очень сложно, если вообще удастся, и, вероятно, вам придется вложить гораздо больше ресурсов.

2. Результаты расплывчаты

Около 20% задержек рейсов не были обнаружены, а еще 35% были обнаружены случайно, поскольку задержки на самом деле не обнаруживались.

Когда результаты очень хорошие, это ясно, так же как и когда они плохие. Но когда результаты находятся где-то посередине, это создает неопределенность, и трудно определить, был ли тест на истории успешным. Может быть, результаты воспринимались бы намного лучше, если бы мы оптимизировали отзыв, а не точность или наоборот?

Объяснить потенциальному клиенту ключевые показатели эффективности тестирования на этом этапе процесса нетривиально. В большинстве случаев потенциальные клиенты не знают, как их переварить, чего ожидать и каково реальное влияние на их бизнес.

3. Результаты отличные

Большинство задержек было обнаружено, и ограниченное количество рейсов было ложно помечено как задержанные, в то время как они этого не сделали.

Вы построили потрясающую модель, которая настолько точна, что покупатель просто не может поверить, что она настолько хороша. Если вы думаете, что один результат тестирования на истории может укрепить доверие, необходимое для подписания сделки, подумайте еще раз.

После таких хороших результатов ваш потенциальный клиент, скорее всего, спросит:

  • Еще один бэктест, чтобы увидеть, сможете ли вы воспроизвести результаты
  • Дополнительные возможности продукта
  • Ознакомьтесь с полным потоком продуктов, прежде чем они смогут по-настоящему доверять вам как поставщику

Потенциальные клиенты, как правило, очень подозрительны на этом этапе и могут подумать, что, поскольку «будущее» уже известно, оно случайно (или нет) не было скрыто от модели.

4. Результаты ничего не значат

Даже если ваш прогноз окажется верным, только это никогда не принесет ценности и доверия. Вам нужна история, потенциальным клиентам нужно что-то связать. Ценность продукта определяется многими аспектами, включая интеграцию с существующими рабочими процессами, аналитическую информацию, объяснение прогнозов (объяснимый ИИ) и многие другие. Усердная работа над подтверждением концепции, которая в конечном итоге не показывает общую ценность вашего продукта, не приведет к укреплению доверия, которое вы ищете для заключения сделки.

Что делать вместо этого?

Развивайте отношения с потенциальными клиентами и строите предложение на основе полной стоимости продукта, а не на одноразовом прогнозе. Поскольку для полного тестирования данных потенциального клиента требуется много ресурсов, лучше вложить их в полноценный опыт работы с продуктом. Это поможет потенциальным клиентам понять, как они интегрированы в их повседневные рабочие процессы, поэкспериментировать с ними, увидеть внешний вид и оценить их на основе нескольких критериев, включая поток прогнозов, а не одного. Кроме того, прогнозы теперь сопровождаются соответствующими объяснениями, и потенциальные клиенты могут понять процесс принятия решений и почувствовать реальное влияние на свой бизнес и операции.

Обязательно внимательно управляйте процессом. Сюда входят еженедельные встречи, сбор отзывов, улучшения модели и развертывание изменений, где это необходимо. Укрепляйте доверие за счет взаимодействия и опыта, а не за счет чистой прибыли.

Большое спасибо за чтение! Если вам понравилась эта статья, я буду рад услышать от вас - поделитесь или оставьте свои комментарии. Если вы хотите читать больше историй, подпишитесь на меня на Medium или LinkedIn.