Этот пост был первоначально опубликован в нашем информационном бюллетене статистики НБА. Подпишитесь здесь, если вам интересно больше!
В этом посте мы делаем шаг назад от наших обычных моделей. Вместо того, чтобы пытаться понять баскетбол с помощью вероятностных моделей и учитывать нашу неопределенность в этих моделях, мы собираемся изучить модель RAPTOR от FiveThrityEight.
Чтобы проиллюстрировать разницу между моделями RAPTOR и BinomialBasketball, RAPTOR дает Хит 78-процентный шанс обыграть Никс. Но насколько они уверены в этом числе? Может быть 80%? 50%? 98%? Они дают нам только одно число и не указывают, является ли модель абсолютно достоверной или не имеет ни малейшего представления.
Что такое калибровка модели?
Если ваша модель откалибрована, это просто означает, что когда вы говорите, что у Хит есть 78% шансов победить Никс, вы будете правы в 78% случаев. Конечно, игра состоится только один раз, и Хит либо выиграет, либо проиграет. Таким образом, вы должны посмотреть на все свои игры, по которым вы прогнозируете, что у команды будет 78% шансов на победу, и вы должны оказаться правы в 78% случаев во всех этих играх.
Почему важна калибровка модели?
Если ваша модель говорит, что шансы Хит на победу сегодня вечером составляют 99,9%, вы должны сделать ставку на их победу, независимо от того, какие шансы вы можете получить. Хит почти наверняка выиграет, так что даже если вы получите шанс -1000, вы все равно выйдете вперед.
Проблема с этой стратегией в том, что ваша модель не откалибрована. Что, если ваша модель говорит, что вероятность победы у «Хит» составляет 99,9%, но на самом деле они выигрывают только в 55% случаев. Ваша модель по-прежнему верна в том, что заезды являются вероятным победителем, но теперь вы не должны брать шансы -1000 на заезды.
Ключевым моментом здесь является то, что вам нужна ваша модель, чтобы правильно выбрать победителя, а также правильно описать вероятность того, что команда победит. В противном случае вы будете слишком уверены в своих прогнозах (или недостаточно уверены!).
Модель RAPTORS не откалибрована
Итак, давайте посмотрим, откалиброван ли RAPTOR. Когда говорят, что хозяева побеждают в 65% случаев, значит ли это, что хозяева побеждают в 65% случаев? Вот их прогнозы на этот сезон и то, что произошло на самом деле:
Быстрый способ оценить этот калибровочный график — увидеть, что почти все точки находятся ниже пунктирной линии. Это указывает на то, что модель RAPTOR неправильно слишком сильно отдает предпочтение команде хозяев. Когда RAPTOR говорит, что команда хозяев выиграет с вероятностью 70%, на самом деле они выигрывают только с вероятностью 60–65%.
Одно из объяснений заключается в том, что, возможно, их модель включает в себя преимущество домашней площадки, рассчитанное по предыдущим сезонам, а преимущество домашней площадки в этом сезоне меньше, чем раньше. Но это не так. Глядя на все прогнозы, начиная с сезона 2019 года (когда публикуются первые прогнозы RAPTOR), их модель все еще неправильно откалибрована (предпочтение хозяевам больше, чем следовало бы).
Итак, что происходит? Обычно, когда модели неправильно откалиброваны, это большой беспорядок, но в этом случае исправление выглядит довольно просто. RAPTOR выглядит так, как будто обычно дает хозяевам более высокую вероятность победы, чем должна. В частности, RAPTOR предсказал, что домашняя команда будет побеждать в 70% игр, но домашние команды выигрывают только около 61% времени в НБА.
В пояснительной статье нет упоминания о том, как RAPTOR использует преимущество домашней площадки. Но мы постараемся как-нибудь докопаться до сути.
Заглядывая вперед
Я сделал перерыв в наших обычных вероятностных моделях, потому что хотел поближе познакомиться с моделями FiveThirtyEight. Я подумал, что поделюсь тем, что нашел, прежде чем вернуться к обычным моделям, которые мне нравятся гораздо больше.
Я делаю свою типичную вещь «набери 5 фунтов за зиму». Это заставляет меня задуматься о моделировании типов телосложения игроков. Так что, возможно, именно туда я и пойду дальше.
