В моем предыдущем посте я представил структуру для выбора правильных KPI для оценки ваших моделей машинного обучения. При решении проблемы классификации выбранный KPI обычно измеряет частоту ошибок с течением времени в виде точечной оценки (например, точности) или оценки нескольких пороговых значений (например, PRAUC). В этом посте я коснусь одной из основных проблем во многих проблемах реального мира: как узнать, правильна ваша модель или нет. В моделях контролируемого обучения..