Выбор параметра регуляризации

При применении регуляризованной логистической регрессии: я разделяю свои данные на наборы для обучения, перекрестной проверки и тестирования. Я хочу применить регуляризацию и работаю над выбором лямбда параметра регуляризации. Для этого я пробую разные значения лямбда и подбираю параметр тета моей гипотезы на обучающем наборе. Затем я выбираю значение лямбда, которое дает мне функцию с наименьшими затратами в проверочном наборе. Для этого должен ли я вычислить функцию стоимости набора для проверки со сроком штрафных санкций или без него?


machine-learning logistic-regression regularized
person bigTree    schedule 05.01.2014    source источник

Ответы (2)


arrow_upward
9
arrow_downward

Это смешивает две вещи. Вы минимизируете функцию стоимости (со сроком регуляризации), чтобы выбрать параметры модели (для заданных гиперпараметров, таких как лямбда). Но тогда параметры позволяют классифицировать точки в наборе проверки. И вы измеряете, насколько правильно классификация соответствует истине. Вы выбираете лямбду, которая дает наиболее правильные ответы. На этом этапе функция стоимости с лямбда не играет никакой роли.

person Sean Owen    schedule 05.01.2014

arrow_upward
3
arrow_downward

Вы можете нарисовать кривую обучения, при этом ошибки обучения и проверки сходятся к небольшому значению, и выбрать параметр, соответствующий наименьшей ошибке, в качестве параметра регуляризации.

Вариант параметра регуляризации не имеет ничего общего со значением функции стоимости.

person lennon310    schedule 05.01.2014