В продолжение моей первой статьи по обучению с учителем: Введение в обучение с учителем я пишу новую статью, исследующую ограничения линейной регрессии и предлагающую консолидацию того, как получить оптимальный вес с использованием метода наименьших квадратов. формула ошибки.
- Недостаточно переменных для решения формулы.
- Уравнений больше, чем неизвестных.
В первой ситуации:
S = {((1, 2, 3),0), ((4, 5, 6), 2)}, когда есть 3 неизвестных и 2 формулы, по которым невозможно найти решение.
Во второй ситуации:
S = {((2, 2), 3), ((4, 3), 7), ((2, 1), 5)}, когда есть 2 неизвестных и 3 формулы. Существует риск чрезмерной подгонки данных, потому что, хотя формул достаточно для решения проблемы, не хватает выборочных данных для каких-либо неожиданных тестовых данных.
Цель: минимизировать квадрат ошибки между данными и прогнозом, чтобы максимизировать точность прогноза.
Затем мы применяем производную к ϵ(s, w) таким образом, что:
