TL; DR: минимизация ошибок за счет максимизации правдоподобия журнала
Наименьшая ошибка квадрата используется как функция стоимости в линейной регрессии. Однако почему следует выбирать ошибку sqaure вместо абсолютной ошибки или другие варианты? Есть простое доказательство, которое может показать, что наименьшая ошибка sqaure - разумный и естественный выбор.
Предположим, целевая переменная и входные данные связаны следующим образом:
Мы хотели бы минимизировать ошибку, максимизируя вероятность журнала. Функция правдоподобия:
Минимизация функции правдоподобия журнала
, которая также известна как функция наименьшего квадрата, и обратите внимание, что σ² в этом случае не имеет значения.
Обратите внимание, что метод наименьшего квадрата соответствует оценке максимального правдоподобия. Следовательно, можно обосновать метод наименьшего квадрата с естественным предположением ϵ ∼ N (μ, σ²)
Получайте лучшие предложения по программному обеспечению прямо в свой почтовый ящик
