Функция потерь — это математическая функция, которая оценивает эффективность прогнозирования модели. Он говорит нам, «насколько хорошо или плохо» модель делает прогнозы с учетом набора величин, влияющих на выходные данные математического объекта, называемого параметрами. Функция потерь имеет свою кривую и производные. Наклон этой кривой говорит нам, как изменить параметры, чтобы улучшить производительность модели (или сделать предсказание модели более точным). Доступны различные типы функций потерь. Выбор функции потерь, используемой для оптимизации модели, может повлиять на ее производительность, и выбор функции потерь зависит от задачи. Например, среднеквадратическая ошибка (MSE) или средняя абсолютная ошибка (MAE) могут использоваться для задачи регрессии, которая направлена на прогнозирование непрерывной переменной. Точно так же для задач классификации, где целевое значение является дискретным, можно использовать функции потерь, такие как вероятность и перекрестная энтропия. В этой статье мы увидим наиболее часто используемые функции потерь, используемые в задачах регрессии и классификации.
1. Потеря регрессии
Функция потерь среднего квадрата ошибки (MSE)
MSE, также известный как L2 Loss, представляет собой среднеквадратичную разницу между прогнозируемыми значениями и ожидаемыми или фактическими значениями. Он используется в задаче регрессии, где и прогнозируемые, и фактические значения являются действительными числами. Формула для MSE очень проста и может быть рассчитана следующим образом:
где :
- Yi — фактическое значение
- Y_hat(i) – значение предсказания модели, а
- N — количество выборок или точек данных.
Средняя абсолютная ошибка (MAE)
Средняя абсолютная ошибка (MAE), также известная как потеря L1, представляет собой среднюю абсолютную разницу между фактическим значением и значением прогноза модели. Как и MSE, MAE также является простейшей функцией потерь и используется в задаче регрессии.
2. Потеря классификации
Функция кросс-энтропийной потери
Перекрестная энтропия, также известная как логарифмическая потеря (логарифмическая потеря или логистическая потеря), в основном используется для классификации и сегментации изображений. Он измеряет производительность модели классификации, результатом которой является значение вероятности от 0 до 1. Оно увеличивается по мере того, как прогнозируемая вероятность отличается от фактической метки. Если вероятность предсказания модели близка к 0, когда фактическая метка равна 1, это будет плохо и приведет к большим потерям. Идеальная модель будет иметь логарифмическую потерю 0.
Двоичная кросс-энтропия
Бинарная кросс-энтропия — это функция потерь, которая используется в задачах бинарной классификации. В задачах бинарной классификации всего два класса. Таким образом, задача состоит в том, чтобы ответить на вопрос только с двумя вариантами ответа (кот или собака, спам или не спам, Истина или Ложь, А или Б, положительный или отрицательный). Бинарную кросс-энтропию можно рассчитать следующим образом:
Категорная кросс-энтропия
Категориальная кросс-энтропия — это функция потерь, которая используется в задачах классификации с несколькими классами. Задача состоит в том, чтобы классифицировать пример, принадлежащий к одной из многих возможных категорий. Некоторые примеры задач мультиклассовой классификации включают классификацию цветов, распознавание лиц, оптическое распознавание символов, классификацию продуктов и т. д. Учитывая, что N – количество классов, тогда потери энтропии при категориальном перекрестном анализе можно рассчитать как :
Разреженная категориальная кросс-энтропия
Функция потерь разреженной категориальной кросс-энтропии такая же, как и категориальная кросс-энтропия. Единственная разница между ними заключается в том, как представлена метка.
- Категориально-перекрестная энтропия используется, когда метки кодируются горячим способом, например, когда у нас есть значения [1, 0, 0], [0, 1, 0] и [0, 0, 1] для 3-го класса. проблемы классификации.
- В разреженной категориальной кросс-энтропии метки кодируются целыми числами, например, [1], [2] и [3] для задач классификации с 3 классами.
Выводы
В этой статье мы объяснили наиболее часто используемые функции потерь для задач регрессии и классификации. Среднеквадратическая ошибка (MSE) и средняя абсолютная ошибка (MAE) используются для задачи регрессии и кросс-энтропийных потерь (бинарные кросс-энтропии). энтропия и категориальная кросс-энтропия) используются для задачи классификации. Разница между категориальной кросс-энтропией и разреженной категориальной кросс-энтропией заключается в том, что метки однократно кодируются для первого и целочисленно кодируются для последнего. Ознакомьтесь со ссылками, чтобы узнать больше о различных функциях потерь в нейронных сетях.
На сегодня это все, спасибо, что прочитали мою статью 😊. Если вы зайдете сюда и вам понравится моя статья, хлопните меня 👋, а также вы можете прокомментировать свои предложения в разделе комментариев.
Не забудьте подписаться на меня, чтобы в будущем читать еще больше замечательных и продвинутых статей по глубокому обучениюe.
Ссылки
