Проблемы классификации в машинном обучении можно разделить на бинарную классификацию и мультиклассовую классификацию. Разница заключается в общем возможном количестве классов, которым может принадлежать любая входная точка данных.

Функция потери

Это функция двух переменных, прогнозируемого значения и фактического значения. Он измеряет производительность модели, вычисляя, насколько далеко прогнозируемое значение от фактического ожидаемого значения. Чем ниже функция потерь, тем лучше прогноз. Для оптимизации модели нам необходимо минимизировать функцию потерь. Обозначим функцию потерь как L .

L = f(y, y_pred)

Двоичная классификация. Возможное количество классов равно двум. Если для предсказания используется нейронная сеть, то выходной слой будет иметь один или два нейрона.Предположим классический случай определения того, есть ли на картинке кошка или нет. Таким образом, два выходных класса могут быть как кошками, так и не кошками. В числовой форме обозначим кошку 1, а не кошку 0.

Предположим, мы используем базовую нейронную сеть с двумя скрытыми слоями. Входом в сеть является изображение, а выход обозначается как y_pred.

y_pred :вероятность того, что входное изображение содержит кошку, т.е. равно 1

1- y_pred: вероятность того, что входное изображение не содержит кота, т.е. равна 0.

Потеря двоичной перекрестной энтропии: обычно используемая функция потерь для классификации двоичных классов.

L= -log(y_pred), y = 1,

Когда y_pred близко к 0, потери очень велики.

По мере увеличения y_pred потери уменьшаются.

Когда y_pred близко к 1, потери близки к 0.

L= -log(1-y_pred), y = 0

Когда y_pred близко к 0, потери очень малы, близкие к 0.

По мере увеличения y_pred потери увеличиваются.

Когда y_pred близко к 1, потери очень велики.

Многоклассовая классификация. Возможное количество классов равно n, где n≥ 3. Если для прогнозирования используется нейронная сеть, то выходной слой будет иметь n нейронов. В выходном слое модели у нас будет k нейронов, где нейрон i будет показывать вероятность того, что конечным классом будет i.

Кросс-энтропийные потери. Часто используемая функция потерь для многоклассовой классификации. Функция написана ниже:

где суффикс i обозначает номер класса, y обозначает фактическое значение, а y_pred обозначает прогнозируемое значение.

Сводка

В задачах классификации потеря кросс-энтропии (бинарная кросс-энтропия в случае бинарной классификации) является одной из наиболее часто используемых функций потерь. Надеюсь, этот пост был полезен!