При обучении DNN обнаружения объектов с помощью API обнаружения объектов Tensorflows платформа Visualization Plattform Tensorboard строит скаляр с именем regularization_loss_1
Что это? Я знаю, что такое регуляризация (чтобы сеть могла хорошо обобщать с помощью различных методов, таких как выпадение), но мне неясно, какой может быть эта отображаемая потеря.
Спасибо!
TL; DR: это просто дополнительные потери, вызванные функцией регуляризации. Добавьте это к потерям в сети и оптимизируйте их по сумме двух.
Как вы правильно утверждаете, методы регуляризации используются, чтобы помочь методу оптимизации лучше обобщить. Чтобы получить это, добавьте к функции потерь член регуляризации. Этот термин является общей функцией, которая изменяет "глобальные" потери (например, сумму потери сети и потери регуляризации). чтобы направить алгоритм оптимизации в желаемом направлении.
Скажем, например, что по какой-то причине я хочу поощрять решения для оптимизации, которые имеют веса, максимально близкие к нулю. Таким образом, один из подходов состоит в том, чтобы добавить к потерям, производимым сетью, функцию весов сети (например, уменьшенную сумму всех абсолютных значений весов). Поскольку алгоритм оптимизации минимизирует глобальные потери, мой член регуляризации (который высок, когда веса далеки от нуля) подтолкнет оптимизацию к решениям, которые имеют веса, близкие к нулю.
