Недавно в статье Стандартизация веса предлагается новый метод нормализации не для активаций, а для самих весов. Короче говоря, чтобы получить новые современные результаты, они объединили нормализацию партии и стандартизацию веса. Итак, в этом посте я расскажу, что такое стандартизация веса и как она помогает в тренировочном процессе, а также покажу свои собственные эксперименты с CIFAR-10, которым вы также можете следовать. Блокнот для поста находится по этой ссылке . Для своих..