Методы самоконтроля представляют собой подход «заполнения пробелов», при котором модель пытается найти недостающую часть информации с учетом контекста (пропущенное слово в предложении, отсутствующий фрагмент изображения и т. д.).
Затем ответ модели сравнивается с оригиналом (который у нас должен быть), и разница представляет собой величину потерь, которую необходимо минимизировать.
В масштабе это позволяет моделям строить полезные представления и извлекать семантику из данных. Большинство современных глубоких нейронных сетей обучаются таким способом с самоконтролем, прежде чем они будут полезны для целевой восходящей задачи.
Я понял, что люди учатся лучше всего таким же образом! Не просто читайте и слушайте. Вместо этого постарайтесь ответить на сложный вопрос в меру своих текущих способностей (даже когда начинаете с новой темы — угадывайте, находите аналогии и т. д.).
Затем сравните свой ответ с примечаниями (основная истина), обратите внимание на свои ошибки и недостающие компоненты вашего ответа. Затем снова попытайтесь точно ответить на вопрос самостоятельно. Повторить.
Это акт принуждения себя сформулировать последовательный ответ, который организует представление информации в нашем сознании. Простое сосредоточенное чтение или сосредоточенное слушание не могут сравниться с этим.
Лучший способ обучения — итеративно воссоздавать знания и выявлять пробелы в понимании. Кстати, именно поэтому часто говорят, что преподавание — это отличный способ улучшить наше собственное понимание.
