«Минимизация с учетом резкости для эффективного улучшения обобщения» (2020): Минимизация с учетом резкости для эффективного улучшения обобщения В современных сильно параметризованных моделях значение потерь при обучении дает мало гарантий для модели… arxiv.org Что такое острая точка и почему она важна? Как видно из рисунка, острый минимум соответствует высокой кривизне, а малая кривизна соответствует плоскому минимуму. Чтобы..

Адаптивный ИИ: создание ценности для бизнеса в меняющемся мире Нынешние темпы развития искусственного интеллекта (ИИ) и базовых моделей достигли беспрецедентных высот, что вызвало недвусмысленный энтузиазм у общественности и растущий спрос со стороны отрасли на включение ИИ в свои бизнес-процессы. Хотя изменения — единственная константа в нашем мире , по иронии судьбы дизайн этих самых систем искусственного интеллекта делает их высеченными на камне. Это может привести к серьезным..

В этой статье подводятся итоги некоторых исследований, которые я провел в рамках обучения на бакалавриате в Саутгемптонском университете. Я разработал новую технику для уменьшения катастрофического забывания — ловушки, с которой сталкиваются системы машинного обучения при последовательном изучении нескольких задач. Однако вместо того, чтобы сосредоточиться на системах обучения, разработанная новая техника была применена к эволюционным системам, которые развивают популяцию нейронных..

Изучение нескольких задач с градиентным спуском Изучение нескольких задач - важное требование для общего искусственного интеллекта. Я применяю базовую сверточную сеть к двум разным задачам. Показано, что сеть демонстрирует успешное многозадачное обучение. Показано, что частота переключения задач является решающим фактором в скорости обучения сети. Показано, что стохастический градиентный спуск лучше справляется с многозадачным обучением, чем Адам. Более узкие сети более забывчивы...