Тема:Раскрашивание изображений на основе обучения
Члены команды:Буграхан Акбулут,Гёкай Атай
НАПОМИНАНИЕ
На прошлой неделе мы протестировали предварительно обученную глубокую модель [1] на некоторых образцах изображений.
Также мы протестировали модель и модель некоторых аниме-изображений в таких случаях не удалась.
После исследования тестирования предварительно обученной модели, чтобы внести некоторые улучшения, мы долго думали. И в итоге у нас есть две идеи: первая — это изменение основы сети раскрашивания с помощью ResNet, вторая — расширение набора данных с помощью аниме-изображений.
ResNet представлен исследовательской группой Microsoft в 2015 году[2]. Глубокие сверточные нейронные сети привели к ряду прорывов в классификации изображений. Многие другие задачи визуального распознавания также значительно выиграли от очень глубоких моделей. Итак, с годами наблюдается тенденция идти глубже, решать более сложные задачи, а также повышать/улучшать точность классификации/распознавания. Но по мере того, как мы идем глубже; обучение нейронной сети становится трудным, а также точность начинает насыщаться, а затем также ухудшается. Остаточное обучение пытается решить обе эти проблемы.
Что такое остаточное обучение?
Как правило, в глубокой сверточной нейронной сети несколько слоев укладываются друг на друга и обучаются выполнению поставленной задачи. Сеть изучает несколько функций низкого/среднего/высокого уровня в конце своих слоев. При остаточном обучении вместо того, чтобы пытаться выучить какие-то особенности, мы пытаемся выучить какой-то остаток. Остаток можно просто понимать как вычитание признака, полученного из ввода этого слоя. ResNet делает это, используя короткие соединения (напрямую соединяя вход n-го слоя с некоторым (n+x)-м слоем. Было доказано, что обучение этой формы сетей проще, чем обучение простых глубоких сверточных нейронных сетей, а также решена проблема снижения точности. , Это фундаментальная концепция ResNet.
Мы используем Caffe Framework для разработки обучения/тестирования нашей модели. Мы объединили извлечение признаков из ResNet и вероятностное распределение из модели Color Colorization.
Мы еще не обучали модель, но есть результат от ванильной модели:
Мы планируем обучить ResNet на относительно небольшом наборе данных и посмотреть, что он вернет. Но мы не можем предсказать влияние Residual Blocks на изучение такой задачи, по самым первым результатам мы проверим нашу модель еще раз.
использованная литература
[1] Р. Чжан, П. Изола и А. А. Эфрос. Красочная раскраска изображения. ЭКЦВ, 2016.
