История глубокого обучения полна смелых и простых идей. Иногда они являются определяющими для жанра успехами, как GAN, или исчезают из моды, как сети глубоких убеждений.
Я попробовал свою собственную нелогичную, но простую идею, вдохновленную тем, как дети играют в игры с воображением. У меня было несколько интересных, но неубедительных результатов, которыми я хотел поделиться.
Подробности эксперимента:
Инструмент DL: TensorFlow 1.11 с Keras API
Среда: Экземпляр Google Collaboratory с ускорителем графического процессора
Набор данных: CIFAR10 (32 * 32 * 3 изображения; 10 классов; 50 000 обучающих образцов; 10 000 проверочных образцов)
Размер обучающего пакета : 100, Скорость обучения : 0,001, эпохи : 112
Функция потерь: Категориальная перекрестная энтропия
Оптимизатор: ADAM
Модель : MobileNet V1 (альфа = 0,75; 1,84 M параметров), MobileNet V2 (альфа = 0,75; 1,39 M параметров)
Обратите внимание, что в обеих моделях не используются предварительно обученные веса.
Профили обучения и проверки
Здесь «нормальный» относится к стандартному расписанию тренировок, а «воображение» - к расписанию тренировок, которое я предлагаю.
MobileNet V1
Точность окончательного обучения: 99,4%, точность окончательной проверки: 73,1%
MobileNet V2
Выводы
Для первых 10 эпох график тренировок «воображаемый» такой же, как и обычный. Можно заметить, что модель, обученная с помощью «imag», дает более высокую точность проверки как для MobileNet V1, так и для MobileNet V2 (примерно на 5% выше) по сравнению с обычным обучением. Также точность обучения немного выше (хотя и ненамного). Также обеим моделям потребовалось примерно одинаковое время для завершения 112 эпох со средним временем 30 с на эпоху.
Я объясню больше о том, как мой алгоритм «imag» работает в следующем посте. Но перед этим я хотел бы узнать, есть ли потенциал в представленных мною результатах.
