Со времени последних статей мы все больше и больше переходили от теории к практике. Последние две статьи о методах Монте-Карло использовались для решения проблемы прогнозирования и проблемы управления в обучении с подкреплением. Продолжая методы Монте-Карло, в этой статье мы рассмотрим другой метод, называемый Обучение по временной разнице (TD) . TD-обучение — центральная и новая идея обучения с подкреплением . Его можно рассматривать как комбинацию двух других основных..

Введение в понимание двойного Q-Learning Q-обучение (Watkins, 1989) считается одним из прорывов в алгоритме обучения с подкреплением управления TD. Однако в своей статье Двойное Q-Learning Хадо ван Хасселт объясняет, почему Q-Learning очень плохо работает в некоторых стохастических средах. Он указал, что низкая производительность вызвана большим переоценкой значений действий из-за использования Max Q (s ’, a) в Q-обучении. Чтобы решить эту проблему, он предложил метод двойного..