Это рецензия на проект Deep RL, основанный на проекте NVidia с открытым исходным кодом jetson-reinforcement , разработанном Dustin Franklin . Цель проекта - создать агента DQN и определить функции вознаграждения, чтобы научить роботизированную руку выполнять две основные задачи: Прикоснитесь любой частью руки робота к интересующему объекту с точностью не менее 90%. Только основание захвата манипулятора должно касаться объекта с точностью не менее 80%. Настройка гиперпараметров..

Мне нравится первая часть статьи, описывающая RL в краткой и ясной форме. «Цель обучения с подкреплением состоит в том, чтобы изучить хорошие стратегии для последовательных проблем принятия решений, оптимизируя кумулятивный сигнал будущего вознаграждения». Они пытаются устранить переоценку, вызванную неточными значениями действий. Кстати, игры Atari — это детерминированная среда. 1. Предпосылки Начнем с самого начала. здесь истинное значение действия a в состоянии s при данном..

Мотивация Методы обучения с подкреплением на основе ценности, такие как DQN, пытаются смоделировать ожидание общей отдачи или ценности . То есть значение действия a в состоянии s описывает ожидаемую отдачу или дисконтированную сумму вознаграждений. , полученный с самого начала в этом состоянии, выбрав действие a, а затем следуя предписанной политике. Все переходы между состояниями, действия и вознаграждения, которые используются для расчета стоимости или долгосрочной..

Введение: Алгоритмы обучения с подкреплением пытаются максимизировать сумму вознаграждений, которые они получают за выполнение данной задачи. В идеале это вознаграждение представляет собой числовые значения, которые говорят алгоритму, насколько хорошо или плохо было то или иное действие в данной ситуации. В части 1 этого блога я обучил DQN, или глубокую Q-сеть, игре в гоночную игру во вселенной OpenAI. Поскольку в этой игре были правильные числовые награды, это сработало относительно..

Когда я узнал о глубоком обучении с подкреплением, я прочитал о смертельной проблеме триады, но не смог найти удовлетворительного простого объяснения (кроме научных статей). Таким образом, я делаю две статьи, чтобы объяснить с помощью интуиции (то есть немного математики) сначала, что это такое, а затем как с этим справиться. В этой проблеме говорится, что при попытке объединить TD-обучение (или начальную загрузку) , обучение вне политики и аппроксимации функций (например, Deep..