Как выбрать действие в обучении TD(0)

Вы правы, вы не можете выбрать действие (или вывести политику π) только из функции значения V(s), потому что, как вы заметили, она зависит только от состояния s.

Ключевая концепция, которую вы, вероятно, здесь упускаете, заключается в том, что обучение TD(0) представляет собой алгоритм для вычисления функции значения данной политики. Таким образом, вы предполагаете, что ваш агент следует известной политике. В случае задачи случайного блуждания политика состоит в случайном выборе действий.

Если вы хотите изучить политику, вам необходимо оценить функцию «действие-ценность» Q(s,a). Существует несколько методов обучения Q(s,a), основанных на обучении с временной разницей, например, SARSA и Q-обучение.

В книге Sutton's RL авторы различают два вида проблем: проблемы прогнозирования и проблемы контроля. Первый относится к процессу оценки функции ценности данной политики, а второй - к оценке политики (часто с помощью функций действия-ценности). Вы можете найти ссылку на эти концепции в начальной части главы 6:

Как обычно, мы начнем с рассмотрения проблемы оценки или прогнозирования политики, т. е. оценки функции ценности для данной политики. Для задачи управления (поиск оптимальной политики) методы DP, TD и Монте-Карло используют некоторые варианты обобщенной итерации политики (GPI). Различия в методах — это, прежде всего, различия в подходах к проблеме прогнозирования.