Я пытаюсь обучить модель глубокого обучения с подкреплением в сценарии федеративного обучения. Поддерживает ли Tensorflow Federated (TFF) обучение с подкреплением (RL) в качестве модели машинного обучения? Я понимаю, что федеративное обучение в основном обсуждается для обучения с учителем, и мне было любопытно, можно ли использовать обучение с подкреплением и в TFF.
Если да, то какую библиотеку вы бы порекомендовали использовать RL в TFF?
Короткий ответ - да, TFF может поддерживать обучение с подкреплением на уровне Federated Core API; обратите внимание, что RL в настоящее время не реализован в tff.learning (хотя мы приветствовали бы такой вклад). С точки зрения машинного обучения, вы можете думать о TFF как о коммуникационном уровне поверх TF, и все, что TF поддерживает TFF, может поддерживать.
Я постараюсь выделить несколько ключевых особенностей длинного ответа:
Во-первых, федеративное обучение с подкреплением - это открытый вопрос исследования. Учитывая сложность обучения RL-моделей в целом, я думаю, сообщество FL будет рад увидеть, как агенты, обученные в федеративной среде, воспроизводят даже классические результаты RL, и мы были бы очень рады, если бы такая вещь была реализована в TFF.
Во-вторых, TFF в целом поддерживает любой итеративный процесс обучения на основе TensorFlow, в частности, обучение на основе градиента. Можно было представить множество возможных способов моделирования RL в федеративной среде; TFF поддерживает передачу любого вида обновления, поэтому нет никаких ограничений с точки зрения того, что может поддерживать создание объединенного RL TFF.
Наконец, я думаю, что, возможно, лучше всего начать реализацию RL в TFF с простой модульной реализации RL в обычном TensorFlow. Любое взаимодействие, которое должно произойти в выбранной вами федеративной модели RL, должно быть записано между TensorFlow в TFF. Если вы реализуете, например, ваш актер и ваш критик модульно с tf.function, должно быть относительно просто реализовать необходимое общение внутри @tff.federated_computation декоратора. Рекомендации по смешиванию кода TF и TFF см. В этот пост ведущего автора TFF.
