Если вы следите за этой серией: https://medium.com/@CalebMBowyer/globecom-2022-2023-research-trends-e29633dd21a1, мы начинаем здесь с темы федеративного обучения.

Что такое федеративное обучение?

Федеративное обучение — это подход к машинному обучению, который позволяет обучать модели на децентрализованных устройствах или серверах, сохраняя локализацию данных. В традиционном машинном обучении данные часто собираются из различных источников, централизованно хранятся в одном месте, а затем используются для обучения модели. Тем не менее, этот централизованный подход имеет ограничения, такие как проблемы конфиденциальности, риски безопасности данных и необходимость передачи огромных объемов данных на центральный сервер.

Объединенные шаги обучения

Федеративное обучение решает вышеупомянутые проблемы, распространяя процесс обучения модели на устройства, на которых генерируются или хранятся данные (клиенты), такие как смартфоны, устройства IoT или пограничные серверы. Обычно целью является сокращение передачи данных модели. Процесс обычно состоит из следующих шагов:

1. Инициализация модели. Сначала создается глобальная модель, которая распространяется на все участвующие устройства или серверы.

2. Локальное обучение: каждое устройство или сервер самостоятельно обучает глобальную модель, используя свои локально доступные данные. Процесс обучения обычно включает в себя несколько итераций или эпох для повышения точности модели.

3. Агрегация модели: после локального обучения вместо обмена необработанными данными обновленные параметры модели (веса и смещения) отправляются обратно на центральный сервер (или иногда к координатору).

4. Слияние моделей: центральный сервер объединяет обновления моделей с нескольких устройств, принимая во внимание их соответствующие вклады в глобальную модель.

5. Повторение: шаги со 2 по 4 повторяются в течение нескольких раундов, что позволяет модели учиться на различных источниках данных без прямого доступа к необработанным данным.

Преимущества федеративного обучения

1. Конфиденциальность. Федеративное обучение защищает пользовательские данные, поскольку необработанные данные остаются на отдельных устройствах и не передаются центральному серверу во время обучения модели.