Централизованное обучение

  • Данные обучения централизованы в машине
  • Централизованный объект обучает и размещает модель
  • Используется в аутсорсинговых моделях (ML-as-a-service), например. Машинное обучение Amazon AWS
  • Плюсы: высокая точность. Минусы: операторы имеют доступ к конфиденциальным данным обучения.

Распределенное обучение

Примечание. Существует три варианта: совместное обучение, федеративное обучение и раздельное обучение. Здесь я сосредоточусь на федеративном обучении. Вот как это работает:

  • Каждый клиент загружает глобальную модель из централизованного местоположения.
  • Создайте обновленную локальную модель, используя локальные обучающие данные.
  • Делитесь параметрами модели с централизованным сервером
  • Централизованный сервер обновляет глобальную модель, усредняя входные данные от всех локальных клиентов.

Почему ДЛ?

  • Набор данных может быть слишком большим для обработки на централизованном сервере.
  • Построение индивидуальных моделей для каждого пользователя на основе его данных
  • Пользователи не хотят делиться своими данными

Важные характеристики ДЛ:

  • Данные обучения являются локальными для устройств (Плюсы: сохранение большей конфиденциальности)
  • Минусы: точность глобальной модели обычно меньше, чем у модели, построенной на централизованных данных.
  • Масштабируемость (распределение рабочей нагрузки делает решение масштабируемым)
  • Возможность создавать индивидуальные локальные модели