Эта статья посвящена федеративному машинному обучению, одному из последних и наиболее известных подходов, исследуемых в мире машинного обучения, который фокусируется на использовании возможностей распределенных систем для обучения и улучшения моделей машинного обучения.
С появлением Интернета вещей и увеличением использования смартфонов количество конечных точек с данными увеличилось в геометрической прогрессии. Однако традиционные подходы машинного обучения не приспособлены для работы с такими широко распределенными данными и обучения на них моделей.
Традиционный подход машинного обучения состоит из центрального сервера для хранения данных и обучения моделей. Тогда есть два способа использовать такие обученные модели.
1. Создание конвейера данных, чтобы все данные проходили через центральный сервер, на котором размещена обученная модель, используемая для прогнозирования. Прогнозируемые результаты затем передаются через панель управления или используются для запуска службы. Эта модель широко используется в отраслях для мониторинга продуктов, предоставления рекомендаций и других подобных услуг. Недостатком этого подхода является то, что все входные данные, собранные датчиками / устройствами, присутствующими в среде, должны быть отправлены обратно на центральный сервер, а затем обработанные результаты должны быть отправлены обратно. Это ограничивает способность модели быстро учиться и адаптироваться в соответствии с окружающей средой и предоставлять результаты в реальном времени.
2. Второй подход - отправить обученные модели на устройства, непосредственно взаимодействующие с окружающей средой. Благодаря усовершенствованию аппаратных технологий стало возможным иметь достаточную вычислительную мощность для запуска таких прогнозных моделей. Преимущество такого подхода заключается в том, что прогнозирование происходит в той же среде, откуда собираются входные данные, и выполняется намного быстрее. Однако даже в этой модели для непрерывного обучения обучающие данные должны собираться на каждом устройстве, а затем отправляться обратно на сервер, где модель повторно обучается.
Федеративное машинное обучение - это подход, который позволяет нам избавиться от таких сложностей, позволяя обучать модели на самом устройстве. Эти обученные модели затем отправляются обратно на центральный сервер, где они агрегируются (в основном их веса корректируются), а затем одна консолидированная модель отправляется обратно на устройства. Он использует концепции распределенных вычислений для отслеживания каждой из моделей на устройствах, агрегации и перераспределения моделей на каждом из устройств. Этот подход очень полезен для запуска недорогих моделей машинного обучения на небольших устройствах, таких как сотовые телефоны, датчики и т. Д. Это действительно шлюз для развития лучшего и взаимосвязанного мира.
На диаграмме ниже представлен обзор подхода федеративного машинного обучения.
Как работает федеративное машинное обучение?
Федеративное машинное обучение примерно состоит из следующих простых шагов:
1. Отправьте прогнозную модель на устройство.
2. Принимайте во внимание вводимые данные и делайте прогнозы. Наблюдайте за действиями, предпринимаемыми пользователем, и сохраняйте различия как данные обучения.
3. Используйте эти обучающие данные для улучшения прогнозных моделей.
4. Отправьте эти повторно обученные модели с нескольких устройств на центральный сервер.
5. Перераспределите и суммируйте веса из всех различных моделей, чтобы создать одну модель.
6. Отправьте повторно обученные модели на все устройства.
Эти шаги повторяются в цикле, чтобы обеспечить процесс непрерывного обучения.
Преимущества федеративного машинного обучения
Некоторые из основных преимуществ федеративного машинного обучения:
1. Безопасность и конфиденциальность данных. Поскольку обучение происходит на устройстве, и обратно транспортируются только модели, это избавляет от одной из основных проблем, связанных с хранением больших объемов конфиденциальных или личных данных в одном месте. который подвержен атакам хакеров.
2. Прогнозирование в реальном времени: поскольку прогнозирование происходит на самом устройстве, этот подход также позволяет избавиться от временной задержки, которая возникает из-за передачи ввода обратно на центральный сервер, а затем отправки результатов обратно на устройство.
3. Автономное прогнозирование. Поскольку модели присутствуют на устройстве, прогнозы работают даже при отсутствии подключения к Интернету. Пока устройство может получать входные данные, прогнозные модели могут использоваться для выполнения своей работы.
4. Минимальная инфраструктура. Этот подход требует минимального оборудования (оборудования, доступного на наших мобильных устройствах, более чем достаточно) для запуска моделей машинного обучения и действительно обеспечивает полное использование возможностей машинного обучения.
Использование федеративного машинного обучения
Этот подход довольно новый, и его использование, хотя и ограничено, но было в некоторых ключевых местах. Клавиатуры Google - один из ярких примеров использования этого подхода. Этот метод очень мощный, и существует ряд других вариантов использования, таких как промышленные шахты, большие фермы, в пустынях, где обеспечение непрерывного подключения к Интернету является проблемой с точки зрения инфраструктуры и затрат.
Проблемы
Некоторые из основных проблем:
1. Поддержка массово распределенных систем
2. Ограниченное постоянное подключение ко всем устройствам.
3. Несбалансированные данные с точки зрения предвзятости или обратной связи. Однако эту проблему можно эффективно уменьшить, грамотно выбрав устройства, с которых можно получить обратную связь в данный момент.
4. Разработка инфраструктуры или моделей, которые могут идти в ногу с динамическим и непрерывным обучением, используемым в подходе.
5. Выполнение алгоритмов оптимизации для сильно распределенных наборов данных.
Дальнейшие шаги
В настоящее время модель обучается на устройстве и дополняется локальными данными. Следующим очевидным шагом является развитие способности обучать модель на разных устройствах, чтобы каждая модель могла учиться на всех соседних устройствах. Это все еще в будущем, но мы можем только вообразить эффективность и полезность машинного обучения, когда этот подход будет разработан.
Справочные ссылки
