В 2017 году Google представила федеративное обучение (FL), «особую категорию подходов к распределенному машинному обучению, которая обучает модели машинного обучения с использованием децентрализованных данных, хранящихся на конечных устройствах, таких как мобильные телефоны». В новом документе Google теперь предлагается масштабируемая производственная система для федеративного обучения, позволяющая увеличить рабочую нагрузку и производительность за счет добавления таких ресурсов, как вычислительные ресурсы, хранилище, пропускная способность и т. Д.

В документе Google также рассматриваются различные проблемы, решения и перспективы ФЛ.

«Федеративное обучение - это подход распределенного машинного обучения, который позволяет моделировать обучение на большом корпусе децентрализованных данных. Мы создали масштабируемую производственную систему для федеративного обучения в области мобильных устройств на основе TensorFlow. В этой статье мы описываем получившийся высокоуровневый дизайн, набрасываем некоторые проблемы и их решения, а также касаемся открытых проблем и будущих направлений ». (arXiv).

Synced пригласил профессора Мичиганского государственного университета Ми Чжана, специализирующегося на системах машинного обучения, поделиться своими мыслями о федеративном обучении.

Почему эта технология важна?

Для обучения модели машинного обучения традиционное машинное обучение использует централизованный подход, который требует агрегирования обучающих данных на одной машине или в центре обработки данных. Практически это то, чем на протяжении многих лет занимались гигантские компании, занимающиеся ИИ, такие как Google, Facebook и Amazon. Эти компании собирают гигантский объем данных и хранят их в своих центрах обработки данных, где обучаются модели машинного обучения. Однако такой централизованный подход к обучению нарушает конфиденциальность, особенно для пользователей мобильных телефонов. Это связано с тем, что мобильные телефоны могут содержать конфиденциальные данные владельцев. Чтобы обучить или получить лучшую модель машинного обучения при таком централизованном подходе к обучению, пользователи мобильных телефонов должны торговать своей конфиденциальностью, отправляя свои личные данные, хранящиеся в телефонах, в облака, принадлежащие компаниям, занимающимся ИИ.

По сравнению с централизованным подходом к обучению, федеративное обучение - это децентрализованный подход к обучению, который позволяет мобильным телефонам, расположенным в разных географических точках, совместно изучать модель машинного обучения, сохраняя при этом все личные данные, которые могут содержать личную информацию на устройстве. В таком случае пользователи мобильных телефонов могут извлечь выгоду из получения хорошо обученной модели машинного обучения, не отправляя свои конфиденциальные личные данные в облако.

Какое влияние это может оказать на сообщество ИИ?

Федеративное обучение открывает совершенно новую область исследований в области искусственного интеллекта. Сегодня гигантские объемы данных генерируются потребительскими устройствами, такими как мобильные телефоны, ежедневно. Эти данные содержат ценную информацию о пользователях и их личных предпочтениях: какие веб-сайты они чаще всего посещали, какие приложения социальных сетей они чаще всего использовали, какие типы видео они чаще всего смотрели и т. Д. Обладая такой ценной информацией, эти данные становятся ключом к созданию лучшего и персонализированные модели машинного обучения для предоставления персонализированных услуг для максимального улучшения пользовательского опыта. Федеративное обучение предоставляет уникальный способ построения таких персонализированных моделей без нарушения конфиденциальности пользователей. Такое уникальное преимущество - ключевая мотивация для привлечения исследователей из сообщества искусственного интеллекта к работе в этом новом направлении исследований.

Федеративное обучение также открывает совершенно новую вычислительную парадигму для ИИ. Поскольку вычислительные ресурсы внутри конечных устройств, таких как мобильные телефоны, становятся все более мощными, особенно с появлением наборов микросхем AI, AI перемещается из облаков и центров обработки данных на конечные устройства. Федеративное обучение обеспечивает механизм сохранения конфиденциальности, позволяющий эффективно использовать децентрализованные вычислительные ресурсы внутри конечных устройств для обучения моделей машинного обучения. Учитывая, что во всем мире существуют миллиарды мобильных устройств, вычислительные ресурсы, накопленные на этих мобильных устройствах, находятся за пределами досягаемости крупнейшего центра обработки данных в мире. В этом смысле федеративное обучение может разрушить облачные вычисления, доминирующую компьютерную парадигму сегодня.

Можете ли вы определить узкие места?

Федеративное обучение сталкивается с двумя ключевыми проблемами. Одна из проблем - пропускная способность канала связи. Федеративное обучение на мобильных телефонах основано на беспроводной связи для совместного изучения модели машинного обучения. Хотя вычислительные ресурсы мобильных телефонов становятся все более мощными, пропускная способность беспроводной связи увеличилась не так сильно. Таким образом, узкое место смещается с вычислений на коммуникацию. Как следствие, ограниченная полоса пропускания связи может повлечь за собой длительную задержку связи и, таким образом, может значительно замедлить время конвергенции процесса федеративного обучения.

Еще одна проблема, которую необходимо решить для федеративного обучения, - это надежность конечных устройств, участвующих в процессе федеративного обучения. Федеративное обучение - это итеративный процесс, он полагается на то, что участвующие конечные устройства постоянно обмениваются данными на протяжении итераций, пока процесс обучения не сойдется. Однако в реальных развертываниях по различным практическим причинам не все конечные устройства могут полностью участвовать в полном итеративном процессе от начала до конца. Для конечных устройств, которые выпадают в середине процесса федеративного обучения, их данные не могут быть полностью использованы в процессе обучения. Таким образом, качество обучения при федеративном обучении может быть значительно поставлено под угрозу.

Не могли бы вы предсказать какие-либо потенциальные будущие тенденции, связанные с этой технологией?

Федеративное обучение коренным образом меняет подход к обучению моделей машинного обучения. Google только что выпустил свою первую платформу федеративного обучения производственного уровня, которая создаст множество приложений на основе федеративного обучения, таких как ранжирование элементов на устройстве, прогнозирование следующего слова и предложения контента. В будущем модели машинного обучения можно будет обучать, не полагаясь на вычислительные ресурсы, принадлежащие гигантским компаниям, занимающимся ИИ. И пользователям не нужно будет жертвовать своей конфиденциальностью в пользу более качественных услуг.

Статья На пути к федеративному обучению в масштабе: проектирование системы находится на arXiv.

О профессоре Ми Чжан

Ми Чжан - доцент кафедры электротехники и вычислительной техники, а также компьютерных наук и инженерии в Университете штата Мичиган, где он руководит лабораторией систем машинного интеллекта (SysML). Проф. Чжан получил степень доктора философии. из Университета Южной Калифорнии и B.S. из Пекинского университета. Его исследования лежат на стыке компьютерных систем и машинного интеллекта, охватывая такие области, как мобильные / периферийные вычисления, системы глубокого обучения, распределенные системы, Интернет вещей и мобильное здравоохранение. Его работа освещалась и освещалась ведущими национальными и международными СМИ, такими как MIT Technology Review, WIRED, TechCrunch, New Scientist, TIME, CNN, ABC, NPR, The Washington Post, Smithsonian Magazine и The Wall Street Journal.

Партнерская программа Synced Insight

Партнерская программа Synced Insight - это программа, доступная только по приглашениям, которая объединяет влиятельные организации, компании, академических экспертов и лидеров отрасли для обмена профессиональным опытом и идеями посредством собеседований, публичных выступлений и т. Д. Synced приглашает всех представителей отрасли к участию приглашаются эксперты, профессионалы, аналитики и другие лица, работающие в области технологий искусственного интеллекта и машинного обучения.

Просто Подайте заявку на участие в партнерской программе Synced Insight и расскажите нам о себе и о своем внимании к искусственному интеллекту. Мы ответим вам, как только ваша заявка будет одобрена.

Вышел Отчет об адаптивности AI для публичной компании Fortune Global 500 за 2018 год!
Приобретите отчет в формате Kindle на Amazon.
Подайте заявку на участие в Партнерской программе Insight, чтобы получить бесплатный полный отчет в формате PDF.

Подпишитесь на нас в Twitter @Synced_Global, чтобы получать ежедневные новости об ИИ!

Мы знаем, что вы не хотите пропустить ни одной истории. Подпишитесь на наш популярный Synced Global AI Weekly , чтобы получать еженедельные обновления AI.