- К разнородным клиентам с эластичным федеративным обучением (arXiv)
Автор: Цзичен Ма, Юй Лу, Зихан Лу, Вэнье Ли, Цзинфэн И, Шугуан Цуй.
Аннотация: Федеративное обучение включает в себя обучение моделей машинного обучения на устройствах или хранилищах данных, таких как пограничные процессоры или хранилища данных, при сохранении локальных данных. Обучение в разнородных и потенциально массовых сетях вносит в систему предвзятость, которая возникает из-за данных, не относящихся к IID, и низкого уровня участия в реальности. В этой статье мы предлагаем эластичное федеративное обучение (EFL), беспристрастный алгоритм для устранения неоднородности в системе, который делает наиболее информативные параметры менее изменчивыми во время обучения и использует неполные локальные обновления. Это эффективный и действенный алгоритм, который сжимает как восходящие, так и нисходящие каналы связи. Теоретически алгоритм имеет гарантию сходимости при обучении на данных, отличных от IID, при низком уровне участия. Эмпирические эксперименты подтверждают конкурентоспособность платформы EFL по надежности и эффективности.
2. FedProto: федеративное обучение прототипам для разнородных клиентов (arXiv)
Автор: Юэ Тан, Годун Лун, Лу Лю, Тяньи Чжоу, Цинхуа Лу, Цзин Цзян, Чэнци Чжан.
Аннотация: Неоднородность клиентов в федеративном обучении (FL) обычно препятствует сходимости оптимизации и производительности обобщения, когда агрегация знаний клиентов происходит в градиентном пространстве. Например, клиенты могут различаться по распределению данных, задержке в сети, пространству ввода/вывода и/или архитектуре модели, что может легко привести к несовпадению их локальных градиентов. Чтобы повысить устойчивость к неоднородности, мы предлагаем новую структуру обучения федеративных прототипов (FedProto), в которой клиенты и сервер обмениваются прототипами абстрактных классов вместо градиентов. FedProto объединяет локальные прототипы, собранные с разных клиентов, а затем отправляет глобальные прототипы обратно всем клиентам, чтобы упорядочить обучение локальных моделей. Обучение на каждом клиенте направлено на то, чтобы свести к минимуму ошибку классификации на локальных данных, сохраняя при этом полученные локальные прототипы достаточно близкими к соответствующим глобальным. Кроме того, мы предоставляем теоретический анализ скорости сходимости FedProto при невыпуклых целях. В экспериментах мы предлагаем настройку эталона, адаптированную для гетерогенного FL, при этом FedProto превосходит несколько последних подходов FL на нескольких наборах данных.
