Быстрое федеративное обучение путем балансировки коммуникационных компромиссов
В нашей недавней статье, опубликованной в IEEE Transactions on Communications (https://arxiv.org/abs/2105.11028, https://ieeexplore.ieee.org/document/9439935), мы изучали проблему эффективности связи. of Federated Learning (FL), которому в последнее время уделяется большое внимание в связи с крупномасштабным машинным обучением с сохранением конфиденциальности. Мы обсудили, что высокие коммуникационные издержки из-за частых градиентных передач замедляют FL, для которого в литературе изучались два основных метода: (i) локальное обновление весов, характеризующее компромисс между коммуникацией и вычислениями, и (ii) градиентное сжатие, характеризующее торговлю. -отключение между общением и точностью. Насколько нам известно, совместное и динамическое изучение и балансировка этих двух компромиссов с учетом их влияния на конвергенцию остались нерешенными, хотя это обещало значительно более быстрое FL.
В статье мы впервые сформулировали нашу задачу, чтобы минимизировать ошибку обучения по отношению к двум переменным: локальные коэффициенты обновления и бюджеты разреженности градиентного сжатия, которые характеризуют компромиссы между коммуникацией и вычислением/точностью соответственно. Затем мы получили верхнюю границу ошибки обучения за заданное время настенных часов с учетом взаимозависимости между двумя переменными. Основываясь на этом теоретическом анализе, мы предложили усовершенствованную схему FL, а именно Fast FL (FFL), которая совместно и динамически корректирует две переменные для минимизации ошибки обучения. Наконец, мы демонстрируем, что FFL постоянно достигал более высокой точности быстрее, чем аналогичные схемы, существующие в литературе.
Для получения подробной информации см.
or
.
