Успех современных алгоритмов машинного обучения во многом обусловлен увеличением размеров моделей и наборов данных. Распределение вычислений по нескольким устройствам становится повсеместным подходом к масштабированию обучения этих сложных моделей с крупномасштабными данными. Однако распределение процесса обучения также усложняет процесс реализации, что может быть проблематичным для многих практиков машинного обучения, незнакомых с механизмами распределенных систем, особенно со..