Свертывание тензорного потока только дублирует модель на нескольких графических процессорах?

В настоящее время я использую свертку Tensorflow для распознавания изображений, и я рассматриваю возможность покупки новых графических процессоров, чтобы обеспечить более сложные графики, размер пакета и входные размеры. Я читал такие сообщения, как this, которые не рекомендуют использовать экземпляры AWS GPU для обучения коннетов, но всегда приветствуются дополнительные мнения.

Я прочитал руководство Tensorflow «Обучение модели с использованием нескольких карт графического процессора», и оно кажется, что график дублируется на графических процессорах. Я хотел бы знать, это единственный способ использовать параллельные графические процессоры в convnet Tensorflow?

Причина, по которой я спрашиваю об этом, заключается в том, что, если Tensorflow может дублировать графики только на нескольких графических процессорах, это будет означать, что каждый графический процессор должен иметь по крайней мере размер памяти, необходимый моей модели для одного пакета. (Например, если минимальный объем памяти составляет 5 ГБ, две карты по 4 ГБ каждая не справятся с этой задачей)

Заранее спасибо!