Почему это имеет значение ?
Размер модели является ключевым показателем для оптимизации, например:
- Дизайн системы обучения: выбор конкретного оптимизатора sgd, пропускной способности сети, оборудования (памяти и обработки).
- Дизайн системы логического вывода: оптимизация хранилища файлов модели, квантование, разделение модели для обслуживания.
Как мы это измеряем?
- При описании размера модели (в единицах памяти, таких как ГБ) мы также должны указать более подробную информацию о том, где он был измерен. Различные вкусы размера модели:
- Размер обучающей модели: это объем памяти, необходимый для хранения всех параметров модели и параметров оптимизатора. Это может быть значительно больше, чем размер модели вывода, в зависимости от выбора оптимизатора. (может быть где угодно от 1.x до 2x).
- Размер файла модели: размер файла модели после обучения, экспортируемого в постоянное хранилище.
- Размер файла вывода. Модель можно обрабатывать различными способами (разделять, квантовать) перед ее оптимизацией для вывода. Размер файла логического вывода должен быть указан вместе с соответствующей обработкой.
- Использование памяти: размер файла модели включает накладные расходы на сериализацию параметров (поплавки/intX). Во время обслуживания использование памяти может быть меньше или больше. Это то, что важно с точки зрения оптимизации производительности.
Выводы:
- Всегда сообщайте об использовании служебной памяти при сообщении об использовании памяти.
- При составлении отчета о размере модели всегда указывайте этап жизненного цикла (обучение/вывод/хранение) и задействованную обработку.
