Tensorflow-serving очень удобно использовать для обслуживания модели TF. В этом блоге объясняется, как запустить обслуживание tensorflow на докере и протестировать его с помощью REST/gRPC. Тестирование с помощью REST довольно распространено и легко, однако тестирование с помощью gRPC не так просто, как вы думаете. Также не так много примеров тестирования tensorflow-обслуживания с помощью gRPC. Надеюсь, что это может стать для вас «привет миром» обслуживания tensorflow. Запустите..

Получение прогнозов на основе данных из Rest API с помощью модели, размещенной с использованием TensorFlow Serving. Итак, у вас есть красивая модель, которая очаровательно работает с данными. Теперь вы хотите запустить эту модель в производство и получить прогноз на основе новых данных. Позвольте представить вам систему обслуживания TensorFlow, предназначенную для обслуживания обученной модели в производственной среде. По умолчанию он поставляется с бесшовной интеграцией с моделями..